페이지_ 18권 4호 전체 16-22.pdf836.4KB

• 1. 서 론
• 2. 피부색 모델과 관심영역을 사용한 피부색 검출
• 2.1. 피부색 모델
• 2.2. 다중의 색 공간 기반의 피부색 검출 방법 이용한 피부색 영역 검출
• 2.3.그레이레벨분산을 이용한 관심영역 정의
• 2.4.피부색 모델과 관심영역의 결합
• 3. 실험 및 분석
• 4. 결 론
• Acknowledgement

1. 서 론

영상 출력 장치의 기술이 발전함에 따라 일반적으로 사용되는 LCD, PDP, 프린터, 복합기 등의 여러 기술들이 개발되어 널리 상용화 되고 있다. 이러한 디스플레이 장치는 각각의 특성에 따라 영상을 출력함으로써 서로 다른 색을 재현하기 때문에, 재현된 색이 얼마나 사실적이고 자연스러운 것인가가 주된 관심사가 되고 있다. 또한 사용자는 디스플레이 장치의 영상 정보를 보다 사실감 있게 또는 더 향상된 결과가 나타나기를 원한다. 따라서 색상개선, 잡음 제거 및 고선명화 등에 관한 많은 연구들이 진행되고 있으며, 특히 색상 개선은 디스플레이 장치의 화질을 개선하기 위한 필수적인 요소라 할 수 있다.

디스플레이 장치에서 화질을 평가하는 요소들 중 하나가 사람의 기억색(memory color)이다. 기억색은 사용자의 선호도와 선호색 재현에 중요한 역할을 한다.[1-3] 여러 가지 기억색 중에서 특히 인간의 피부색은 TV화면에서 가장 많은 빈도수를 나타내는 색으로, 일반적으로 사람들의 인식 속에 중요한 기억색으로 자리 잡고 있다. 따라서 피부색 재현이 디스플레이 장치의 성능 평가에 있어서 중요한 역할을 할 수 있기 때문에 이와 관련된 연구가 이루어지고 있다.[3,4] 이들 연구들은 선호 피부색으로의 재현하는데 있어 RGB, YCbCr, HSI 색공간에서 정의된 피부색 영역을 사용하거나 얼굴 검출 알고리즘을 사용하여 피부색 검출을 수행한다.[5]-[9] 하지만, 영상에서 피부색의 색상정보만으로 피부색을 검출할 경우 조명에 대한 영향으로 정확한 검출이 어려울 뿐만 아니라 피부색과 유사한 색을 지닌 다른 물질이 있을 경우 잘못 검출하는 경우가 발생한다. 또한 얼굴 검출 알고리즘을 적용할 경우 얼굴외의 팔, 다리와 같은 피부색 영역은 검출하지 못한다. 

따라서 본 논문에서는 정확한 피부색 검출을 위해 피부색 모델과 관심 영역을 결합하여 이용한다. 먼저, 각 피부색 모델의 검출율과 오검출율을 계산하여 이를 가중치로 사용하여 결합된 피부색 모델을 결정한다. 다음으로 영상을 일정 영역으로 나누고 그 영역에서의 그레이 레벨 분산을 이용하여 관심 영역을 지정한다. 마지막으로 후보 피부색 영역과 관심 영역을 동시에 만족하는 영역을 피부색으로 정의한다. 실험 결과 제안한 방법을 사용한 피부색 검출이 피부색 검출율과 오검출율에 대하여 우수한 성능을 보였다. 

2. 피부색 모델과 관심영역을 사용한 피부색 검출

피부색 모델을 적용하여 영상에서 피부색을 검출할 때 영상의 배경에 피부색과 유사한 색을 지닌 물체가 존재 한다면 검출의 성능은 현저히 떨어지게 된다. 따라서 영상의 획득 환경에 따라 의존적인 결과를 가져온다. 이를 보완하기 위해 피부색 모델과 관심 영역을 기반으로 한 피부색 검출을 제안하였다. 그 전체 흐름도는 Figure 1에 나타내었다. 먼저 다중의 피부색 모델을 가중치를 사용하여 결합하여 후보 피부색 영역을 지정하였고, 그레이 레벨분산을 이용하여 영상에서의 관심 영역을 정의하고, 이들 두 영역을 동시에 만족하는 영역을 피부색 영역으로 결정한다. 

Figure 1. The flowchart of the proposed method.

2.1. 피부색 모델

피부색 검출의 연구 대부분은 여러 가지 색공간에서 피부색 영역을 정의한다. 즉, 영상에서 각 색 공간에서의 미리 정의된 피부색 영역에 따라 피부색을 검출한다. 그 중 가장 널리 사용되는 색 공간은 RGB, YCbCr, HSI 색공간이다. 먼저 RGB 색공간은 적색, 청색, 녹색의 기본 요소로 색상 별로 기본 성분의 혼합 비율을 지정한 것으로 색상 정보와 밝기 정보가 혼합되어 있는 색공간이다. RGB 색공간을 기반으로 이전의 연구에서 정의된 피부색 영역은 다음과 같다. 

따라서 위의 임계치를 이용하여 영상에서 피부색을 검출하게 된다. 하지만 RGB 색 공간은 컬러 정보뿐만 아니라 밝기 정보까지 포함하므로 조명의 변화에 민감한 결과를 보인다. RGB 색공간의 조명에 의한 영향을 줄이기 위하여 YCbCr 색공간 그리고 HSI 색공간을 이용한 피부색 검출이 사용되었다. 먼저 YCbCr 색공간에서 정의된 피부색 영역은 다음과 같다. 

HSI 색공간에서 정의된 피부색 영역은 다음과 같다. 

2.2. 다중의 색 공간 기반의 피부색 검출 방법 이용한 피부색 영역 검출

앞 절에서 소개된 색공간 기반의 피부색 검출 방법들은 Figure 2에서 보는 것과 같이 각기 다른 검출 성능을 보임과 동시에 컬러 정보만을 가지고 피부색을 검출하여 피부색과 유사한 컬러를 배경으로 가지는 영상에서는 그 검출율이 낮아진다. 따라서 본 논문에서는 위의 세 가지 색 공간을 이용한 피부색 검출방법의 검출율과 오검출율을 기반으로 피부색 영역 그리고 피부색 후보군 그리고 피부색이 아닌 영역으로 구분하여 피부색의 검출율을 높이고자 한다. 먼저 각 색 공간에서의 피부색 검출 방법들에 대한 검출율과 오검출율의 비율을 계산한다. 

Figure 2. skin color detection using color space based methods; (a) input image, (b) RGB color space, (c) YCbCr color space, (d) HSI color space.

여기서 w는 각 피부색 모델에 적용할 가중치이고, i는 순서대로 RGB, YCbCr, HSI 피부색 모델을 나타낸다. 여기에 사용된 검출율과 오검출율은 Table 1에 나타나 있다. 

Table 1. Evaluation of skin color detection using skin color model.

다음으로 앞서 계산된 가중치들을 각 피부색 모델에 적용하여 피부색 후보영역을 검출한다. 

여기서 D는 각 피부색 모델에 의해 검출된 영역을 나타낸다. 마지막으로 일정 임계치를 넘어서는 영역을 피부색 후보 영역으로 정의한다. 

2.3.그레이레벨분산을 이용한 관심영역 정의

피부색 정보를 이용한 피부색 검출은 배경에 피부색과 유사한 색을 가진 물체가 존재할 경우 오검출의 확률이 높아진다. 

일반적으로 인물 영상은 사람에 초점이 맞춰진다. 따라서 본 논문에서는 배경 부분의 오검출을 줄이기 위해 관심 영역을 추정하여 초점이 맞는 부분의 피부색 성분은 피부색으로 결정하여 검출함으로써 오검출율을 줄인다. 먼저 입력 영상을 밝기 성분과 색도 성분으로 나눈 후 밝기 성분의 영상을 m × m의 단위로 n개의 영역으로 나눈다. 이는 Figure 3에 나타내었다. 다음으로 m × m의 영역내의 지역적 분산을 구한다. 이는 영역내의 밝기 성분의 분산이 큰 영역은 디테일 성분을 많이 포함한 영역으로 초점이 맞은 영역으로 볼 수 있기 때문이다. 영역에서의 분산은 다음과 같이 구해진다. 

Figure 3. Classification of region by m×m pixels.

여기서 μ(i,j)과 V(i,j)는 입력 영상을 m × m 단위로 분리한 영역에서의 평균과 분산을 나타내고 p(x,y)는 그 영역안의 픽셀 값을 나타낸다. N은 하나의 영역안의 총 픽셀수를 나타낸다. 다음으로 앞서 계산된 영역별 분산에서 노이즈를 제거하고 주요한 성분을 분리하기 위하여 입력 영상에 따른 임계치를 적용하였다. 

여기서 T는 입력 영상에 따른 임계치로 입력영상의 디테일 성분의 분포의 비율이다. 입력 영상에 따른 임계치는 Table 2에 나타내었고, 일반 영상을 사용하여 실험적으로 얻은 수치이다. 위와 같은 과정으로 인물 영상에서 관심 영역을 추정하였고 이는 Figure 4(b)에 나타나 있다. 하지만 피부 영역은 일반적으로 균일한 밝기 분포를 가지기 때문에 Figure 4(b)와 같이 주위의 디테일 성분으로 둘러쌓인 빈 영역이 발생하게 된다. 따라서 이를 보완하기 위하여 이웃하는 블록을 이용하여 둘러 쌓여진 빈 영역을 채운다. 그 과정은 다음과 같다. 먼저V(i,j)를 기준으로 이웃하는 영역에 대하여 값이 존재하는 영역이 3개 이상 존재할 경우 값이 없는 영역을 주위 영역의 평균값으로 대체하여 관심 영역 V′(x,y)를 획득하였다. 그 결과 Figure 4(c)에서 보는 것과 같이 피부영역에 대한 최종의 수정된 관심 영역을 획득하였다.

Table 2. Threshold according to detail component in input image.

Figure 4. Focus map using gray-level variance (a) input image, (b) fucus map, (c) modified focus map using neighborhood regions.

2.4.피부색 모델과 관심영역의 결합

앞서 정의한 다중의 피부색 모델을 이용한 후보 피부색 영역과 관심 영역을 동시에 만족하는 픽셀을 피부색 영역으로 정의하여 피부색 모델만을 이용한 피부색 검출의 오검출율을 감소시키고자 한다. 

여기서 S는 검출된 피부색 영역을 나타내고 c′(x,y)는 결합된 다중의 피부색 모델을 이용하여 결정된 후보 피부색 영역을 나타낸다. 그리고 V′(x,y)는 수정된 관심 영역으로 정의 된 영역을 나타낸다. c′(x,y)와 V′(x,y)는 각각의 정의된 영역에서의 최대값을 나타낸다. 따라서 다중의 피부색 모델로 얻어진 후보 피부색 영역과 관심 영역을 이용하여 효과적으로 피부색 영역을 검출하였다. 

3. 실험 및 분석

피부색 검출의 성능을 평가하기 위하여 기존의 RGB, YCbCr, HSI 색공간 기반의 피부색검출 방법들과 성능을 비교하였다. Figure 5와 Figure 6은 배경에 피부색과 유사한 색을 지닌 영상으로 피부색 모델과의 성능을 보여준다. Figure 5에서 보는 것과 같이 RGB 색 공간방법에서는 검출된 얼굴내의 하이라이트 영역은 세 가지의 다른 피부색 검출방법을 합하는 과정에서 다수의 방법에 포함되지 않아 검출되지 않았지만, 관심 영역과 피부색 영역을 동시에 만족하는 부분을 검출하여 배경 부분에 피부색 성분을 가지는 물체를 검출하지 않음으로써 피부색 영역을 정확히 검출함을 확인할 수 있다. 또한 Figure 6에서는 배경부분의 오검출은 존재하지만, 얼굴영역의 검출에 있어서 정확히 검출함을 확인할 수 있다. 객관적인 피부색 검출 성능 평가는 100장의 인물 영상을 사용하여 영상 전체의 픽셀수, 피부색 영역의 픽셀수, 영상 전체에 대해 피부색 검출 알고리즘을 적용하여 획득된 픽셀수, 그리고 피부색영역에 대해 피부색 검출 알고리즘을 적용하여 획득된 픽셀수를 비교 하여 각 알고리즘에 대한 피부색 검출율과 오검출율을 비교하였다.

Figure 5. Resulting image of skin detection (a) input image, (b) RGB skin color model, (c) proposed method.

Figure 6. Resulting image of skin detection (a) input image, (b) RGB skin color model, (c) proposed method

Figure 7-(a)은 실험에 사용된 샘플 영상들이고. 7-(b)는 이들 영상을 이용하여 검출율과 오검출율을 계산하기 위하여 테스트 영상들의 피부색 영역을 포토샵을 이용하여 추출한 결과 이다. Table 3은 각 알고리즘에 대한 피부색 영역에 대한 검출율(검출율)과 배경 영역에 대한 검출률(오검출율)을 비교한 것으로 제안한 방법이 다른 피부색 모델을 적용한 결과와 비교 하였을 때 검출율을 유지함과 동시에 오검출율을 감소시키는 결과를 나타내었다.

Figure 7. The samples of test images for evaluation; (a) sample of test images, (b) skin region images by using Photoshop.

Table 3. Evaluation of skin color detection.

4. 결 론

본 논문은 결합된 피부색 모델과 관심 영역을 기반으로 한 피부색 검출을 제안하였다. 먼저 피부색 모델들의 검출율과 오검출율을 조사하여 이를 가중치로 사용하여 다중의 피부색 모델을 결합하고 후보 피부색 영역을 정의하였다. 그리고 그레이레벨 분산을 이용하여 영상에서의 관심 영역을 정의하였다. 이렇게 정의된 두 영역을 모두 포함하는 영역을 피부색으로 정의하여 피부색 영역을 정의하였다. 실험 결과 제안한 방법을 사용한 피부색 검출이 피부색 검출율과 오검출율에 대하여 우수한 성능을 보였다. 

Acknowledgement

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 2012년도 콘텐츠산업기술지원사업의 연구결과로 수행되었음