페이지_ 18권 2호 전체-1-8.pdf2.01MB

• 1. 서 론
• 2. 이색성 반사 모델
• 3.가상응답 기반 특성화 모델링
• 4. 색도잡음특성 모델링
• 5. 실험 및 결과
• 6. 결 론
• Acknowledgement

1. 서 론

물체로부터 반사된 칼라 자극은 조명, 물체의 표면 반사율, 수광체의 민감도에 의해서 결정된다. 이 중에서 조명은 영상 전반에 영향을 주는 요소로써, 임의의 조명하에서도 인간의 눈은 통합적인 판단을 통해 주위 조명을 추정할 수 있다.^[1~3] 이 과정을 유사한 방법으로 카메라 시스템에 적용한 것이 색 보정 알고리즘이다.

조명을 추정하는 방법으로 Lee^[4]는 색도의 변화를 분석하여 조명의 색도값을 추정하는 방법을 제안하였다. 이 방법은 물체에 대한 조명의 반사가 전반사(specular reflection)와 확산반사(diffuse reflection)로 구성되어 있는 특성을 이용한다. 조명이 다수 포함된 영상의 일부 영역의 전반사와 난반사의 데이터들은 색도좌표계에서 일차식으로 모델링(Image Path Search; IPS) 가능하고 이 과정을 다수 영역별로 적용하여 영상 내 조명의 색도값을 추정하였다. 또한 Tan^[5]은 색도값과 밝기값을 동시에 이용하여 하나의 영역만으로도 색도값을 추정하는 방법을 제안하였다. 이 방법(Inverse Intensity method)은 각각의 r, g, b 색도값과 밝기값에 대한 색도 분포를 분석하여 영상의 분할없이 조명의 색도값 추정이 가능한 장점이 있다. Lehman^[6]은 기존의 방법들이 잡음특성이 있는 것을 고려하여 영상을 중첩하여 획득함으로써 잡음을 최소화하는 방법을 제안하였다. 이 방법(Color Line Search; CLS)은 고휘도 영역의 화소들을 Hough 변환을 이용하여 이색성 반사모델로 분석한 것이 특징이다. 

일반적으로 카메라는 동일한 영상을 중복하여 획득하기가 쉽지 않기 때문에 본 논문은 카메라의 노이즈에 의한 조명색 추정오차를 줄이기 위해 색도 잡음 분석을 이용한 색도잡음 모델링을 제안한다. 또한 카메라 모델링을 위해 가상응답을 이용함으로써 실제 카메라 응답을 카메라 모델링의 결과로 변환하는 과정을 수행하였다. 이 과정을 통한 색도잡음 모델링 결과를 이색성 반사모델에 적용함으로써 조명색 추정의 정확성을 높이고자 하였다. 

2. 이색성 반사 모델

이색성 반사모델을 이용한 조명색 추정은 고휘도 영역 화소들의 색도 분포를 분석함으로써 이루어진다. Figure 1은 이색성 반사 모델을 이용한 조명색 추정의 개념을 설명한 그림이다. 세 가지 물체 영역에서 반사된 빛은 각각 물체색과 조명색에 대한 일차식으로 표현할 수 있고, 이들에 대한 교점을 계산하여 영상내의 조명색을 추정한다. 이 방법은 카메라의 광학적 정보없이 조명색을 분석할 수 있는 장점이 있다.

Figure 1. Illuminant chromaticity estimation using the dichromatic reflection mode in highlight regions.

카메라의 응답은 다음과 같은 수식으로 표현된다. 

여기에서 V_i는 카메라의 응답이고, E(λ)는 조명의 분광스펙트럼분포, S(λ)는 카메라의 민감도, O(λ)는 물체의 표면반사율이다. 이색성 반사모델에 의하여 카메라 응답은 다음과 같이 표면반사와 내부반사의 합으로 표현할 수 있다.^[5] 

여기에서 기하적인 특성을 가지는 α와 β는 표면과 조명사이의 각인 θ에 의해 결정된다. 

위 수식을 채널별로 분리하면, 

여기에서 내부반사 부분인 I 는 영상에서 물체에 의해 방출되는 조명으로 볼 수 있고 따라서 이 수식은 다음과 같이 전개된다. 

한편, 카메라 응답에 대한 rg 색도값은 다음과 같이 채널별 합을 정규화시킴으로써 구할 수 있다. 

수식 5와 6으로부터 색도 좌표계는 다음과 같은 관계를 가진다. 

이 때 

를 만족한다. 스펙트럼이 다른 두 물체는 r-g 색도 좌표계에서 다음과 같이 교차하는 일차원 분포를 나타내게 된다. 

3.가상응답 기반 특성화 모델링

카메라로 획득된 영상은 순수한 카메라 응답(raw data)이 아니기 때문에, 이 데이터를 조명색 추정에 이용하면 그 결과는 오차를 발생하게 된다. 그 이유는 실제 자극이 이미 카메라의 센서, 파이프라인, 영상처리프로세서를 통해 선형 및 비선형적인 처리를 거친 결과이기 때문이다. 이러한 이유로 비선형적인 카메라 응답을 원(raw) 데이터로 변환하는 장치 특성화 과정을 거치게 된다.^[7] 

일반적인 경우에 카메라의 응답특성이 제공되지 않기 때문에 장치에 따라 이 과정을 수행해야 하는 단점이 있다. 본 논문은 이 과정을 수행하기 위해 가상 응답을 이용한 모델링과정을 Figure 2와 같이 제안한다. Figure 2에서 보듯이 표준샘플에 대한 실제 카메라 응답과 그에 해당하는 스펙트럼이 가상 카메라 민감도를 통과한 결과에 대해 회귀방정식을 이용함으로써 특성화 과정을 수행하였다. 이때 조명 및 카메라 민감도에 대한 두 가지 가정을 전제하였다. 첫째, 가상 카메라의 민감도는 델타 함수와 유사하다. 둘째, 특성화 실험에 수행된 조명색은 흑체 궤적(Planckian locus) 위에 존재한다. 두 데이터를 이용하여 다항회귀방정식을 이용한 수식은 다음과 같다. 

Figure 2. Calculation of virtual response from camera responses.

여기서 

실제 카메라 응답과 가상 카메라 응답 사이의 관계를 다항회귀방정식으로 표현한 결과는 Table 1과 같다. 다항회귀방정식의 관계식의 모형에 따라 차이는 있으나, 기본적인 3x3 모형의 결과가 가장 오차가 적음을 확인하였다. 

Table 1. Results of matrix transform and its inverse.

4. 색도잡음특성 모델링

이색성 반사모델을 이용한 조명색 추정에서중요한 것은 색도좌표계에서 하나의 color line(조명과 표면을 연결하는 색선)을 구성하는 방법이다. 관심영역의 화소들은 센서 응답, 물체 표면의 변화, 조명의 불균일 등 신호처리 과정에서 잡음(noise)이 포함되게 된다. 이렇게 영상에 포함된 잡음은 색도좌표계에서 . color line을 생성할 때 오차를 발생하게 되고 이것은 결국 조명색 추정 오차의 원인이된다. 기존 방법들은 관심영역인 고휘도 영역들의 화소를 모두 이용하여 칼라라인을 결정한 것에 비해 본 논문은 이렇게 발생하는 잡음특성을 모델링하여 잡음을 배제함으로써 추정의 오차를 줄이고자 하였다. Figure 3에서 점선 타원안의 세 점은 하나의 관심영역에서 각각 조명영역의 중심 색도, 물체 영역의 중심색도, 전체의 중심 색도를 나타낸다. 이 세 점을 기준으로 동일거리에 있는 화소들을 이용하여 조명 추정에 이용하였다. 이때 동일거리를 계산하기 위해 전처리 과정을 다음과 같은 방법으로 수행하였다.

Figure 3. Example of line detection based on selection of valid pixels in highlight region.

멕베스 표준샘플을 표준 조명하에 두고 응답 특성을 분석하였다. 이때 사용된 샘플의 수는 240개이며, 이 응답이 이상적인 경우 색도좌표계에서 240 화소로 표현되어야한다. 그러나 실제는 240개의 군집(population)으로 표현되었으며, 이는 카메라 응답 신호에서 잡음이 이미 이미 포함되었다는 것을 의미한다. 각 샘플에 대해서 군집과 군집의 평균에 대한 거리를 계산하고, 전체 샘플에 대한 평균거리를 계산한다. 마지막으로 그 결과값을 Figure 3에서 세 점을 중심으로 한 거리에 이용하면 최종적으로 점선과 같은 타원형의 유효화소들을 선택할 수 있다. 이 선택된 화소들을 이용하면 기존과 다른 잡음이 배제된 상태에서 color line을 결정할 수 있게 된다. 각 관심영역에 대한 color line을 결정하게 되면 이를 이용하여 Figure 1과 같이 다른 관심영역에 동일하게 반복 적용함으로써 조명색을 추정할 수 있다.^[8]

Table 2는 Sony DSC 카메라를 이용하여 표준 샘플 240개에 대한 잡음 특성을 분석한 결과이다. 전체 샘플에 대한 Mahalanobis 거리의 평균은 0.905로써 이 값을 기준으로 색도좌표계에서 하나의 관심영역에 대한 유효화소를 선택하였다. 

Table 2. Mahalanobis distances of Sony DSC-D700 CCD camera for GretagMacbethTM ColorChecker.

5. 실험 및 결과

실험은 실내외 환경을 대상으로 수행되었다. 실내 환경은 정해진 표준 조명하에 물체를 두고 획득된 영상과 임의의 조명하의 물체를 카메라로 획득하는 방식으로 진행되었으며, 실외 영상은 밤과 낮에 일반적인 조명하에서 영상을 획득하였다. 이때 사용된 멕베스 표준 챠트는 추정된 조명색과 비교 및 오차를 계산하기 위해 사용된다. Table 3은 기존 방법 및 제안한 방법에 대한 조명 추정의 오차이다. 결과값은 색도좌표계의 r, g 각각에 대해서 제곱근을 이용하여 평균을 계산한 것이다. 추정 오차가 줄어든 가장 큰 이유는 잡음 모델링을 통해 유효화소만을 조명 추정에 이용하였기 때문이며, 조명 D65의 경우 영상 측면에서 가장 표준영상과 많이 유사하기 때문에 결과 오차가 기존 방법에 비해 많이 차이나지 않음을 확인할 수 있었다. 

Table 3. Comparison of illuminant estimation error.

Figure 4는 제안한 방법으로 영상을 복원했을 때의 결과이다. Figure 4(a)는 입력 영상이고 4(b)는 제안한 방법으로 복원한 영상이다. 이때 color line을 결정하기 위해 과일영상은 과일을 비추는 전반사 영역을 포함한 고휘도 영역을 이용하였으며, 자동차 영상의 경우 차에 비춰진 고휘도 영역을 이용하였다. 또한 화분 영상과 황소 영상에서 사용된 관심영역은 유사한 표면(object)이지만 조명의 기하학적 차이로 color line이 다르게 표현되는 특징을 이용하여 이들의 교차점으로 조명을 추정하였다. 

Figure 4. Experimental results: (a) test images in indoors or outdoors and (b) proposed results.

6. 결 론

본 논문에서는 가상응답과 색도잡음특성 모델링을 이용한 영상의 조명 보상 방법을 제안하였다. 색도잡음 모델링을 통해 조명 추정에 필요한 화소들을 필터링하여 잡음들을 배제함으로써 추정의 오차를 줄일 수 있었으며, 가상응답을 이용함으로써 시스템의 특성 모델링을 간단히 수행할 수 있었다. 제안한 방법으로 조명 추정 및 보상한 결과 기존 방법에 비해 추정오차가 감소하였음을 실험을 통해 확인하였다. 

Acknowledgement

이 논문은 2012년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업(No.2012R1A1A1019461)임.