1. 서 론

 일반적으로 디지털 카메라는 렌즈를 통해 빛을 받아들이고 CCD(charge coupled device)나 CMOS(complementary metal oxide semiconductor)라는 이미지 센서를 통하여 영상을 획득한다^[1,2]. 이러한 카메라의 센서를 이용한 영상획득을 주파수 측면에서 살펴보면, 획득하고자 하는 이미지의 공간 주파수 스펙트럼이 2차원 평면의 x축과 y축에서 반복되는 형태의 공간 주파수 스펙트럼을 가진다. 따라서 표본화 정리에 따라 영상의 공간주파수가 이미지 센서가 표현 할 수 있는 최대의 공간주파수 보다 작을 경우 정확한 영상을 획득할 수 있다. 하지만 반대의 경우 일정한 간격을 갖는 주파수들 간에 간섭이 발생하고, 주파수 폭이 일정 주기로 변하면서 왜곡이 발생하게 된다. 이는 카메라를 통해 획득한 영상에서 무지개 색 물결무늬와 같은 색 번짐(color smear) 현상으로 나타나게 된다. 따라서 일반적인 디지털 카메라는 moiré라 불리는 상의 왜곡을 없애기 위해 영상의 공간 주파수를 센서의 분해 가능 주파수 이하로 제한하는 광저대역 투과 필터(OPLF)를 외부 필터에 추가하여 사용한다^[3-5]. 하지만 최근 제조 단가의 절약을 위해 OLPF 제거하고 색 번짐 현상을 제거하기 위한 연구가 시도 되었다. 이 방법은 영상의 RGB 신호를 밝기와 색도 성분으로 변환하고 각 성분에 저역 통과 필터를 적용하여 색 번짐 현상을 제거한다.^[6] 하지만 이 방법은 저역 통과필터에 의해 영상의 열화가 발생하게 된다. 따라서 본 논문에서는 카메라의 OLPF 제거 후 영상의 상세 성분을 보존하고 색 번짐 현상을 제거하는 방법을 제안한다. 먼저 색 번짐 현상에 발생한 영상의 R채널과 B채널의 지역적 분산과 영상의 세부(detail)성분을 이용하여 색 번짐 영역을 검출한다. 다음으로 검출된 영역에 대하여 채널별 특성을 고려한 주변의 평균 색도를 기준으로 색도 차이를 보정하고, G채널을 기준으로 검출된 영역의 채널별 비율의 평균을 적용하여 색 번짐 현상에 제거된 보정 된 픽셀의 채널별 값을 구하여 색 번짐 현상을 제거한다.

 실험 결과 제안한 방법은 세부 성분의 손실을 줄이고 색 번짐 현상의 제거에서 우수한 성능을 보였다.

2. 색 번짐 현상의 검출 및 제거

 본 논문에서는 Figure 1에서 보는 것과 같이 입력 영상에서 색 번짐 현상이 나타난 영역을 검출한다. 이 검출 된 영역에 대해 평균색도차이를 이용하여 색도 보정을 한 후 채널별 비율의 평균을 이용하여 색 번짐 현상을 제거한다.

Figure 1. Workflow of the proposed color smear reduction.

2.1. 색 번짐 영역의 검출

 색 번짐 영역을 검출 하기위하여 먼저 색번짐이 발생한 영상을 R, G, 그리고 B 채널별로 분석 하였을 때, Figure 2에서와 같이 R과 B채널에서 주변영역에 비해 밝기 변화가 발생하는 영역에서 색 번짐 현상이 나타남을 볼 수 있다. 색 번짐 현상이 발생한 영역에서 밝기가 변화가 나타는 영역을 검출 하고자 R과 B 채널에서 주변 픽셀 평균과의 차이와 R 채널과 B 채널의 지역적 분산의 차이를 이용하여 영역을 검출 하였다. 지역적 분산은 Figure3에서 와 같이 영상을 n×n의 크기로 균등분배하여, 각 영역안에서의 R과 B 채널의 각 평균과 현재픽셀의 차이를 계산한다.

Figure 2. Analysis of color channels in an image with color smear; (a) image with color smear, (b) red channel, (c) green channel, (d) blue channel.

Figure 3. Calculation of local variance using nxn blocks.

여기서, N은 n ×n크기의 블록내의 픽셀 수를 나타낸다. Rµ_u(i,j)은 n × n 크기의 블록 내의 Red 채널의 평균, Bµ_u(i,j)은 n × n 크기의 블록 내의 Blue 채널의 평균을 말한다. 또한 p(x,y)는 n ×n 크기의 블록 내의 각 픽셀을 나타내고 U(i,j)는 영상을 n ×n 크기로 나누었을 때의 각 블록을 나타낸다.

위의 식에 의해 계산된 R 채널과 B 채널의 지역적 분산값인 R_var(x,y)와 B_var(x,y)의 차이를 이용하여 색 번짐이 발생 가능한 첫 번째 후보 영역 D₁(x,y)을 검출하게 된다. 

 또한 색 번짐 형상은 카메라의 분해능의 한계 또는 초점에 의하여 세부 정보를 획득하지 못하여 발생하게 된다. 따라서 영상의 detail 정보를 고려하여 색 번짐 현상이 발생한 영역을 검출하기 위해 라플라시안 마스크(Laplacian mask)를 사용하여 영상의 세부(detail) 성분을 계산하고 주변의 세부 성분을 계산하기 위해 기준 픽셀로부터의 n×n의 영역내의 세부 성분의 양을 계산하고 이를 이용하여 추가적으로 색 번짐 현상이 발생하는 영역으로 검출하였다. 또한 영상에 적응적으로 적용하기 위하여 세부 성분의 양에 임계치를 detail 성분의 평균과 최대값으로 결정하였고, 다음과 같이 계산된다.

 여기서 D₂는 세부성분을 고려한 색 번짐 검출 후보 영역이고, C는 n×n 크기의 블록 내의 세부성분의 양으로 C_avr은 평균값을 나타내고, C_max는 최대값을 나타낸다.

이와 같이 R채널과 B 채널의 지역적 분산과 영상의 세부 성분을 이용하여 검출한 색번짐 현상에 발생한 영역을 동시에 만족하는 영역을 색 번짐 영역으로 정의 하였고, 그 검출 결과는 Figure 4에서와 같이 색 번짐 현상이 발생하는 영역을 정확히 검출하는 것을 확인 할 수 있다. 

Figure 4. Results of color smear detection; (a) images with color smear, (b) detection results of color smear.

2.2. 색 번짐 현상 제거 알고리즘

 색 번짐 현상의 제거를 위하여 색 번짐이 발생 영역에 대하여 채널별 비율을 분석하였고 그 결과 Figure 5에서와 같이 G채널에 대한 R채널과 B채널의 비율이 서로 상반됨과 동시에 각 비율의 평균을 기준으로 변화하는 특성을 보였다. 따라서 다음의 특성을 고려하여 주변의 평균 색도를 기준으로 색도 차이를 보정하였다. G 채널을 기준으로 검출된 영역의 채널별 비율의 평균을 적용하여 색 번짐 현상이 제거 된 보정된 픽셀의 채널별 값을 구하여 색 번짐 현상을 보정하였고, 다음과 같이 계산이 된다.

여기서, R_c, G_c 그리고 B_c는 색 번짐 현상이 보정된 채널별 픽셀 값을 나타낸다. 

Figure 5. Analysis of color smear for each color channel; (a) image with color smearing, (b) chromaticity ratio between A and B.

3. 실험 및 분석

제안한 방법의 색 번짐 현상 제거 성능을 평가하기 위하여 카메라의 OLPF를 제거한 후 획득한 영상을 사용하였고, 제안한 방법과 Nikon사의 NX2 Tool을 이용하여 색 번짐 현상을 제거한 후 그 결과를 비교하였다. 본 논문에서는 영상의 지역적 분산과 상세 성분을 이용하여 색 번짐 현상이 발생한 영역을 검출하기 위해 실험에 의해 11x11 크기의 블록을 이용하였다. 색 번짐이 발생한 직물, 실외기,주차장 영상은 Figure 6(a), 7(a), 그리고 8(a)에 각각 나타내었다. NX2 Tool을 적용한 결과 영상은 Figure 6(b), 7(b), 그리고 8(b)에 나타내었고, 제안한 방법을 적용한 결과 영상은 Figure 6(c), 7(c), 그리고 8(c)에 나타내었다. 그 결과 확대한 영상에서 보는 것과 같이 NX2 Tool은 저역 통과 필터를 사용하여 색번짐을 제거함과 동시에 영상의 디테일 손실을 가져옴을 확인 할 수 있다. 하지만 제안한 방법은 디테일 성분을 유지함과 동시에 색 번짐 현상을 제거하는 성능을 나타내었다. 또한 이를 객관적으로 평가하기 위하여 PSNR을 이용하여 성능을 평가하였다. 성능을 평가한 결과 표 1에 보는 것과 같이 제안한 방법이 모든 영상에서 높은 수치를 나타내었고 이는 디테일 손실을 줄이고 색 번짐을 제거함을 나타낸다.

Figure 6. Comparison of color smear reduction; (a) Fabric image, (b) corrected image using Nikon NX2 Tool, (c) corrected image using the proposed method.

Figure 7. Comparison of color smear reduction; (a) outdoor fan image, (b) corrected image using Nikon NX2 Tool, (c) corrected image using the proposed method.

Figure 8. Comparison of color smear reduction; (a) parking lot image, (b) corrected image using Nikon NX2 Tool, (c) corrected image using the proposed method.

Table 1. Evaluation of the proposed method using PSNR.

4. 결 론

본 논문은 OLPF를 제거한 후 획득한 영상에서의 색 번짐 현상의 제거방법을 제안하였다. 먼저 본 논문에서는 카메라의 OLPF 제거 후 영상의 상세 성분을 보존하고 색 번짐 현상을 제거하는 방법을 제안한다. 먼저 색 번짐 현상에 발생한 영상의 R채널과 B채널의 지역적 분산과 영상의 세부(detail)성분을 이용하여 색 번짐 영역을 검출하였고, 다음으로 검출된 영역에 대하여 채널별 특성을 고려한 주변의 평균 색도를 기준으로 색도 차이를 보정하고, G 채널을 기준으로 검출된 영역의 채널별 비율의 평균을 적용하여 색 번짐 현상에 제거된 보정 된 픽셀의 채널별 값을 구하여 색 번짐 현상을 제거하였다. 실험 결과 제안한 방법은 영상의 세부 성분을 보존함과 동시에 색 번짐 현상을 제거하는 성능을 보였다.

Acknowledgement

이 논문은 2013년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. NRF-2013R1A2A2A01016105)