1. 서 론

 영상 향상 알고리즘은 영상내의 물체나 혹은 관심이 있는 영역의 정보를 보다 많이 보여주기 위해서 원 영상의 콘트라스트를 조정함으로써 화질을 향상시킨다.^[1] 이를 통해서 향상된 향상은 물체의 검출, 패턴 인식 등과 같은 컴퓨터 비전 분야에 응용된다.^[2-3]

 기존 콘트라스트 향상 방법으로는 공간으로 균등한 방법과 공간적으로 불균등한 방법으로 나눌 수 있다. 공간적으로 균등한 방법으로는 선형 콘트라스트 늘임^[1-2]과 히스토그램 균등화 방법^[3-4]이 있다. 이 방법은 영상내의 모든 화소에 대해서 동일하게 적용시키는 방법으로써 초기 영상 향상에 주로 사용되었다. 공간적으로 불균등한 방법으로는 적응적인 히스토그램 균등화(AHE),^[5] 콘트라스트 제한된 적응적 히스토그램 균등화(CLAHE)^[6], 그리고 블록오버랩 기반의 영상 향상 방법^[7] 등이 있다. 이 방법들은 영상내의 지역적인 특성을 고려하여 콘트라스트를 조정함으로써 입력이 동일한 값일지라도 다른 값으로 치환될 수 있다. 이러한 이유로 일반적으로 이 알고리즘들 중에서 공간적으로 불균일한 알고리즘을 적용하면 화질이 더 좋다고 알려져 있다.

 LHE (Local histogram equalization) 방법 중에서 적응적인 히스토그램 평활화(CLAHE)는 지역 히스토그램의 높이를 제한함으로써 콘트라스트 이득을 제한한다. 그러나 이 방법은 과도한 향상으로 부자연스러운 영역을 발생시키는 문제가 있다. 다음으로 블록 중첩 히스토그램 평활화 방법(BOHE)은 블록를 이용하여 지역적 특성을 이용하고자 하였다.^[7] 그러나 이 방법 또한 하늘과 같이 부드럽게 변하는 영역에서 블록 결함과 같은 형태의 윤곽이 발생하는 문제를 가지고 있다. 최근에 위와 같은 문제를 해결하기 위하여 다계층 블록 중첩을 이용한 히스토그램 기법(MLBOHE)이 제안되었다.^[8] 이 방법은 기존의 BOHE 방법의 블록의 크기를 여러 개를 중첩하여 사용함으로써 블록 형태의 잡음을 최소화하는 것을 목적으로 한다. 그러나 이 방법은 콘트라스트 향상을 통한 화질 향상 과정에서 원 영상에 과도하게 의존하기 때문에, 전체적으로 어두워지기 때문에 최적의 화질을 구현하는데 한계가 있다.

 본 논문은 최적 화질에 대한 일반적인 영상의 시각적인 통계를 기반으로 영상의 콘트라스트 및 밝기를 향상시킴으로써 인지적으로 최적의 화질을 재현하는 알고리즘을 제안한다.

2. 시각적 최적화를 위한 통계 분석

 Jobson은 좋은 시각적 표현과 통계적 특성 사이의 관계를 조사하였다.^[9] 그의 방법에서 영상의 지역적인 밝기를 바탕으로 전체적인 밝기가 측정되어진다. 또한 전반적인 대비는 지역적인 표준편차의 평균에 의해서 결정되며 그것이 지역적인 대비 변화의 총계임을 확인하였다.

 여기서 (2P+1)과 (2Q+1)은 윈도우의 크기이며, 각 블록은 50×50 화소로 계산되었다.

 Jobson은 좋은 시각적 표현은 수렴하는 통계적 특성을 가지고 있다는 것을 확인하였다. 그림 1은 이상적 시각표현에 대한 실험에 대한 결과를 보여준다. 그림 1(a)는 원 영상에 대한 평균과 표준편차를 데이터 분포로 표현한 것이다. 그림 1(b)는 원 영상을 시각적 최적화 영상으로 변환 후 군집 모양으로 표현한 것이다. 그림 1에서 실제 데이터와 시각적 최적화 군집을 비교하면 다음과 같은 특징을 유도할 수 있다. 원 영상의 평균이 50～200으로 넓은 분포를 하고 있는 반면에 시각적 최적화 군집은 평균값 165를 중심으로 다소 밀집되어 형성되어 있다. 또한 최적화 영상의 표준편차 군집도 원 영상의 표준편차에 비해 더 큰 쪽으로 이동되어 있음을 알 수 있다. 더 나아가 Jobson는 이상적인 영상의 경우 표준편차가 60～90에 분포한다고 주장한다. 따라서 본 논문은 이러한 시각적 최적화 통계를 기반으로 낮은 대조비를 갖는 저계조의 영상에서 밝기 및 콘트라스트를 향상시킴으로써 최적화 영상으로 만드는 방법을 제안한다.

Figure 1. Experiments of ideal visual representation. (a) Original and visually optimized data (b) Clusters of Original and visually optimized data.^[9]

3. 다계층 중첩블록을 이용한 히스토그램 평활화

 기존 다계층 중첩 블록 기반 히스토그램 평활화(MLBOHE) 방법은 영상 향상, 노이즈 제거, 영상 병합 등 3 단계로 이루어져 있다. 첫 번째 단계는 영상의 콘트라스트를 향상시키고 숨겨진 디테일을 드러내며, 전반적인 밝기를 재분배시키기 위한 과정이다. MLBOHE 방법은 기존의 BOHE 방법을 3가지 형태로 확장한 개념이다. 이때 영상의 해상도가 M×N이라면 사용된 윈도우 크기는 각각 (M/2)×(N/2), (M/4)×(N/4), (M/8)×(N/8)이 된다. 이 세 가지 윈도우를 이용한 결과영상은 각각 h₁, h₂, h₃로 표현한다. 이러한 과정을 수행하기 위해서 몇 가지 가정이 필요하다. 먼저 가장 작은 윈도우의 해상도가 256에 비해서 충분히 크다는 것이다. 이 조건은 입력영상을 0 ∼ 255 사이의 모든 값으로 재분배하기 위함이다. 두 번째는 입력 영상보다 h₁의 밝기가 넓게 분포되어 있다는 것이다. 이와 같은 가정을 기반으로 h₁은 영상의 밝기 재분배에 사용되고 h₂는 작은 물체에 대한 숨겨진 디테일을 드러내는데 사용되며, 마지막으로 h₃는 영상의 고주파성분을 살리는데 사용된다. 기존 논문에서는 노이즈 문제를 해결하고자 계층별로 다른 윈도우 크기를 가진 Median 필터를 적용하였다. 이때 필터를 통과한 영상은 각각 h_1s , h_2s, h_3s로 나타낸다.

마지막으로 원 영상과 병합함으로써 기존의 밝기가 과도하게 변하거나 혹은 포화되는 것을 예방한다. 이를 위해서 먼저 각각의 계층에서 생성된 결과에 가중치를 이용하여 다음과 같이 하나의 영상으로 합성한다. 

Figure 2. Flowchart of multi-layer block overlap histogram eualization (MLBOHE) method.

 여기서 w_i  는 양의 실수이고   이다. 또한 Ω 는 계층의 수를 나타낸다. 이때 가중치는 영상에 의존하도록 엔트로피(entropy)에 비례하여 결정하였다.

 일반적으로 엔트로피는 영상의 히스토그램 평활화에서 향상된 영상의 성능을 평가하는 방법 중의 하나로써 다음과 같이 계산된다.

여기서  이고 p(x) = h(x)/(M×N)이다. 또한 p(x)와  h(x)는 각각 영상의 확률밀도함수와 히스토그램이다. 높은 성능향상이 이루어진 결과영상은 더 많은 정보를 포함하고 있으며, 이것은 높은 엔트로피(E)를 나타낸다. 이러한 조건에 따라 높은 엔트로피를 가진 계층일수록 높은 가중치를 가지게 된다. 

 최종적으로 원 영상의 히스토그램을 유지하기 위하여 병합된 P를 원 영상에 대한 가중 를 이용하여 다음과 같이 생성한다.

 여기서 α, β는 양의 실수이며 두 수의 합은 1이며 X, Y는 각각 입력영상과 출력영상이다.

 그림 2는 지금까지 설명한 다계층 중복 블록 히스토그램 평활화 기법의 흐름도이다. 입력영상은 계층별로 나누어져 각각 영상의 콘트라스트를 향상시키고, 다음으로 필터를 통과한 영상이 생성한다. 필터를 통과한 영상은 각 계층에서 계산된 엔트로피에 비례한 가중치를 줌으로써 병합영상 P를 만들 수 있다. 최종적으로 입력영상의 히스토그램을 과도하게 변형시키지 않도록, 입력영상과 병합영상에 상응하는 가중치를 적용하여 최종 출력영상을 생성한다.

4. 시각적 통계 기반의 영상 최적화를 위한 MLBOHE 기법

 기존 MLBOHE 방법은 각 계층들에 따라 블록으로 나누어지게 된다. 일반적으로 그림 2와 같이 계층이 세 개일 경우 그에 해당하는 영상이 만들어 지고 각 영상에 해당하는 가중치를 곱한 후 병합하면 향상된 영상이 결정된다. 마지막으로 입력 영상과 병합을 통해 최종영상을 생성한다. 여기서 각 블록 영상의 콘트라스트를  으로 표현하고, 향상된 블록 영상의 콘트라스트를 으로 표현할 수 있다. 이때 각 계층의 콘트라스트가 동일하게 유지되어야 하기 때문에 다음과 같이 표현된다.

 이때 c_i는 각 계층별 영상을 나타내며, λ는 영상의 인지적인 콘트라스트를 증가하거나 감소시킬 수 있는 변수이다.

 제안한 알고리즘에서 또 하나의 중요한 요소인 β는 영상의 전역 동적 범위(global dynamic range)를 결정하는 변수로써 이를 조정함으로써 영상의 밝기를 결정할 수 있다. Jobson의 결과에 따르면, 이상적인 경우에 영상의 밝기 평균과 표준편차는 각각 0.63, 0.25∼0.35로 알려져 있다.^[9] 이 결과를 바탕으로 최적의 영상을 생성하도록 변수들을 결정할 수 있다. 만약 최적 영상의 평균을 µ_opt 라하고, 이때의 표준편차를 б_opt 라고 한다면, 향상된 영상의 평균과 표준편차는 다음과 같이 구할 수 있다.

이 때, λ와 β는 전형적인 비선형 파라미터 추정 방법을 통해 풀 수 있으며 λ와  β을 이용하여 시각적으로 최적 영상에 대한 콘트라스트와 밝기를 조절할 수 있다. 이때 적용되는 K _β (·)함수는 다음과 같이 표현된다.^[10]  

 여기서 I 는 영상의 밝기이며, 는 K _β (·) 의 함수에 의해 동적 범위가 조정된 후의 밝기이다. 영상에 따라 다양한 β가 존재할 수 있으나, 한 예로 β=0.5 인 경우에 대하여 입력 영상의 밝기와 동적 범위의 조정에 관한 결과를 그림 3에서 보여주고 있다.

Figure 3. Dynamic range function ( β =0.5)

 다음으로, 콘트라스트 조절을 위해 밝기 분포는 고정한 상태에서 표준편차를 조정하기 위한 식을 구성한다. 이때 영상의 화질 향상을 위해 목적함수는 출력 영상의 엔트로피를 최대가 되도록 결정한다.^[11]

 위 조건식을 해결하기 위해 라그랑제 함수로 변환하면 다음과 같은 수식으로 표현된다.

위 식을 f(x) 에 관해서 미분하면 0이 되는 지점에서 극값을 찾을 수 있으며 이는 이 함수의 최대값이 된다. 이를 f(x) 로 정리하면 다음과 같다. 

 최종적으로, 식 10의 세 가지 조건을 이용하여
라그랑제 곱셈계수 λ_i  를 제거하면 최적화 방법[12]을 이용하여 최종 f(x) 의 값을 다음과 같이 얻을 수 있다.

 그림 4는 수식 (14)를 통해 나타난 누적 분포곡선에 따른 콘트라스트 조절 함수의 결과이다. 표준편차가 커질수록 완만한 형태의 곡선으로 변하면서 콘트라스트는 더 커지게 된다.

Figure 4. Contrast control function for CDF

5. 실험 및 결과

 실험 영상은 디스플레이의 화질향상 측면에 중점을 두고 결과를 평가하고자 특수 영상인 의료영상 및 위성 영상은 제외하였다. 그림 5와 6은 기존 방법 및 제안한 알고리즘에 대한 결과 영상을 보여주고 있다. 그림 5의 입력 영상은 야외의 강한 조명에 의한 부분과 실내의 어두운 부분이 함께 있는 영상으로 두 부분의 밝기 차이가 상당히 있기 때문에 콘트라스트가 고르지 못함을 알 수 있다. 기존 히스토그램은 두 영역의 밝기 차이를 고려하지 못했기 때문에 포화 영역이 발생하였으며, CLAHE 방법도 실내영역에서 과도한 대비 조절로 인해 부자연스러운 영역이 발생하였다. MLBOHE 방법은 기존 두 방법에 비해 콘트라스트 측면이나 부자연스러운 부분이 다소 해소되었으나, 밝기가 상대적으로 어두운 상태인 반면, 제안한 방법은 기존의 과도함과 포화를 억제함과 동시에 밝기와 콘트라스트를 향상시킴으로써 화질 향상의 결과를 보여준다. 그림 6도 마찬가지로 제안한 방법은 이상적인 콘트라스트와 밝기 영역에서 영상을 표현함으로써 기존 방법의 과도함 및 부자연스러움을 해결함으로써 화질이 향상된 결과를 보여주고 있다. 표 1은 그림 5에 대하여 4가지 알고리즘에 대한 평균과 표준편차를 보여주고 있다. 제안한 방법은 기존 방법에 비해서 시각적 최적화 데이터에 유사하도록 재현됨을 확인할 수 있다.

Figure 5. Simulation result of 'Park' image: (a) Input image, (b) HE, (c) CLAHE, (d) MLBOHE, and (e) Proposed algorithm.

Figure 6. Simulation result of 'Woman' image: (a) Input image, (b) HE, (c) CLAHE, (d) MLBOHE, and (e) Proposed algorithm.

Table 1. Quantitative comparison of four algorithms.

6. 결론

 본 논문은 최적화된 영상의 통계적 특성에 기반한 영상의 밝기 및 콘트라스트 조절을 통해 화질을 향상하는 알고리즘을 제안한다. 제안한 방법은 최적화된 영상을 재현하기 위해 일정한 밝기를 유지하도록 하며 특정 범위내의 콘트라스트에 분포하도록 영상의 누적 분포곡선을 조절한다. 또한 멀티 레이어에 기반한 컨트라스트 조절을 통해 영상의 블록화 및 포화 현상을 방지한다. 실험에서 제안한 방법이 기존 방법들에 비해 자연스러운 화질 재현 및 콘트라스트 향상 측면에서 우수한 결과를 보여줌을 확인하였다.

Acknowledgement

 이 논문은 2012∼2013년도 창원대학교 연구비에 의하여 연구되었음.