1. 서 론

 초고속인터넷과 같은 고속통신망을 통해 기존의 방송신호와 같은 멀티미디어 콘텐츠를 수동적으로 받아들이던 시대를 지나, 최근 일반 사용자가 직접 사용자 제작 콘텐츠(User-Created Contents, UCC)로 생산 및 배포하는 경향이 뚜렷해지고 있다. 그러나 데이터의 저장 및 전송의 문제로 인해 재생산되는 UCC콘텐츠들은 제한된 해상도를 가지고 있으며, 이는 원영상에 비해 작은 정보량을 포함한다. 이를 원영상으로 복원할 때, 일부 edge 영상에서 Figure 1과 같은 계단 모양의 결함이 발생하는데 이를 재깅 결함(Jagging Artifacts)라고 한다 ^[1].

Figure 1. Jagging artifacts by resolution conversion; (a) test chart and (b) original image (X2).

 방향성 보간법(Directional interpolation)은 가로 방향과 세로 방향을 함께 고려하는 2차원 보간법으로써, 영상에서 에지(edge)의 방향을 고려하여 재깅 결함을 억제하면서 해상도를 변화시키는 방법이다 ^[2]. Li는 지역적인 공분산을 이용하여 보간 계수를 계산하였다. 이 방법은 재깅 결함을 효과적으로 감소시켰으나, 화소당 4X4 행렬의 역행렬을 계산하는 복잡성의 단점이 있다 ^[3]. 

 Morse는 화소값을 변화시키면서 윤곽선을 부드럽게 하는 Level Set 알고리즘 제안하였다 ^[4]. 이 방법은 원래 화소는 처리하지 않고 크기 변환 과정에서 생성된 화소만을 처리하여 코너와 디테일 영역을 유지한 상태에서 재깅 결함을 감소시키고자 하였다. 그러나, 해상도가 정수배가 아닌 영역에서 질감이 감소하는 단점이 있다. 이를 보완하기 위해서 주성분 분석을 이용한 재깅 결함 방법(Jagging Artifacts Free Interpolation, JAFI)을 제안하였다. ^[5] 이 방법은 해상도 변경시에 주성분의 방향과 벡터의 크기를 고려함으로써 재깅 결함을 제거하는 방법이다. 그러나 이 방법은 다양한 형태의 영상 및 해상도 변화 및 코덱 기반의 영상에서 발생하는 블록 형태의 처리에 한계를 나타낸다. 이를 해결하기 위해서 본 논문은 주성분 분석과 은닉 마코프 모델을 이용하여 블록형 재깅 결함을 효과적으로 제거하는 알고리즘을 제안한다.

2. 주성분 분석을 통한 재깅 결함 제거 방법

 주성분 분석 방법은(principal component analysis) 데이터 분석과 압축에 널리 이용되는 통계적인 방법이다. 이 방법에 의하면 고차원적인 데이터를 정사(projection)를 통해 저차원의 데이터로 변환할 수 있다 ^[6]. 

 만약 어떤 문제에 대한 차원을 감소시키려면 많은 정보를 소실하지 않으면서 변수들의 수를 감소시키기를 원할 것이다. 이것은 몇 개의 중요한 성분만을 사용함으로써 가능하다. 주성분 해석은 변수의 수를 감소시킬 뿐만 아니라 주성분들 간의 상호 연관성이 없으므로 매우 유용하게 사용된다. 그러므로 주성분 해석을 이용할 경우 복잡한 상호연관성을 가지는 많은 수의 원시변수들을 분석하는 대신에, 상호연관성이 없는 적은 수의 주성분을 분석함으로써 문제를 해결할 수 있다. 

 주어진 자료를 X라 놓고, n개의 관찰된 표본이 있다면 X를 다음과 같이 정의할 수 있다. 

 이때 X의 각 표본 x_i는 해당 표본을 구성하는 다음의 m개의 데이터로 구성된다.

 이때 T는 행렬의 전치(Transpose)를 나타낸다. 영상의 경우, 이때의 m의 값은 해당 화소 수가 될 것이며 1차원 벡터로 표현할 수 있다. 다음으로 X의 평균을 구한 후 X의 각 행의 값의 평균을 0 으로 만들어 준다.

 이때 주요 축들은 공분산 행렬의 고유 벡터값들이며, 해당 고유값들은 각 축의 분산을 나타낸다. 첫째 주요 축은 최대의 분산값을 가지고, 두번째 주요 축은 첫 번째 축에 수직하며 그 다음으로 가장 큰 값을 가진다. 이러한 방법으로 나머지 축들이 구성된다. 따라서 공분산 행렬 C의 고유벡터와 고유값을 구한 후에 고유값을 크기에 따라 정렬하고 고유벡터도 해당 고유값의 위치대로 정렬한다. 일반적으로 후 순위의 작은 값을 가지는 고유값들은 기여도가 낮기 때문에 이를 버릴 수 있다. 이때 입력 데이터의 차원을 줄일 수 있다.

PCA로 데이터를 표현하는 방법은 다음과 같다. 먼저 PCA를 이용하여 데이터가 표현되는 것을 R이라 하면, R의 각 행이 원래 데이터의 표본에 매칭된다. 위에서 언급한 고유벡터가 열로 들어 있는 행렬을 V라고 하였을 때 다음과 같이 R을 구할 수 있다. 

 고유벡터 V가 대칭적이고, 직교 정규화되어 있으므로 V^TV = I의 성질을 가지며, 역으로 데이터를 변환하는 것은 다음과 같이 구할 수 있다. 

 Figure 2는 제안한 알고리즘의 가상코드이다. 먼저 입력영상에 은닉 마코프 모델을 적용하여 블록 결함 발생이 예상되는 영역을 검출한다. 검출된 영역에 대하여 그레이디언트(gradient)와 2차원 특징(features)을 추출한다. 추출된 2차원 특징을 SVD를 적용함으로써 방향성과 그에 해당하는 방향성의 크기를 계산한다. 마지막으로 결함 방향에 따라 가중치를 두어 새로운 화소를 계산한다. 다음 장에서는 블록 결함을 검출하기 위한 은닉 마코프모델 방법을 설명한다.

Figure 2. Flowchart of proposed algorithm.

3. 은닉 마코프 모델을 이용한 블록 재깅 결함 검출 방법

 HMRF는 관측이 불가능한 상태를 관측이 가능한 상태로 추정하는 이중 확률처리 모델이다. 그리고 EM 알고리즘은 보이지 않는 잠재변수에 의존하는 확률모델에서 변수의 최대 우도 추정치를 찾고자 하는 알고리즘이다. 기존 방법은 영상의 해상도를 변경하거나 블록 코딩을 통함으로써 블록 결함이 발생한다. 이 때 경계면 영역에서 HMRF- EM 알고리즘을 적용하여 블록현상을 미리 검출할 수 있다. 본 논문에서 이용한 HMRF-EM 알고리즘은 아래와 같다. ^[7] 

y_i을 각 화소의 밝기로 하는 입력영상 y = (y₁,...,y_N)이 있다. HMRF를 이용해 우리는 labels x= (x₁,...,x_n)의 배열을 추론한다. x_i∈L이며 L은 labels의 모든 가능한 수이다. 

사전 확률 P(x)는 Gibbs 분포이며, 공동 우도 확률은 

위 식에서 P(y_i|x_i,Θ_xi)는 변수 Θ_xi=(μ_xi,σ_xi)의 가우시안 분포이다. Θ = [Θ_I|I∈L]은 EM 알고리즘을 이용해 얻은 변수집합이다. 변수집합을 구한 후 Θ_I = (μ_I,σ_I)변수를 이용 해 가우시안 분포 함수 G(z;Θ_I)을 나타내면,

 HMRF-EM 알고리즘을 적용하기 위해서는 2가지의 가정이 필요하다. 첫 번째로, 이전 확률 분포를 아래와 같이 가정한다.

 위 식에서 U(_X)는 이전 에너지 함수이다. 두번째 가정으로는,

이 두 가정을 이용해서 HMRF-EM 알고리즘을 정의한다. 처음으로 초기 변수 Θ⁽⁰⁾을 설정한다. 그리고 확률 분포 P^(t)(y_i|x_i,Θ_xi)를 계산한다. 설정해 두었던 Θ⁽⁰⁾을 이용하여 labels를 계산한다. 이 계산과정에서 MAP Estimation을 이용한다. 

 다음으로, 모든 I ∈ L과 모든 화소 y_i의 사후 분포를 계산한다.

는 x_i의 이웃 구성이다. 

이며, 

 이다. 마지막으로, P^(t)(l|y_i)을 이용하여 변수를 갱신하면

 i번째 화소가 블록의 경계선이면 z_i = 1, 그렇지 않으면  z_i = 0인 이진(binary) 블록 검출맵을 다음과 같이 생성할 수 있다. 

4. 실험 및 결과

 실험은 정량적인 평가와 정성적인 평가를 위해 두 부분으로 진행하였다. 먼저 정량적인 평가는 Figure 3의 표준 차트를 사용하였다. 그림에서 표시된 3개의 영역을 각각 원 영상으로 정의하고, 이들을 축소하여 Figure 3(b), 3(c), 3(d) 각각에 대한 샘플 영상을 만들었다. 이 영상들을 대상으로 선형보간법과 Morse방법 및 제안한 방법으로 영상 복원한 후 PSNR을 표 1과 같이 비교하였다. 표에서 제안한 방법은 기존 방법에 비해 PSNR이 높게 계산되었으며, 이것은 크기 변환시 발생하는 재깅 결함이 효과적으로 억제되었음을 나타낸다. 다음으로 실제 영상을 대상으로 결과 영상을 비교해 보았다. 먼저 Figure 3은 VC1 압축된 영화의 트레일러의 한 장면이다.

Figure 3. Test images; (a) test chart, (b) circle, (c) square, and (d) half-circles.

Table 1. Comparison of PSNR for test images.

 이 영상의 해상도는 480×368로써 FHD 영상에 비해서 약 10배 이상 작은 해상도의 영상이다. 이러한 영상이 FHD 화면으로 보게 되면 반드시 발생하는 것이 블록 재깅이다. Figure 4(a)의 윗부분에 서 보이는 것이 바로 이 블록 재깅으로 Figure 4(c)에서 잘 확인할 수 있다. 이것은 기존 FHD 화면을 캡쳐한 것으로 상용 기술에 삽입되어 있는 선형 보간방법으로 해결할 수 없다. 그러나 Figure 4(d)에서 보듯이 제안한 방법은 블록 문제를 해결함을 확인할 수 있다.

Figure 4. De-Jagging result; (a) input image, (b) proposed result, (c) zooming of (a), and (d) zooming of (b).

 Figure 5는 MPEG2로 압축되어 있으며 해상도는 864×480의 SD급의 영상이다. 이 영상에서도 어깨 부분에 블록 재깅이 발생한 것을 Figure 5(c)에서와 같이 확인할 수 있으나, 제안한 방법을 이용하여 Figure 5(d)에서와 같이 이를 제거한 결과를 확인할 수 있다.

Figure 5. De-Jagging result; (a) input image, (b) proposed result, (c) zooming of (a), and (d) zooming of (b).

 기존의 필터링 적용은 영상 전체에 수행함으로써 재깅이 없는 곳에서 블러(blurr) 현상이 발생할 수 있으며, 블록 재깅이 존재하는 곳에서도 효과적인 필터링이 어려웠다. 본 논문은 먼저 HMRM을 이용하여 블록재깅을 검출하기 때문에 전체적인 디테일은 손상되지 않는 장점이 있으며, 또한 블록 재깅의 방향 및 크기에 따라 적응적인 필터링을 수행함으로써 효과적으로 블록 재깅을 제거할 수 있다. 

5. 결 론

 본 논문은 은닉 마코프 모델에 기반하여 블록 결함을 검출하고 이를 억제하는 알고리즘을 제안한다. UCC영상과 같은 해상도가 다양하게 변하는 영상 및 압축 영상에서 블록 재깅 발생은 필연적이다. 이를 위해 본 논문은 은닉 마코프 모델로 블록 재깅이 발생하는 영역을 검출하고 주성분 분석을 이용하여 재깅의 방향 및 크기에 따라 적응적으로 화소를 변경함으로써 블록 재깅 결함을 억제하고자 하였다. 실험을 통해 기존에 비해 PSNR 비교 및 결과영상으로 알고리즘의 성능의 우수함을 확인할 수 있었다. 다만, 블록형 재깅을 억제하는 과정에서 일부 영역의 블러(blur) 현상이 발생하게 되는 것은 향후 계속적인 연구를 통해 개선해야 할 문제이다. 

Acknowledgement

 본 논문은 2012년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업(No.2012R1A1A1019461) 및 2011년도 창원대학교 신임교수 연구비 지원에 의하여 연구되었음.