• 1. 서 론
• 2. 제안하는 방법
• 2.1. 제안하는 방법의 개요
• 2.2. 정지영상을 위한 문턱값 변조
• 2.3. 동영상을 위한 문턱값 변조
• 2.4. 디더링 또는 오차확산의 선택 방법
• 3. 실험 결과
• 3.1. 실험 환경
• 3.2. 정지영상에서의 성능 - 단일프레임
• 3.3. 정지영상에서의 성능 - 연속프레임
• 3.4. 동영상에서의 성능
• 4. 결 론

f1.jpg114.8KB

1. 서 론

Pulse number/width modulation 기술로 다양한 휘도를 표현하는 PDP에서의 휘도는 입력 계조에 따라 선형적으로 증가한다.^[1] 이와 달리 CRT의 휘도는 비선형적으로 증가한다. 따라서 PDP에서 CRT와 동등한 휘도 특성을 갖는 영상을 표시하기 위해서는 역감마 보정을 수행하여야 한다. 역감마 보정이란 원하는 휘도를 표시할 수 있도록 입력 계조를 새로운 계조값으로 변환하는 과정을 의미한다. 저계조에서 CRT의 휘도 증가율은 PDP와 비교하여 매우 낮다. 따라서 저계조에서 표시 가능한 휘도의 개수가 감소하게 되어 어두운 영역에서 의사 윤곽이 발생하게 된다.

이와 같은 문제점을 해결하기 위해 PDP에서는 디더링 또는 오차확산 방법을 사용한다.^[2,3] 즉, 일정한 영역에서 공간적 및 시간적으로 평균 휘도를 인지하는 인간 시각 특성을 이용하여 의사 윤곽을 저감한다. 예를 들어, 짙은 회색 화소들과 엷은 회색 화소들이 혼합된 영역은 두 회색의 중간 밝기의 회색으로 인지 된다. 디더링 방법에서는 역 감마 보정에 의해 계산된 계조값을 정수부와 소수부로 분리한다. 소수부를 디더링 마스크의 문턱값과 비교하여 0 또는 1의 두 가지 중에서 하나의 값을 갖도록 결정한다. 디더링의 결과를 정수부에 더한 후 PDP에 표시하게 된다.^[2] 

오차확산 방법에서는 역 감마 보정에 의해 계산된 계조값과 실제로 PDP 화면에 표시되는 계조값 사이의 차이를 오차로 정의한다. 오차에 미리 결정된 가중치를 곱하여 주위화소로 전파하게 된다.^[3] 두 가지 방법 모두 표시되는 화소에서의 계조값은 역감마 보정 결과의 정수부 또는 정수부+1의 값이 된다. 디더링 또는 오차 확산 방법을 적용할 경우 어두운 영역에서의 의사 윤곽이 훨씬 저감된다. 

하지만, PDP에서 인접하는 두 계조의 휘도차이는 인간 시각이 인지할 수 있는 최소차이(JND, Just noticeable difference)보다 크다.^[4] 예를 들어, 계조값 A와 (A+1)를 갖는 화소들이 혼합되어 표시될 경우 그 개수가 적은 화소들이 isolated 도트들로 인간 시각에 인지된다. 상대적으로 짙은 계조 A의 화소수가 (A+1)의 화소들의 개수 보다 적을 경우, 계조 A의 화소들은 소금에 뿌린 후추와 같이 눈에 띄게 된다. 반대로, 상대적으로 엷은 계조 (A+1)의 화소개수가 적을 경우, 밤하늘의 별과 같이 눈에 띄게 된다. 

여기서, 상대적으로 적은 개수의 화소들을 소수화소라 부른다.^[5] 또한, 소수화소들의 분포가 균일하지 않을 경우 또는 움직임에 의해 소수화소가 뭉쳐져 인지될 경우 어두운 영역에서의 화질 저하가 가중된다. 소수화소의 visibility를 저감하기 위해 시공간적으로 소수화소의 위치를 달리하는 방법들이 개발되었다.^[6-9] 연속된 프레임에서 소수화소가 동일한 위치에 존재하는 것을 소수화소의 중첩이라고 부르기로 한다. 연속된 프레임에서 소수화소의 중첩을 감소시킬 경우, 인간시각의 시간적 lowpass filtering 특성에 의해 인지되는 소수화소의 휘도가 감소한다. 

기존의 저계조 재현 방법들은 프레임 메모리의 사용 유무에 따라 구분된다. 프레임 메모리를 사용하는 오차확산 방법^[6]에서는 오차를 시공간적으로 전파함으로써 연속된 프레임에서의 소수화소 중첩을 최소화 하였다. 그러나, 프레임 메모리의 사용은 하드웨어 비용을 증가시킨다. 

프레임 메모리를 사용하지 않는 기존의 방법으로는 프레임별 및 채널별로 서로 다른 오차확산 계수를 사용하여 소수화소 중첩의 저감하는 방법을 들 수 있다.^[7] 그러나, 이 경우 이전 프레임의 소수화소 위치와 오차 등을 정확히 파악할 수 없어 소수화소의 중첩이 여전히 발생하는 문제점을 갖는다. 또한, 채널 독립적인 오차확산의 사용으로 서로 다른 채널의 소수화소가 서로 중첩 또는 인접하게 된다. 소수화소의 균일하지 않은 분포로 인하여 화질이 저하된다. 

프레임 메모리를 사용하지 않는 또 다른 방법들로는 문턱값 마스크 4개로 4프레임 동안의 소수화소 위치를 제어하여 소수화소 중첩을 저감하는 방법^[8]과 디더링을 수행하기 전 오차확산을 수행하는 방법^[9]이 있다. [9]에서 제안된 방법은 [8]의 방법에 비해 더 부드러운 계조 변화를 이룰 수 있게 한다. 하지만, [8]와 [9]에서 사용된 디더링 방법은 동일 패턴의 시간적인 반복으로 인하여 동영상에서 화질이 저하되는 문제점을 갖는다. 움직이는 물체를 따라가는 인간 시각 특성에 의해 동영상에서 소수화소의 visibility가 증가하거나 화질을 저하시키는 라인 패턴 등이 발생할 수 있다.

본 논문에서는 프레임 메모리를 사용하지 않고 효율적으로 소수화소의 visibility를 저감하는 저계조 재현 방법을 제안한다. 제안하는 방법은 정지 및 동영상에서 소수화소의 불균일한 패턴으로 인한 화질 저하를 저감한다. 먼저 소수화소의 visibility를 저감하기 위해 시공간적으로 디더링 마스크의 문턱값을 변조한다. 균일한 소수화소의 패턴을 위해 디더링과 오차확산을 조합하여 사용하는 방법을 제안한다. 

2절에서는 제안하는 문턱값 변조, 디더링 및 오차확산 방법을 설명한다. 3절에서는 실험 결과 및 성능 분석 결과를 제시한다. 마지막으로 4절의 결론으로 본 논문을 마친다. 

2. 제안하는 방법

2.1. 제안하는 방법의 개요

제안하는 저계조 재현 방법의 목적은 소수화소의 visibility를 저감하고 정지 및 동영상에서 소수화소의 패턴을 균일하게 하는데 있다. Figure 1은 제안하는 방법의 전체적인 흐름도를 나타낸다. 역감마 보정 후의 이상적인 계조값을 정수부와 소수부로 분리한다. 정지 영상을 위한 문턱값 변조는 소수화소의 visibility를 저감한다. 또한, 소수화소 분포를 균일하게 하는 것에도 효과가 있다. 

Figure 1. Flowchart of proposed gray level reproduction technique.

동영상에서 인식되는 소수화소 패턴을 균일하게 하기 위해 소수화소들이 비주기적인 패턴을 갖는 BNM(blue noise mask)^[10]를 사용한다. 그리고, 동영상을 위한 문턱값 변조를 수행하여 동일한 패턴이 연속된 프레임에서 반복되지 않도록 한다.

변조된 문턱값으로 디더링만을 수행할 경우, 소수화소의 중첩은 최소화 되지만 각 프레임의 소수화소 패턴이 균일하지 않을 수 있다. 각 프레임에서의 불균일한 소수화소 패턴은 동영상에서의 화질을 저하시킬 수 있다. 따라서, 본 논문에서는 주어진 화소에 전파된 오차에 따라 디더링 또는 오차확산을 선택하는 방법을 제안한다. 다시 말해, 전파된 오차가 크다면 소수화소 중첩이 발생하더라도 균일 분포를 위해 오차 확산을 수행한다. 디더링에서는 소수부가, 오차확산에서는 소수부와 전파된 오차가 더해진 업데이트 값이 문턱값과 비교된다. 소수부 또는 업데이트 값이 문턱값보다 작다면 출력값은 0이 되고 반대인 경우에는 1이 된다. 디더링 또는 오차확산의 출력값은 정수부와 더해져 화면에 표시된다. 

2.2. 정지영상을 위한 문턱값 변조

일정한 입력 계조를 갖는 constant 패치에 동일한 마스크를 사용하는 디더링이 연속된 두 개의 프레임에 적용되었다고 가정한다. Figure 2(a)와 (b)는 디더링 결과를 나타낸다. Figure 2(a)와 (b)에서 밝은 원은 소수화소를 나타낸다. Figure 2(c)는 두 프레임의 평균값을 나타내며 이것이 인간시각에 인지되는 휘도라고 가정한다. 본 논문에서는 이와 같은 프레임 사이의 평균휘도를 중첩 프레임 결과라고 부르기로 한다. Figure 2(a)와 (b)에서 보듯이 동일한 위치에 소수화소가 표시된다. 따라서 중첩된 프레임에서 인지되는 소수화소의 휘도도 변하지 않는다. 

Figure 2. Minor pixels overlaps between frames.

Figure 3(a)와 (b)는 두 개의 프레임에 서로 다른 문턱값의 디더링 마스크를 적용했을 때의 결과를 나타낸다. 두 프레임에 적용되는 디더링 마스크의 문턱값이 서로 다르기 때문에 소수화소의 위치 또한 달라진다. 이로 인해 Figure 3(c)와 같이 소수화소의 평균 휘도는 Figure 2(c)보다 감소하게 된다. 즉, 소수화소의 visibility가 저감된다.

Figure 3. Minimization of minor pixels overlaps between frames.

이와 같이 소수화소의 중첩을 저감시키기 위해 프레임 마다 서로 다른 디더링 마스크를 적용할 수 있다. 하지만 이는 필요한 메모리량의 증가를 초래하게 된다. 본 논문에서는 메모리량의 증가없이 소수화소의 중첩을 저감하고 동시에 균일한 소수화소 분포를 얻기 위해 디더링 문턱값 변조 방법을 제안한다. 즉, 한 개의 마스크를 사용하되 수식에 의해 프레임에 따라 다른 문턱값을 적용하는 것이며 식 (1)에 의해 구현된다. 

여기서 m_s와 m_b는 각각 주어진 위치에서 정지 영상을 위해 변조된 문턱값과 메모리에 저장되어 문턱값 변조의 기준이 되는 BNM의 문턱값을 나타낸다. 즉, 메모리에는 하나의 BNM만이 저장되어 있고 식 (1)에 의해 매 프레임마다 BNM의 문턱값이 바뀌게 된다. t는 프레임 인덱스를 나타내고 s는 BNM의 문턱값 개수를 나타낸다. Figure 2에 나타낸 것과 같이 디더링의 대상은 역감마 보정 후의 이상적인 계조값의 소수부이다. 본 논문에서는 설명의 편의상 이상적인 계조값의 정수부뿐만 아니라 소수부도 8비트의 정수로 표현된다고 가정한다. 소수부의 값이 정수 x라는 것은 실제 x/256 값을 의미한다. 이 경우, 식 (1)에서 s=256이며 BNM에 0에서 255까지의 문턱값이 존재한다는 것을 의미한다. 식 (1)의 f는 8비트의 정수로 표현된 소수부를 나타낸다. %는 modulation 연산을 나타내며 문턱값의 범위를 항상 0부터 s사이로 유지하는 역할을 한다. 

식 (1)에서 이전과 현재 프레임의 t값은 각각 0과 1이고 소수부의 값은 모두 f라 가정한다. 또한, f값과 디더링 마스크의 문턱값을 비교하여 문턱값이 적은 위치의 화소가 발광된다고 가정한다. f값이 128보다 적을 경우 발광되는 화소들이 소수화소를 구성하며 이전 프레임의 소수화소들은 0부터 (f-1)사이의 문턱값을 갖는 위치에 존재한다. 하지만, 현재 프레임의 소수화소는 식 (1)에 의해 f부터 (2f-1)사이의 문턱값을 갖는 곳에 위치한다. 즉, 이전 프레임과 현재 프레임의 소수화소들은 중첩되지 않게 된다.

따라서, Figure 3(c)와 같이 시각에 인지되는 소수화소의 visibility가 저감된다. 또한, 연속되는 두 프레임에서 평균적으로 인지되는 소수화소들은 0부터 (2f-1)까지의 문턱값 위치에 존재한다. 본 논문에서 사용되는 BNM은 문턱값 증가에 따라 상대적으로 균일한 분포를 갖기 때문에 두프레임에 걸쳐 인지되는 소수화소들이 균일하게 분포하게 된다. 

지금까지 연속되는 프레임 사이의 소수화소 중첩 저감 방법을 설명하였다. 하지만, 주어진 프레임에서 RGB채널 소수화소들의 중첩을 회피함으로서 소수화소의 visibility를 훨씬 더 감소시킬 수 있다. 

Figure 4는 회색 패치에 대해 식 (1)을 RGB 채널에 동일하게 적용한 예를 나타낸다. Figure 4에서 밝은 원은 소수화소를 나타낸다. Figure 4(d)는 RGB채널 휘도의 합을 나타낸다. Figure 4와는 달리 Figure 5는 RGB채널의 중복을 회피한 예를 나타낸다. Figure 5(d)에서 보는 것과 같은 RGB화소들은 서로 다른 위치에서 발광한다. 따라서, Figure 4(d)와 비교하여 Figure 5(d)에서 인간 시각에 인지되는 소수화소들의 휘도는 훨씬 감소하게 된다. 

Figure 4. Minor pixels overlaps between channels: (a) red, (b) green, (c) blue and (d) RGB combined.

Figure 5. Minimization of minor pixels overlaps between channels: (a) red, (b) green, (c) blue and (d) RGB combined.

본 논문에서는 RGB채널 사이의 소수화소 중복을 저감하기 위하여 RGB채널 각각에 대해 서로 다른 문턱값을 사용한다. 그 원리는 식 (1)에 나타낸 방법과 유사하다. 하지만, RGB채널 사이의 소수화소 중첩 저감을 위해서는 주어진 영역에서 발광되는 소수화소 개수와 RGB채널별 소수화소의 밝기가 고려되어야 한다. 주어진 영역에서 RGB 소수화소의 개수가 각각 1/3이면 소수화소들의 중첩을 완전히 회피할 수 있다. 하지만, 발광되는 채널별 소수화소의 개수가 1/3이 보다 커지면 일부의 중첩을 허용하여야 한다. PDP에서 채널별 휘도는 G>R>B의 순서를 갖는다. 따라서, 먼저 G와 R채널 사이의 중첩을 최소화한 후에 B와 다른 두 채널 사이의 중첩을 회피하여야 소수화소의 visibility를 효과적으로 저감할 수 있다. RGB채널별 문턱값은 식 (2)에 의해 결정된다. 

여기서 m_cRGB 는 RGB채널별 문턱값을 나타낸다. d_RGB는 RGB채널별로 서로 다른 값을 갖는 상수를 나타낸다. d_RGB의 값은 소수화소의 visibility를 최소화 하도록 결정한다. 제안하는 방법에서 사용한 d_RGB의 값은 RGB채널 각각에 대해 0, 128, 64의 값을 갖는다. 예를 들어, RGB 채널의 f값이 모두 128이라 가정한다. 이 경우에 소수화소의 개수는 1/2로서 최대값을 갖는다. G와 R채널의 경우 소수화소가 발광하는 문턱값의 범위가 겹쳐지지 않도록 d_RGB의 값을 결정했기 때문에 모두 다른 위치에서 발광하게 된다. 하지만, 이 경우 가장 휘도가 낮은 B채널의 중첩은 피할 수 없게 된다. 

2.3. 동영상을 위한 문턱값 변조

대부분의 기존 방법^[7-9]들의 목적은 정지영상에서 소수화소의 visibility를 저감하고 균일 분포를 얻는데 있다. 기존의 디더링 방법^[9]에서는 문턱값의 위치를 조절함으로서 이와 같은 목적을 달성하게 된다.

하지만, PDP의 저계조 화질 향상을 위해서는 정지영상에서의 소수화소 visibility 뿐만 아니라 동영상에서의 소수화소 분포도 고려되어야 한다. 동영상에서는 움직임의 방향과 속도에 따라 소수화소가 인지된다. 이와 같은 현상은 움직임을 따라 누적된 휘도를 인식하는 인간 시각 특성에 기인한다.^[1] 즉, 정지 영상에서 균일하게 분포된 소수화소 패턴이라 할지라도 동영상에서는 라인 패턴과 같이 화질을 저하시키는 패턴으로 인지될 수 있다. 

예를 들어, Figure 6(a)은 오른쪽에서 왼쪽으로 프레임당 6 화소 만큼 움직이는 영상을 나타낸다. Figure 6(a)의 화살표는 움직임을 따라가는 인간 시각의 방향을 의미한다. Figure 6(a)에서 사용된 디더링 마스크는 수직 수평 방향으로 규칙적인 문턱값 배열을 갖는다. 이 경우, 동영상에서 Figure 6(b)에 나타낸 것과 같이 라인패턴이 시각에 인지된다. 반면에 Figure 7은 stochastic한 특성을 갖는 BNM를 사용한 예를 나타낸다. Figure 6(b)와는 달리 Figure 7(b)에서는 라인패턴이 발생하지 않는다. 이와 같이 동영상에서의 화질 저하를 방지하기 위하여 본 논문에서는 BNM를 사용한다.

Figure 6. Perceived moving image with regular pattern of minor pixels: (a) two consecutive frames and (b) averaged frame.

Figure 7. Perceived moving image with irregular pattern of minor pixels: (a) two consecutive frames and (b) averaged frame.

하지만, BNM를 사용하더라도 모든 움직임 방향과 크기에 대해 원하지 않는 패턴들을 방지할 수 없다. 또한, 식 (1)만을 사용할 경우 일정 주기의 프레임이 계속 반복되어 눈에 거슬리게 된다. 

예를 들어, f=128일 경우 두 프레임을 주기로 발광 패턴이 반복된다. 이와 같은 문제점을 해결하기 위해 본 논문에서는 동영상을 위한 문턱값 변조 방법을 제안한다. 

여기서 m_mRGB는 동영상에서의 화질 개선을 위한 문턱값을 나타내며 RGB채널별로 계산된다. 식 (3)에 의해 t가 s만큼 증가할 때마다 문턱값을 1 정도씩 감소하게 한다. 만약 문턱값의 감소량을 1보다 훨씬 크게 증가시키면 이전 프레임과 비교하여 소수화소의 분포가 많이 변화한다. 이로 인해 연속된 프레임 간의 소수화소 중첩이 증가하는 문제가 발생할 수 있다. 

2.4. 디더링 또는 오차확산의 선택 방법

식 (1)과 (2)에 의한 문턱값 변조의 목적은 소수화소 visibility의 저감이다. 즉, 식 (1)에 의해 연속되는 프레임에서의 소수화소 중첩을 저감시키고 식 (2)에 의해 주어진 프레임에서 RGB채널 소수화소의 중첩을 저감시키게 된다. 식 (3)에 의한 문턱값 변조의 목적은 동영상에 대해 일정 주기의 프레임에서 발광 패턴이 반복되는 것을 방지하고 동영상에서의 눈에 거슬리는 패턴을 저감시키는 것이다. PDP에서의 저계조 영상 화질을 결정하는 소수화소의 균일한 분포는 BNM의 특성에 의존한다.

본 논문에서는 소수화소 분포의 균일성 개선을 위하여 디더링 및 오차확산을 선택적으로 적용하는 방법을 제안한다. 제안하는 방법은 화소마다 디더링 또는 오차확산이 선택되어 수행되기 때문에 디더링과 오차확산이 결합된 형태를 갖는다. 먼저 문턱값이 식 (1)-(3)에 의해 변조된다. 그리고 오차확산을 위해 전파된 오차와 입력값을 더하여 업데이트 값을 계산한다. 디더링이 선택되면 입력값을, 오차확산이 선택되면 업데이트 값을 문턱값과 비교하여 출력값을 결정한다. 일반적인 디더링의 경우에는 오차를 계산할 필요가 없다. 그러나, 제안하는 방법에서는 오차확산을 적용할 수도 있기 때문에 오차를 계산하게 된다. 업데이트 값에서 출력값을 뺀 값이 오차가 된다. 이와 같이 계산된 오차는 미리 결정된 가중치에 따라 주위 화소로 전파된다. 

디더링 또는 오차확산을 선택하는 방법을 자세히 설명한다. 현재 처리되는 화소 위치에서 연속 프레임들 사이의 소수화소 중첩 저감을 위해 문턱값이 입력값보다 증가되어 디더링에서는 소수화소가 발생하지 않는다고 가정한다. 하지만, 현재 위치에서 소수화소가 존재해야만 균일한 소수화소 분포를 얻게 된다고 가정한다. 현재 위치의 입력값은 문턱값보다 낮지만 전파된 오차에 의한 업데이트 값은 문턱값 이상이 될 수 있다. 따라서, 오차확산에 의해 현재 위치에 소수화소가 발생하면 소수화소 중첩이 발생하더라도 소수화소 분포의 균일성을 개선할 수 있다. 

오차확산에서 업데이트 값이 문턱값 이상이 되어 소수화소가 발생되기 위해서는 오차의 크기가 중요하다. 이는 오차의 크기가 작다면 업데이트 값이 충분히 증가되지 않기 때문이다. 따라서 본 논문에서는 오차의 크기가 큰 경우에는 오차확산을, 반대의 경우에는 디더링을 수행한다. 오차의 크기를 판단하기 위한 기준은 식 (4)에 의해 계산된다. 

여기서 w는 디더링 또는 오차확산의 선택을 위한 기준을 나타낸다. c는 상수를 나타낸다. 식 (4)의 w는 f 값의 상승에 따라 증가하며 f가 s/2가 될 때, (s/2+c)의 최대값을 갖고 그 이후에는 감소한다. 이와 같이 w 값을 결정한 이유는 다음과 같다. 오차확산에 의해 발생한 소수화소는 다른 소수화소와 중첩될 수 있는 가능성이 있다. 만약 f가 s/2에 가까워져 소수화소의 개수가 많아지면 이러한 가능성이 증가할 것이다. 따라서, 소수화소가 많을 때 오차확산을 선택하게 되면 소수화소의 중첩이 빈번히 발생하게 된다. 오차확산의 선택에 의해 중첩된 소수화소의 개수를 저감하기 위해 w를 증가시킨다. w가 증가되면 오차확산 선택을 위해 요구되는 오차의 크기가 커지기 때문에 오차확산 보다 디더링을 선택하게 된다. 

3. 실험 결과

3.1. 실험 환경

본 논문에서 사용되는 BNM은 [11]에 기술된 방법에 의해 제작한다. BNM의 크기는 32x32이며 0부터 255까지의 문턱값이 존재한다. 즉, 식 (1)에서 s는 256이다. 전파된 오차가 s/2 보다 10%이상 크지 않는 한 디더링을 수행하도록 식 (4)의 c의 값을 s/20로 정하였다. 

3.2. 정지영상에서의 성능 - 단일프레임

제안하는 방법의 저계조 재현 결과를 기존의 방법^[9]의 결과와 비교하였다. 기존의 방법^[9]에서는 소수화소 visibility를 저감하고 균일한 분포를 얻기 위해 문턱값 마스크 4개를 4프레임 동안에 적용한다. 또한, 프레임 메모리를 사용하지 않는 기존 방법들 중에서 저계조 재현 영상의 화질이 가장 우수하다. 

본 논문에서는 주어진 프레임에서의 소수화소 visibility의 성능평가 지표로서 constant 패치에 대한 휘도 편차를 사용한다. 이를 사용하는 이유는 다음과 같다. 이상적인 경우 constant 패치의 모든 화소들의 휘도는 동일하며 따라서 휘도 편차는 0이 된다. 즉, 휘도 편차가 감소할수록 constant 패치의 평균휘도와 소수화소 휘도 사이의 차이가 감소하고 이에 따라 소수화소의 visibility가 저감되었음을 나타낸다. 

64x64의 constant gary 패치에 저계조 재현 방법을 적용한다. 주어진 화소의 휘도를 계산하기 위해 PDP에서 측정된 RGB 채널별 단위광의 휘도를 사용한다. Table 1은 다양한 계조의 constant gary 패치에 대한 휘도 편차를 나타낸다. f는 역감마 보정 후의 소수부를 8bit의 정수로 나타낸 것이다. 두 번째와 세 번째 열은 기존^[9] 및 제안하는 방법의 휘도 편차를 나타낸다. Table 1에 나타낸 모든 계조에서 제안하는 방법의 휘도 편차가 기존 방법 보다 적은 값을 갖는다. 

Table 1. Luminance deviation of constant patch

Figure 8과 9는 각각 기존^[9] 및 제안하는 방법의 저계조 재현 영상들을 나타낸다. Figure 8과 9에서 RGB의 중복 여부에 따라 모두 8가지의 색상 (R, G, B, C, M, Y, 검정, 백색)이 나타날 수 있다. 검정색은 RGB 모든 화소가 발광되지 않는 경우를 백색은 RGB 모든 화소가 중복되어 발광되는 경우를 나타낸다. Figure 8 (c)와 Figure 9 (c)에서 보듯이 f=93 일 때, 기존방법에 비해 제안하는 방법에서는 백색 화소의 개수가 훨씬 저감되는 것을 확인할 수 있다. 또한, Figure 8 (d)와 Figure 9 (d)를 비교할 때 기존 방법에 비해 제안하는 방법에서는 가장 어두운 검정 화소의 개수가 훨씬 저감되는 것을 확인할 수 있다. 이는 제안하는 방법에 의한 휘도 편차가 적다는 것을 의미한다.

Figure 8. Results of low level representation of previous method^[9].

Figure 9. Results of low level representation of proposed method.

3.3. 정지영상에서의 성능 - 연속프레임

기존과 제안하는 방법에서는 정지 영상이라 할지라도 소수화소의 중복 저감을 위하여 프레임에 따라 서로 다른 위치에서 소수화소를 발광시킨다. 따라서, 연속 프레임에 대한 소수화소 visibility의 성능평가가 필요하다. 본 논문에서는 연속되는 프레임에서의 소수화소 visibility의 성능평가 지표로서 연속프레임에서의 평균 휘도에 대한 휘도 편차를 사용한다. 이를 위하여 먼저 연속되는 프레임에서의 평균 휘도를 계산하여야 한다. 본 논문에서는 기존에 동영상에 대해 평균 휘도를 계산하기 위해 제안된 식 (5)를 이용하여 연속된 T개의 프레임에 대한 평균 휘도를 계산한다.^[12]

여기서 I_e(x, y, t)는 t번째 프레임의 (x, y)화소 위치에서의 휘도를 나타낸다. I_a(x, y)는 평균 휘도를 나타낸다. v_x, v_y는 각각 움직임의 가로, 세로 벡터 성분을 나타낸다. T는 평균에 사용되는 프레임의 개수를 나타낸다. 본 절의 성능평가 대상은 정지영상이므로 (v_x, v_y)=(0, 0)가 된다. 

식 (5)를 다양한 f값을 갖는 64x64의 constant gary 패치에 적용하였다. 또한, 8가지 T값에 대하여 각각 평균 휘도를 계산하였다. Figure 10과 11은 f=52일 때 식 (5)에 의해 계산된 휘도 범위를 8비트의 흑백영상으로 부호화하여 나타낸 것이다. 즉, 가장 밝은 휘도를 백색으로 가장 어두운 휘도를 검정색으로 나타낸 것이다. 

Figure 10. Averaged frames of previous method. (f=52)

Figure 11. Averaged frames of proposed method. (f=52)

기존의 방법^[9]에서는 4개의 마스크를 4프레임 동안에 하나씩 번갈아가며 적용함으로서 소수화소 중첩을 저감하였다. 그 결과, T값이 증가할수록 화소의 평균 휘도가 감소하게 된다. 하지만, t번째와 (t+4)번째 프레임간의 소수화소 중첩이 발생할 수밖에 없다. 따라서. 제안하는 방법의 결과를 나타낸 Figure 11과 비교하여 소수화소의 visibility가 증가한다. 

Figure 12는 다양한 계조의 constant gary 패치에 대해 계산된 휘도 편차를 나타낸다. 또한, 사용된 T값은 8가지이다. Figure 12의 가로 축은 f를 세로축은 휘도 편차를 나타낸다. T값이 증가할수록 휘도 편차가 감소함을 알 수 있다. 하지만 T가 8에 가까워질수록 휘도 편차가 감소되는 정도는 줄어든다. 기존 방법^[9]에서는 f=128에 가까울수록 휘도 편차가 증가한다. 이것은 Figure 8(c)에 표시된 백색의 소수화소 때문이다. 백색의 소수화소와 소수화소가 존재하지 않는 검정 화소 간의 휘도 차이로 인해 기존 방법^[9]에서는 휘도 편차가 증가한다. 

Figure 12. Luminance deviation for averaged frame on still image.

3.4. 동영상에서의 성능

동영상에서의 성능 평가는 동영상에서 인지되는 소수화소 visibility와 소수화소의 분포에 따라 동영상에서 인지되는 패턴의 정도에 의해 수행된다. 먼저, 동영상에서의 소수화소 visibility는 정지영상과 마찬가지로 평균 휘도의 편차를 지표로 사용하여 평가한다. 동영상에서의 평균 휘도를 계산하기 위하여 식 (5)를 64x64의 constant gary 패치에 적용하였다.

동영상에서의 소수화소 visibility는 각 정지 프레임에서의 소수화소 분포, 움직임의 방향 및 속도에 의해 결정된다. Figure 13과 14는 각각 (v_x,v_y)=(1,0)과 (v_x,v_y)=(1,1)일 때의 휘도 편차를 나타낸다. Figure 13과 14에서 사용된 T=8이다. Figure 13에서 보듯이 가로 방향으로 프레임당 1화소씩 움직이는 경우에 기존^[9]과 제안하는 방법의 휘도 편차 값은 유사하게 나타난다. 하지만, Figure 14에서 보듯이 (v_x,v_y)=(1,1)일 때, 제안하는 방법이 모든 계조에서 낮은 휘도 편차 값을 갖는다. 

Figure 13. Luminance deviation for (vx,vy)=(1,0).

Figure 14. Luminance deviation for (vx,vy)=(1,1).

Table 2는 6가지 서로 다른 움직임 형태의 경우, T=8일때 6가지의 f값에 대한 평균 휘도 편차값들을 나타낸다. Table 2에서 보듯이 대부분의 경우 제안하는 방법의 평균 휘도 편차가 기존의 방법^[9]에 비해 작은 값을 나타낸다.

Table 2. Luminance deviation for moving images.

동영상에서의 소수화소 분포에 따라 인지되는 패턴의 형태와 정도는 식 (5)에 의해 계산된 평균 휘도를 8비트의 흑백영상 형태로 부호화하여 평가할 수 있다. Figure 15는 f=52와 f=147, T=8, (v_x,v_y)=(1,0)인 경우에 식 (5)에 의해 계산된 평균 휘도를 흑백영상으로 부호화하여 나타낸 것이다. Figure 15(a)와 (b)에 나타낸 기존 방법^[9]의 결과에서는 각각 세로와 대각선방향으로 라인이 발생하는 것을 볼 수 있다. Figure 16는 f=52와 f=147, T=8, (v_x,v_y)=(1,1)인 경우에 식 (5)에 의해 계산된 평균 휘도를 흑백영상으로 부호화하여 나타낸 것이다. Figure 16에서 기존 및 제안하는 방법의 평균 휘도를 비교할 때, 제안하는 방법에 의해 소수화소 visibility가 저감되는 것을 시각적으로 확인할 수 있다. 

Figure 15. Averaged frame for (vx,vy)=(1,0).

Figure 16. Averaged frame for (vx,vy)=(1,1).

4. 결 론

본 논문에서는 프레임 메모리를 사용하지 않고 효율적으로 소수화소의 visibility를 저감하는 저계조 재현 방법을 제안하였다. 또한, 정지 및 동영상에서 소수화소의 불균일한 패턴으로 인한 화질 저하를 최소화하였다. 제안하는 방법에서는 디더링 및 오차확산 방법을 선택적으로 적용한다. BNM를 이용한 문턱값 변조를 통해 연속되는 프레임에서의 소수화소 중첩과 주어진 프레임에서 RGB채널 소수화소의 중첩을 최소화하였다. 그리고 일정 주기의 프레임에서 패턴이 반복되는 것과 동영상에서 눈에 거슬리는 패턴을 저감하였다. 또한 소수화소 패턴의 균일성을 개선하기 위해 디더링 및 오차확산 방법을 선택적으로 적용하였다. 성능 분석을 위해 움직임에 따라 인식되는 소수화소 패턴을 시뮬레이션 하였고 화질을 평가하였다. 실험 결과에서 제시된 시뮬레이션 결과의 비교로 제안하는 방법의 우수한 성능을 확인할 수 있었다.