[붙임] 연구결과 개요

1. 연구배경

우리는 주변 환경에 대한 정보를 대부분 시각을 통해 얻는다. 눈, 비가 내리거나 안개 혹은 미세먼지 농도가 심한 날이면 깨끗한 대기의 중요성을 실감할 수 있다. 이 경우 시야 거리가 점점 줄어들어 먼 거리에 있는 물체들은 거의 보이지 않는 수준이 된다. 눈으로 파악하는 영상이 왜곡되는 것이다. 이와 같은 문제는 다양한 분야에서 큰 장애물로 작용한다. 예를 들어, 안전한 자율주행을 날씨와 무관하게 구현하기 위해서는 다양한 영상 왜곡 원인을 넘어설 수 있는 영상 방법이 필요하다.

왜곡된 영상을 극복해야 하는 또 다른 분야는 바로 ‘바이오 이미징’이다. 눈, 비, 안개와 같은 왜곡 원인들이 존재하면 바이오 이미징의 연관성이 한눈에 들어오지 않을 수도 있기 때문이다. 사실 우리가 서로의 얼굴을 보았을 때 피부 표면만 보이고 내부의 진피층이나 근육이 보이지 않는 이유는 생체조직 역시 심한 안개와 같이 빛의 경로를 일그러뜨리기 때문이다. 이번 연구에서는 이처럼 빛의 경로를 왜곡하는 왜곡 원인에 의해 일그러진 영상들에 숨어있는 정보들을 이용해 고해상도 영상을 복원할 방법을 구현했다.

2. 연구내용

안개 혹은 생체조직에 의해 생기는 왜곡은 예측할 수 없으므로 해당 왜곡을 고치는 게 간단하지 않다. 사실 안개처럼 심하지는 않아도, 지구를 감싸는 대기 자체도 영상을 왜곡시킨다. 불균일한 밀도와 이로 인한 불균일한 굴절률로 인해 빛의 경로를 일그러뜨리기 때문이다. 밤하늘을 바라볼 때 별빛이 반짝반짝 빛나는 이유가 바로 우리의 머리 위 대기가 별빛의 경로를 시간에 따라 무작위적으로 일그러뜨리기 때문에 일어나는 현상이다. 우리가 일상생활에서 밤하늘의 별들을 바라볼 때는 별빛의 반짝거림이 낭만적으로 다가온다. 하지만 천체를 자세히 관찰하고자 하는 망원경을 사용할 때는 대기 때문에 밤하늘에 뜬 모든 천체를 일그러진 영상으로 얻게 된다. 이와 같은 이유로 허블 망원경과 제임스웹 우주 망원경은 지구 대기를 벗어난 우주에 배치됐다.

우주를 관찰하는 망원경을 모두 우주에 배치할 수 없는 없다. 따라서 지구 위 첨단 망원경들은 대기에 의한 왜곡을 보정하기 위해 ‘적응광학기술’을 탑재하고 있다. 이 방법은 대기에 의한 왜곡을 실시간으로 측정할 수 있는 파면측정기2), 그리고 이를 보상해줄 수 있는 고속 파면제어기3)에 의존한다. 이들 장치는 대기에 의한 왜곡을 직접 측정하고, 하드웨어를 이용해 보정한다. 이 방법은 고가의 대규모 전문 장비들에 의존하기 때문에 일상생활에서의 영상 왜곡의 보정에 적용하기에는 한계가 있다.

적응광학을 직접 적용하기 위한 한계는 비단 비용과 시스템 복잡성에서 오는 기술적인 문제점에 국한되지 않는다. 예를 들어, 깊은 생체조직 내부를 고해상도로 관찰하기 위해서도 대기에 의한 왜곡과 유사한 문제를 풀어야 한다. 그러나 생체조직은 대기보다 훨씬 더 복잡한 매질로 빛에 경로를 더욱 심하게 왜곡해 빛의 무작위적인 복수산란을 야기한다. 이 경우 일반적인 파면측정기와 파면제어기로 왜곡을 효과적으로 고칠 수 없기에 새로운 기술개발이 필요한 실정이다.

이번 연구에서는 이런 문제를 해결하고자 파면측정기와 파면제어기와 같은 하드웨어에 의존하지 않는 ‘전전산(all computational) 영상 복원 방법’을 구현했다. 생체조직, 혹은 대기에 의한 왜곡은 시간이나 공간에 대해 무작위적으로 변한다는 사실을 이용해 ‘무작위적으로 왜곡된 영상들에 숨어있는 정보를 추출해 깨끗한 고해상도 영상을 복원’하는 것이다. 기존 방법은 시간에 대해 변하는 왜곡 원인이 큰 문제였는데, 새로 개발한 방법은 무작위적으로 변하는 왜곡 원인의 통계적인 특성을 활용하면 영상을 복원할 수 있다는 걸 보였다.

이 연구는 천문학 분야에서 앙투안 라베리(Antoine Labeyrie)가 처음 제시한 ‘스펙클 간섭법(speckle interferometry)’에서 영감을 얻었다. 라베리(Labeyrie)는 무작위로 왜곡된 영상들이 있을 때, 해당 영상들의 공간주파수1) 파워 스펙트럼의 평균값을 통해 왜곡 없이 깨끗한 영상의 공간주파수 파워 스펙트럼을 예측할 수 있음을 밝혔다. 이를 음악으로 비교하면, 여러 주파수 성분에 대응되는 악기로 이루어진 오케스트라가 있을 때 각각의 악기가 연주하는 음의 세기를 정확히 추출할 수 있다는 것이다.

그러나 음악 연주는 각각 악기의 세기만으로 이루어지지 않는다. 더 중요한 정보는 각각의 악기가 서로 간에 어떠한 시점을 맞춰 연주하는지이다. 이에 해당하는 정보를 각 주파수 성분의 위상이라고 이야기한다. 음악에서와 마찬가지로 영상에서도 영상의 공간주파수 성분별 세기와 위상을 모두 알아야만 영상을 복원할 수 있다.

이번 연구에서는 이 위상 정보 또한 왜곡된 영상들만으로 추출할 수 있음을 보였다. 이를 구현하기 위해서는 생체조직 혹은 불안정한 대기에 의한 왜곡은 획득되는 영상에서 해상도를 저하하는 성분과 영상의 위치만을 변화시키는 성분들로 나눌 수 있다는 사실에 착안했다. 영상의 위치만 변화시키는 성분들의 효과를 컴퓨터 안에서 제거해주면 영상의 해상도를 저하하는 성분들만을 분리해 이들을 평균낼 수 있다. (coherent averaging) 이번 연구에서는 이와 같은 간단한 평균작업이 무작위적인 왜곡에 의한 위상 일그러짐을 고쳐질 수 있음을 보였으며, 이를 통해 왜곡된 영상들만을 이용해 고해상도 영상이 복원 가능함을 증명했다.

3. 기대효과

무작위적인 왜곡 원인에 의한 정보 왜곡은 우리 생활과 밀접하게 관련돼 있다. 궂은 날씨에도 안정적인 자율주행 구현은 물론 원거리 감시, 천문학 등 다양한 분야에 중요한 문제로 남아 있다. 더 나아가 살아있는 생명현상을 관찰하기 위해서는 살아있는 동물의 내부를 고해상도로 자세히 살펴볼 수 있는 방법이 필요하다. 이번 연구에서 제시한 방법은 이처럼 무작위적인 정보 왜곡이 문제인 다양한 분야에 적용 가능할 것으로 기대된다.

[붙임] 용어설명

1. 공간주파수

우리는 보통 공간이라는 차원에 그려진 정보를 영상으로 인식한다. 그러나 해당 정보를 공간의 역수 차원에서도 표현할 수 있다. ‘푸리에 변환(Fourier transform, FT)’으로 얻은 영상의 정보는 공간주파수로 표현된다. 이는 소리에서 나타내는 주파수와 유사한 개념이다. 영상에서 작은 구조들에 대응하는 정보는 높은 공간주파수 성분에 담긴다. 영상을 복원하기 위해서는 이 같은 공간주파수의 세기와 위상정보를 모두 알고 있어야 한다.

2. 파면측정기

빛은 세기뿐 아니라 위상을 포함하고 있다. 빛의 세기는 우리 눈이나 일반적인 카메라를 이용해서 쉽게 측정할 수 있지만, 빛의 위상을 측정하려면 다른 방법을 추가해야 한다. 파면측정기는 빛의 위상으로 인해 파생되는 현상을 측정해 빛의 파면, 다시 말해 위상의 공간상 분포를 측정 가능케 해주는 장비이다.

3. 파면제어기

파면측정기에 대응되는 반대 개념의 장비로, 빛의 위상을 임의로 제어할 수 있는 장비이다.

[붙임] 그림설명

그림1. 일그러진 영상 속 정보를 추출하는 고해상도 영상 복원

일그러진 장면을 촬영한 동영상 속에 숨어있는 정보를 추출해 고해상도 영상으로 복원한 모습. 동영상은 일정 시간 동안 촬영하므로 수십 개의 프레임(frame)이 만들어진다. 이때 얻어지는 모든 사진들은 왜곡돼 있지만 모두 서로 다르게 무작위적으로 왜곡돼 있다는 특징이 있다. 이처럼 무작위적으로 왜곡된 사진들을 서로 다른 정보들을 포함하고 있어 이를 추출하면 고해상도 영상을 복원할 수 있다. 특수장치 없이 일반 카메라로 측정된 왜곡된 영상들만을 이용해 고해상도로 영상을 복원할 수 있다는 게 큰 장점이다.

그림2. 산란이 심한 영상의 복원

(좌) 생체조직과 같이 산란이 심한 매질을 통해 측정된 정보의 모습. (우) 산란이 심할 경우 오히려 한 장의 영상만으로 필요한 정보를 모두 추출하면 깨끗한 영상 복원이 가능해진다. 숫자 2를 벽 뒤에 두고 촬영한 사진을 분석하면, 영상을 이루는 공간의 픽셀마다 숫자 2를 왜곡한 정보가 나온다. 이것들을 모아 평균값을 추출하고, 푸리에 변환하면 꽤 선명한 숫자 2를 복원할 수 있다.