창문 너머 풍경을 촬영하다 보면 유리창에 비친 내 모습이나 실내 조명이 함께 찍혀 아쉬울 때가 많은데, 이러한 반사상을 말끔하게 지워줄 수 있는 새로운 인공지능 기술이 개발됐다.
인공지능대학원 심재영 교수팀은 다양한 반사 조건에서도 안정적으로 작동하는 범용 단일 이미지 반사 분리 AI 모델을 개발했다.
일상에서 찍는 사진은 사진 한 장에 강도와 모양이 저마다 다른 반사광이 섞여 있다. AI 기술을 이용하면 반사상을 분리해 낼 수 있지만 기존 기술들은 이런 사진 전체를 하나의 동일한 방식으로만 처리하려다 보니, 복잡한 반사 패턴을 지워내는 데 어려움이 있었다.
연구팀은 이미지를 구역별로 나눠 맞춤 처리한 뒤, 사진 속에 겹쳐 있는 배경(투과 영상)과 유리에 비친 반사 영상의 정보를 상호 보완적으로 활용하는 방식을 통해 분리 성능을 높였다. ‘상보적 전문가 혼합(CoME, Complementary Mixture-of-Experts)’과 ‘상보적 교차 어텐션(CoCA, Complementary Cross-Attention)’ 기법을 적용한 것이다.
‘상보적 전문가 혼합’ 기법은 입력 이미지를 여러 개의 구역으로 나눈 뒤, 각 영역의 반사 특성에 가장 적합한 전문가(Expert) 네트워크를 동적으로 할당해 특징을 추출하는 방식이다. 이 과정에서 투과 및 반사 영상을 처리하는 두 개의 정보 흐름(Stream)이 자신의 영상 복원에 필요한 핵심 정보뿐만 아니라 상대방에게 유용한 보조 정보까지 함께 추출한 다음, 서로 특징을 교환하고 융합하게 했다.
상보적 교차 어텐션 기법은 추출된 정보를 이용해 이를 다시 복원하는 과정에서 활용됐다. 기존의 어텐션 기법은 상관관계가 높은 영역에만 집중하는 경향이 있었으나, 상보적 교차 어텐션 기법은 상관관계가 높은 영역과 낮은 영역을 동시에 고려한다. 상관관계가 낮은 영역에도 반사상 분리를 위한 유의미한 정보가 존재한다는 점에 주목한 기술이다.
실제 환경에서 수집된 다양한 데이터셋을 활용한 실험 결과, 제안 기법은 기존 반사 분리 방법들을 정량·정성적 평가 모두에서 크게 상회하는 성능을 기록했다. 특히 기존 모델들이 제거하지 못하던 복잡한 반사 왜곡 상황에서도 안정적인 분리 성능을 입증했다.
심재영 교수는 “현실 세계의 반사 현상은 공간적으로 불규칙하고 강도도 일정하지 않아 기존의 정적인 네트워크 구조로는 한계가 뚜렷했는데, 맞춤형 전문가를 동적으로 할당하고 상보적 교차 어텐션으로 정보를 융합하는 방식으로 이를 해결했다”며 “영상, 사진편집, 자율 주행과 같은 기술에 적용될 수 있을 것”이라고 설명했다.
이번 연구는 과학기술정보통신부 정보통신기획평가원 및 한국연구재단의 지원을 받아 수행됐다. 연구 결과는 영상 처리 분야 최고 권위 국제학술지인 ‘IEEE Transactions on Image Processing (IEEE TIP)’에 게재됐다.
