[붙임] 연구결과 개요

1.연구배경

현대 기술의 발전으로 조명 효과는 가상현실, 영화 제작, 사진 편집 등 다양한 응용 분야에서 중요한 역할을 차지하고 있다. 특히, 텍스트 입력만으로 직관적이고 창의적인 조명 변경이 가능한 기술에 대한 수요가 급증하고 있다. 이러한 시장 요구에 부응하여 UNIST와 Adobe Research 연구팀은 초상화 이미지를 텍스트 입력을 통해 새롭게 조명할 수 있는 Text2Relight 기술을 개발했다. 이 기술은 기존의 복잡한 수동 작업 없이도 조명 조건을 창의적으로 수정할 수 있는 직관적 솔루션을 제공한다.

2.연구내용

Text2Relight는 텍스트 프롬프트를 기반으로 초상화 이미지를 새로운 조명 조건으로 변환하는 기술로, 데이터 생성과 모델 학습, 조명 적용의 세 가지 주요 단계로 이루어진다.

먼저, 연구팀은 텍스트와 조명 간의 관계를 학습할 수 있는 대규모 데이터를 생성하기 위해 텍스트 프롬프트 생성, 조명 이미지 생성, 이미지 기반 재조명의 과정을 포함한 데이터 시뮬레이션 파이프라인을 설계했다. 텍스트 프롬프트는 대규모 언어 모델인 챗GPT를 이용해 다양한 조명 조건을 묘사하도록 생성됐다. 텍스트 기반 확산 모델을 활용해 챗GPT가 생성한 조명 설명 텍스트를 바탕으로 HDR 파노라마 맵과 RGB 조명 이미지를 자동 생성했다. 이어 연구팀은 생성된 조명 데이터를 두 가지 방식으로 활용하여 새로운 조명 조건을 시뮬레이션하였다. OLAT(One-Light-at-a-Time) 기법을 적용해 생성된 OLAT 이미지와 결합해 HDR 조명 파노라마 맵을 활용함으로써 전경의 조명 효과를 세밀하게 재현하였으며, RGB 이미지에는 별도로 생성된 RGB 조명 이미지가 적용되어 전경의 조명 효과가 자연스럽게 표현되도록 하였다. 또한, Lighting Transfer 기법을 통해 배경의 조명도 효과적으로 재현함으로써, 다양한 조명 조건 하에서도 텍스트와 이미지 간의 복잡한 관계를 효과적으로 학습할 수 있는 대규모 학습 데이터셋을 완성하였다.

이렇게 생성된 학습데이터셋을 이용해 Text2Relight 모델을 학습시켰다. 학습 과정에서 모델은 텍스트 입력과 재조명된 이미지 간의 관계를 학습하며, 사용자로부터 입력된 텍스트에 따라 조명 조건을 조정하는 능력을 갖추게 된다.

학습된 모델은 텍스트 프롬프트를 기반으로 초상화 이미지의 조명을 변경하면서도 원본 콘텐츠를 유지하며, 전경과 배경을 자연스럽게 조화시킨다. 예를 들어, "차가운 푸른빛"이라는 텍스트를 입력하면 이에 맞는 조명을 생성하고 이를 초상화에 적용하여 해당 분위기를 사실적으로 구현할 수 있다. Text2Relight는 이러한 데이터 생성 및 학습 과정을 통해 사용자가 원하는 조명 변화를 직관적이고 정확하게 실현할 수 있는 강력한 시스템을 제공한다.

3.기대효과

Text2Relight는 다양한 산업 분야에서 혁신적인 변화를 가져올 잠재력을 가진 기술이다.먼저, 사진 편집과 광고 제작 분야에서는 텍스트 입력만으로 이미지의 조명을 직관적으로 변경할 수 있어, 기존의 복잡한 편집 도구를 대체하거나 보완할 수 있다. 예를 들어, "따뜻한 저녁 햇살 느낌"이라는 텍스트를 입력하면 해당 분위기를 반영한 조명을 즉시 적용할 수 있어, 전문가뿐 아니라 일반 사용자도 손쉽게 고품질의 이미지를 제작할 수 있다. 광고 제작에서도 특정 브랜드나 제품에 맞는 분위기를 신속하게 연출할 수 있어 창의성과 작업 효율성을 동시에 높일 수 있다.

영화 제작에서는 조명을 실시간으로 조정하여 다양한 장면의 분위기를 빠르게 변경하거나 실험할 수 있다. 텍스트 기반 조명 변경을 통해 후반 작업의 시간을 단축시키고, 감독과 제작진이 더욱 창의적으로 시각적 표현을 구현할 수 있는 환경을 제공한다.

가상현실(VR)과 증강현실(AR) 콘텐츠에서는 몰입감 있는 환경을 구현하기 위해 다양한 조명 조건을 빠르게 시뮬레이션하고 적용할 수 있다. 사용자 경험을 극대화하며, 콘텐츠의 품질과 몰입감을 동시에 높일 수 있다.

광고, 영화, 사진 편집 분야에서 Text2Relight는 직관적인 텍스트 입력만으로 정밀한 조명 효과를 구현할 수 있는 강력한 도구로 자리 잡을 것이며, 다양한 창작 활동에서 창의성과 효율성을 동시에 제공할 것으로 기대된다.

[붙임] 용어설명

1.재조명 (Relighting)

이미지 또는 장면의 조명 조건을 변경하는 기술로, 특정 조명 환경을 재현하거나 새로운 분위기를 조성하는 데 사용된다. Text2Relight에서는 텍스트 프롬프트를 사용하여 조명 조건을 직관적으로 제어한다.

2.HDR 파노라마 맵 (HDR Panorama Map)

고해상도 다이나믹 레인지 이미지를 통해 조명 정보를 캡처하고 표현하는 방법으로, 장면의 전체 조명 환경을 시뮬레이션하는 데 사용된다. Text2Relight는 텍스트를 기반으로 HDR 파노라마 맵을 생성하여 조명 조건을 변경한다.

3.하나의 조명만 사용하는 기법 (One-Light-at-a-Time, OLAT)

조명 데이터 수집 기법으로, 한 번에 하나의 조명만 사용하여 장면을 조명하고 그 결과를 캡처한다. Text2Relight는 OLAT 데이터를 활용하여 세밀하고 사실적인 조명 효과를 구현한다.

4.텍스트 기반 확산 모델 (Text-Guided Diffusion Model)

텍스트 입력을 기반으로 이미지를 생성하거나 편집하는 데 사용되는 딥러닝 모델이다. Text2Relight는 텍스트와 재조명된 이미지 간의 상관관계를 학습하기 위해 이러한 모델을 활용한다.

[붙임] 그림설명

그림 1. Text2Relight를 이용하여 사용자의 입력에 맞게 재조명한 결과 왼쪽 이미지는 원본 이미지이고 오른쪽 이미지는 재조명된 이미지이다. 사용자가 입력한 텍스트는 재조명된 이미지 결과 아래에 표시되어 있다.

그림 2. 데이터 합성 파이프라인 ChatGPT와 Lighting transfer 기법을 이용한 데이터 생성 시뮬레이션 파이프라인이다. 이를 통해 수많은 데이터를 생성하고, 생성된 데이터로 Text2Relight 모델을 학습시켰다.