“갓 튀긴 치킨 느낌 입혀줘”.. 텍스트 명령기반 색감 조정 AI 개발

텍스트 입력만으로 사진과 영상의 조명 효과를 연출하는 인공지능이 나왔다. 복잡한 편집도구를 쓰지 않고도 ‘따끈따끈한 치킨’, ‘차가운 푸른빛’과 같은 언어의 감성까지 담아 사진이나 영상의 색감을 쉽게 보정할 수 있게 됐다.

UNIST 인공지능대학원 백승렬 교수팀은 창의적인 텍스트 명령을 기반으로 인물 사진, 영상 등의 조명 효과를 바꾸는 인공지능 모델 ‘텍스트투리라이트(Text2Relight)’를 개발했다고 23일 밝혔다.

어도비와 함께한 이번 연구는 인공지능 3대 학회 중 하나인 전미인공지능학회(The Association for the Advancement of Artificial Intelligence, AAAI)에 채택돼, 오는 25일부터 미국 필라델피아에서 열리는 2025년도 정기학회에서 발표될 예정이다.

[연구그림] 창의적인 텍스트 명령어로 색감 등을 수정한 모습

개발된 인공지능 모델은 창의적인 자연어 텍스트를 통해 색감이나 밝기뿐만 아니라 감정적 분위기와 같은 다양한 조명 특성을 표현할 수 있는 강점이 있다. 또 원본 이미지 왜곡 없이, 인물과 배경 모두의 색감을 동시에 조절한다. 기존 텍스트 기반 이미지 편집 인공지능 모델들은 조명 데이터에 특화되지 않아 원본 이미지를 왜곡하거나, 조명 조절이 제한적이었다.

연구팀은 인공지능이 창의적인 텍스트와 조명 사이의 상관관계를 학습할 수 있도록 대규모 합성 데이터셋을 만들어 이 같은 기술을 개발했다. 챗GPT와 텍스트 기반 확산 모델을 활용해 조명 데이터를 생성하고, OLAT 기법과 라이트닝 트랜스퍼(Lighting Transfer)를 적용하여 다양한 조명 조건을 학습할 수 있는 대규모 합성 데이터셋을 구축했다는 설명이다.

그림자 제거, 조명 위치 조정과 같은 보조 학습 데이터를 추가로 훈련시켜 시각적 일관성과 조명의 현실감도 강화했다.

백승렬 교수는 “Text2Relight 기술은 사진과 영상 편집 등에서 작업 시간을 단축하고, 가상·증강 현실의 몰입감을 높이는 등 콘텐츠 분야에서 잠재력이 크다”고 설명했다.

이번 연구는 UNIST 인공지능대학원의 차준욱 연구원이 제1저자로 참여했다.

연구 수행은 어도비(adobe)와 과학기술정보통신부의 지원을 받아 이뤄졌다.