|
|
|
|
|
사진 속 2D 캐릭터의 동작을 화면 속 3D 캐릭터가 그대로 따라 움직일 수 있게 만드는 인공지능 기술이 개발됐다. UNIST 인공지능대학원 주경돈 교수팀은 3D 가우시안 모델이 생성한 3D 캐릭터의 자세를 형태 왜곡 없이 바꿔주는 AI 기술인 디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)을 개발했다고 25일 밝혔다. 3D 가우시안 스플래팅(3D Gaussian Splatting)은 사진과 같은 2D 데이터를 입력받아 화면에 3D 객체를 재구성해 주는 AI 모델이다. 하지만 이 가우시안 스플래팅이 재구성한 3D 캐릭터를 만화나 게임에서처럼 움직이게 하려면, 여전히 여러 각도에서 촬영한 영상 데이터나 연속 촬영된 비디오 데이터가 필요했다. 이러한 데이터가 부족하면 팔, 다리 등이 움직일 때 엿가락처럼 휘어지는 형태 왜곡이 생기기 쉽기 때문이다. 연구진이 개발한 디폼스플랫은 사진 한 장만 입력해주면 형태 왜곡 없이 3D 캐릭터의 자세를 사진 속 자세와 똑같이 움직이게 바꿔준다. 실제 실험 결과, 이 모델이 움직인 3D 캐릭터는 각도를 바꿔 옆이나 뒤에서 보아도 형태 왜곡이 적고 자연스러운 자세를 유지하는 것으로 나타났다. 예를 들어 팔을 드는 동작을 입력했을 경우, 정면뿐 아니라 측면이나 뒤쪽 시점에서도 팔과 몸통의 비율이 흐트러지지 않았고, 관절이 고무처럼 늘어나는 현상도 거의 나타나지 않았다. 연구팀은 가우시안–픽셀 매칭(Gaussian-to-Pixel Matching)과 강체 부위 분할(Rigid Part Segmentation) 기술을 이용해 이 같은 모델을 개발했다. 가우시안–픽셀 매칭은 3D 캐릭터를 구성하는 가우시안 점들과 2D 사진 속 픽셀을 연결해, 사진에 담긴 자세 정보를 3D 캐릭터로 전달하는 기술이다. 또 자세 변형 시 함께 움직여야 하는 단단한 부위를 스스로 찾아 그룹으로 묶어내는 강체 부위 분할 기술 덕분에 로봇이나 인형의 형태가 찌그러지지 않고 자연스럽게 움직일 수 있다. 주경돈 교수는 “기존 기술은 사진 한 장만을 입력데이터로 활용해 3D 물체를 움직이려 하면 형태가 심각하게 훼손되는 한계가 있었다”며 “개발된 AI는 물체의 구조적 특성을 고려해 스스로 뼈대 역할을 하는 영역을 구분하고 움직임을 생성하는 기술로, 전문 인력과 고가의 장비에 의존하던 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 분야의 진입 장벽을 낮출 수 있을 것으로 기대된다”라고 말했다. 연구 결과는 SIGGRAPH ASIA 2025(The 18th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia)에 채택됐다. SIGGRAPH ASIA는 컴퓨터과학 분야 세계 최대 국제 학회 단체인 ACM이 주관하는 학회로, 그래픽스와 인터랙티브 기술 분야에서는 가장 영향력 있는 학회로 꼽힌다. 올해 학회는 지난 15일부터 18일까지 홍콩에서 열렸다. 이번 연구는 과학기술정보통신부 정보통신기획평가원, UNIST 인공지능대학원의 지원을 받아 이뤄졌다. (논문명: Rigidity-Aware 3D Gaussian Deformation from a Single Image) |
|
|
|
[붙임] 연구결과 개요 |
|
1.연구배경 최근 3D 가우시안 스플래팅(Gaussian Splatting)은 여러 장의 이미지로부터 고품질의 3차원 장면과 객체를 효율적으로 표현할 수 있는 방법으로 주목받고 있다. 그러나 단일 이미지 기반으로 3D 객체를 변형하는 문제는 여전히 어려운 과제로 남아 있다. 특히 하나의 시점에서 유도된 변형은 다른 시점에서 구조적 왜곡을 일으키기 쉽고, 관절이나 단단한 부위가 비물리적으로 늘어나는 문제가 발생한다. 기존 단일 이미지 기반 3D 변형 기법들은 이러한 구조 일관성 문제를 충분히 해결하지 못했으며, 시점을 바꿔 다른 각도에서 보면 형태가 쉽게 무너지는 한계가 있었다. 2.연구내용 연구팀은 단일 이미지로부터 3D 가우시안 모델의 자세를 변형하되, 구조 왜곡을 억제하는 새로운 프레임워크인 디폼스플랫(DeformSplat)을 제안했다. 본 연구의 핵심은 두 가지 기술적 요소의 결합이다. 첫째, 가우시안–픽셀 매칭(Gaussian-to-Pixel Matching)을 통해 2D 이미지의 픽셀과 3D 캐릭터를 구성하는 가우시안 점을 직접 대응시켜, 이미지에 나타난 자세 변화가 3차원 공간에서 어느 방향의 변형에 해당하는지를 추정한다. 이를 통해 단일 이미지에 담긴 시각적 지시를 3D 변형으로 직접 전달할 수 있다. 둘째, 강체 부위 분할(Rigid Part Segmentation)을 도입해 변형 과정에서 형태가 유지돼야 할 영역과 유연하게 변형될 수 있는 영역을 자동으로 구분한다. 이 과정에서 함께 움직여야 하는 부위는 하나의 강체 그룹으로 묶어 제어함으로써, 관절이나 몸통이 비물리적으로 늘어나는 현상을 억제한다. 연구팀은 이 두 기법을 통합해, 단일 이미지 기반 3D 자세 변형이 가능함을 보였다. 3.기대효과 본 연구는 단일 이미지 기반 3D 변형에서 반복적으로 지적돼 온 구조 붕괴 문제를 해결함으로써, 3D 가우시안 모델의 활용 범위를 확장한다는 점에서 의의가 있다. 특히 다각도 영상 데이터에 대한 의존도를 낮춰, 3D 캐릭터 제작 이후 움직임을 설계하는 과정을 단순화할 수 있는 가능성을 제시한다. 이는 3D 콘텐츠 제작 파이프라인 전반에서 시간과 비용을 절감하는 데 기여할 수 있으며, 다양한 형태의 3D 객체를보다 유연하게 편집·변형하는 기반 기술로 활용될 수 있다. 또한 본 연구는 단일 시점 입력으로도 시점 변화에 일관된 3D 변형을 구현할 수 있음을 실험적으로 보였다는 점에서, 향후 단일 이미지 기반 3D 편집 및 인터랙티브 그래픽스 연구로의 확장 가능성도 갖는다. |
|
[붙임] 용어설명 |
|
1.3D 가우시안 스플래팅(3D Gaussian Splatting) 사진과 같은 2D 데이터를 3D로 화면에 만드는 기술. 3차원 장면이나 객체를 수많은 가우시안 점들의 집합으로 표현하는 방식이다. 각 가우시안 점은 위치뿐 아니라 크기, 방향, 색, 투명도와 같은 정보를 함께 가지며, 3차원 공간에서 작은 부피를 가진 타원체 형태로 표현된다. 이러한 가우시안 점들을 카메라 시점에서 화면으로 투영해 합성하는 방식(스플래팅)을 통해, 복잡한 메쉬 구조 없이도 연속적인 3차원 형태를 효율적으로 렌더링할 수 있다. 화면에 캐릭터가 생성되는 렌더링 속도가 빠르고, 이미지 품질이 높지만, 구조 정보를 명시적으로 포함하지 않아 단일 이미지 기반 변형에서는 구조 왜곡이 발생하기 쉽다. |
|
[붙임] 그림설명 |
|
그림1. 개발된 AI 모델인 디폼스플랫의 기능. 위쪽 줄은 초기 3D 모델(3DGS)과 사용자가 입력한 목표 동작이 담긴 사진(Image)이다. 아래쪽 줄은 AI가 목표 사진을 분석해 3D 모델의 자세를 변형시킨 결과물이다. 호랑이의 역동적인 움직임이나 로봇의 기울기, 캐릭터가 팔을 드는 동작 등을 수행할 때, 형태가 찌그러지거나 부자연스럽게 늘어나는 왜곡 없이 원본의 기하학적 특징을 그대로 유지하며 자세만 바뀐 것을 확인할 수 있다.
그림2. 디폼스플랫의 작동 원리 이 기술은 크게 두 단계로 작동한다. 먼저 '가우시안-픽셀 매칭(Gaussian-to-Pixel)' 과정을 통해 입력된 사진 속 픽셀과 3D 모델의 해당 위치를 연결한 뒤, , '강체 분할(Rigid Part Segmentation)' 기술을 적용해 3D 모델을 의미 있는 단위로 구분하는 방식이다. 그림 중앙의 알록달록한 호랑이는 AI가 다리, 몸통, 머리 등 움직일 때 형태가 유지되어야 하는 부위(강체)를 스스로 식별하여 그룹화한 모습이다. 이 과정을 통해 관절은 자연스럽게 굽혀지면서도 신체 부위가 고무처럼 늘어나는 왜곡을 방지하고 사실적인 움직임을 만들어낸다. |
|
UNIST 홍보팀 news@unist.ac.kr TEL : 052)217-1230FAX : 052)217-1229 |
![[연구그림] 개발된 AI 모델의 기능. 3D 캐릭터의 자세를 빨간박스 안의 캐릭터의 자세로 바꿀 수 있다](https://news.unist.ac.kr/kor/wp-content/uploads/2025/12/연구그림-개발된-AI-모델의-기능.-3D-캐릭터의-자세를-빨간박스-안의-캐릭터의-자세로-바꿀-수-있다.jpg)
![[연구그림] 디폼스플랫의 작동원리](https://news.unist.ac.kr/kor/wp-content/uploads/2025/12/연구그림-디폼스플랫의-작동원리.jpg){kind=small}