[붙임] 연구결과 개요

1.연구배경

3차원(3D) 복원 기술은 사람의 얼굴이나 몸을 중심으로 정교하게 발전해 왔지만, 반려동물과 같은 동물에 대한 기술은 상대적으로 주목받지 못했다. 특히 개는 품종에 따라 체형이 매우 다양하고, 네 발로 걷는 독특한 보행 방식 탓에 다리나 관절이 다른 신체 부위에 가려지는 경우가 많아 단일 사진만으로 3D 형상을 정확히 복원하기 어렵다. 기존 모델은 이러한 구조적 특징을 충분히 반영하지 못해, 자세와 체형이 따로 놀거나 관절이 비정상적으로 꺾이고, 귀나 꼬리, 털 등이 뭉개지는 왜곡이 자주 발생했다.

또한 기존의 동물 3D 복원 기술은 대부분 정적 형태만 구현할 수 있어, 실제처럼 움직이는 아바타로 확장하기 어렵다는 한계도 있었다.

2.연구내용

이러한 문제를 해결하기 위해 연구팀은 반려견의 단일 2D 사진만으로 생생하게 움직이는 3D 아바타를 생성할 수 있는 새로운 인공지능 모델 DogRecon을 개발했다.

DogRecon은 D-SMAL, 생성형 AI(Canine-centric NVS), 3D 가우시안 스플래팅(Gaussian Splatting) 을 세 가지 핵심 기술 요소로 한다. 먼저 개 전용 3D 통계 모델(D-SMAL)을 활용해 사진 속 개의 자세와 외형을 추정한다. 이 모델은 다양한 품종과 자세 데이터를 기반으로 설계되어 관절의 위치나 체형을 현실적으로 복원할 수 있다.

생성형 AI(Generative AI) 기술은 3D 통계 모델을 바탕으로 여러 각도의 이미지를 자동 생성한다. 이 과정에서 사용된 이미지 신뢰도 평가 메커니즘을 통해, 실제 개의 형상과 일치도가 높은 이미지들만 선별했다.

이렇게 확보된 이미지들을 학습 데이터로 삼아, 3D 가우시안 스플래팅기반 복원 모델을 훈련시킨다. 3D 가우시안 스플래팅 방식은 포인트 글라우드(point cloud) 방식보다 곡선형 실루엣과 부드러운 털의 질감을 더 사실적으로 표현할 수 있어, 최종적으로 실제 반려견과 유사한 외형의 3D 아바타가 완성된다.

DogRecon은 또한 생성된 3D 아바타를 애니메이션화할 수 있는 기능을 포함하고 있다. 연구에서는 다양한 포즈와 장면 내 배치가 가능한 응용 예시를 제시했으며, 가상현실(VR), 증강현실(AR)과 같은 환경에서의 활용 가능성도 실험적으로 확인했다.

성능 실험에서는 다양한 품종과 포즈에 대해 DogRecon이 기존 모델보다 훨씬 더 자연스럽고 정밀하게 복원된 형상을 만들어냈으며, 특히 관절 연결부와 꼬리·귀·털과 같은 세부 구조에서도 왜곡이 크게 줄어든 것이 확인됐다.

3.기대효과

DogRecon은 3D 복원 기술을 사람 중심에서 반려동물 영역으로 확장시킨 첫 사례 중 하나로, 반려동물 산업뿐 아니라 게임, 애니메이션, 메타버스 등 디지털 콘텐츠 분야 전반에 폭넓게 응용될 수 있다.

특히 사진 한 장만으로 실물과 유사한 반려견 아바타를 만들고, 이를 사용자 입력에 따라 자유롭게 움직이게 할 수 있어, 향후 반려동물 기반의 맞춤형 콘텐츠, 인터랙티브 교육 도구, 반려동물 추모 아바타 등 다양한 확장 서비스로 이어질 가능성도 크다. 연구팀은 앞으로 고양이, 토끼, 말 등 다른 동물로의 확장은 물론, 사람과 반려동물이 함께 움직이는 아바타 시뮬레이션 기술로도 발전시킬 계획이다.

[붙임] 연구결과 개요, 용어설명

1.3D 가우시안 스플래팅 (3D Gaussian Splatting)

3차원 공간의 한 점을 뚜렷한 점(point)이 아닌 '부드러운 분포(가우시안 분포)'로 표현하는 최신 영상 복원 기술이다. 단단한 격자나 메시(mesh) 없이도 형태를 유연하게 표현할 수 있어, 복잡한 곡면이나 질감(예: 동물의 털, 곡선형 몸통)을 더 사실적으로 구현할 수 있다. 이번 연구에서는 이 방식을 활용해, 강아지의 체형과 표면 질감을 자연스럽게 재현했다.

2.D-SMAL (Dog-Specific SMAL)

다양한 품종의 강아지 데이터를 기반으로 만들어진 개 전용 3D 통계 모델이다. SMAL(동물 모양 모델)을 개의 체형에 맞게 특화한 것으로, 강아지의 관절 위치, 체형 비율, 움직임 등을 통계적으로 반영해 사진 속 개의 외형을 현실적으로 추정할 수 있다. 아바타에 움직임을 부여하는 데도 활용된다.

3.생성형 AI (Generative AI)

이미지, 텍스트, 음성 등 다양한 데이터를 새로 만들어내는 인공지능 기술이다. 이번 연구에서는 단일 이미지로부터 다양한 각도의 강아지 모습을 생성하는 데 사용됐다. 부족한 시각 정보를 보완해 3차원 복원의 정확도를 높이는 역할을 한다.

[붙임] 그림설명

그림 1. 애니메이션화할 수 있는 3차원 아바타를 생성하는 기술과 그 응용 분야

단 한 장의 이미지 만으로도 기존 영상과 비슷한 수준의 정교한 아바타를 만들 수 있으며, 텍스트로 애니메이션을 생성하는 기능이나 VR, AR 등 다양한 분야에 응용할 수 있다.

그림 2. DogRecon의 3차원 아바타 생성 과정

입력된 단일 사진에서 강아지의 기본 구조를 D-SMAL 기반의 통계 모델(Canine prior)로 추정한 뒤, 마스크 정보를 활용해 다양한 시점에서의 이미지를 생성한다. 이후 신뢰도 기반 샘플링 과정을 통해 고품질 이미지를 선별하고, 이를 3D 가우시안 스플래팅 모델에 학습시켜 실제처럼 움직일 수 있는 3차원 강아지 아바타를 완성한다.