[붙임] 연구결과 개요

1. 연구배경

손과 물체의 상호작용을 3차원으로 정밀하게 복원하는 기술은 가상현실(VR), 증강현실(AR), 로봇 제어 등 다양한 분야에서 핵심적으로 활용될 수 있다. 그러나 기존 기술은 기술적 어려움으로 대부분 하나의 손과 물체의 상호작용을 복원하거나, 사전 스캔된 물체 모델에 의존해 물체에 대한 3차원 복원은 회피하는 경향이 있어 실제 환경에 적용하기 어려웠다. 특히 두 손과 물체가 동시에 등장하며 서로를 가리는 복잡한 장면에서는 복원 정확도가 크게 저하되는 한계가 있었다.

2.연구내용

본 연구에서는 이러한 한계를 극복하기 위해, 단일 영상으로부터 양손과 미지의 물체를 동시에 3D로 복원하는 신기술 ‘BIGS (Bimanual Interaction 3D Gaussian Splatting)’를 개발했다.

이 기술은 손과 물체를 각각 3차원 가우시안 분포로 표현하고, 손-물체 간의 상호작용 정보를 반영해 복원 정확도를 높였다. 특히 양손은, 하나의 정준 가우시안(Canonical Gaussian)을 공유하도록 구성하여, 제한된 시야에서도 손 형상을 안정적으로 추정할 수 있도록 했다. 물체의 경우, 사전학습된 확산 모델 기반의 점수 증류 샘플링(Score Distillation Sampling, SDS) 기법을 적용해, 영상에 보이지 않는 물체의 표면까지 예측해 복원하는 것이 가능하도록 했다.

실험 결과, ARCTIC과 HO3Dv3 등 국제 benchmark 데이터셋에서 손 자세, 물체 형상, 손-물체 접촉, 렌더링 품질 전 영역에서 기존 기술 대비 뛰어난 성능을 기록했다.

3.기대효과

이번 연구는 단일 영상만으로도 복잡한 손-물체 상호작용을 정확하게 복원할 수 있다는 가능성을 제시한 사례로, 향후 상호작용 기반의 가상현실 콘텐츠 제작, 원격 로봇 제어, 수술 시뮬레이션 등 다양한 산업 분야에 적용될 수 있을 것으로 기대된다.

[붙임]  용어설명

1.3차원 가우시안 분포 (3D Gaussian Distribution)

형상을 입체적인 점 구름처럼 표현하는 방식으로, 위치와 크기, 방향을 함께 나타낼 수 있다. 주로 3D 복원이나 렌더링에 활용된다.

2.정준 가우시안 (Canonical Gaussian)

여러 손 모양을 공통된 기준 구조에 맞춰 해석할 수 있도록 정한 대표적인 가우시안 분포. 손의 위치나 방향이 달라도 일관된 기준으로 비교·복원이 가능하다.

3.사전학습된 확산 모델 (Pre-trained Diffusion Model)

방대한 이미지 데이터를 바탕으로 미리 학습된 이미지 생성 인공지능. 주어진 조건에 맞춰 자연스러운 이미지를 생성하는 데 활용된다.

4.점수 증류 샘플링 (Score Distillation Sampling, SDS)

잘 훈련된 이미지 생성 모델이 만들어낸 이미지를 기준 삼아, 다른 모델이 그 이미지에 점점 가까워지도록 학습시키는 방법. 숨겨진 형상까지 복원하는 데 쓰인다.

5.ARCTIC / HO3Dv3 데이터셋

손과 물체가 복잡하게 상호작용하는 장면을 담은 공개 영상 데이터셋. AI 모델의 3D 복원 정확도를 평가하는 데 사용된다.

[붙임] 그림설명

그림. 제안된 ‘BIGS’ 기법을 사용하여 다양한 시점에서 손-물체 상호작용을 복원한 결과. 실제 카메라 시점(Camera view)뿐 아니라, 보이지 않는 새로운 시점(Novel view)에서도 손과 물체의 형상을 안정적으로 예측한 결과를 보여준다. 기존 기술(HOLD)이 손가락이나 물체 표면을 뭉개거나 누락한 것과 달리, BIGS는 접촉 부위까지 자연스럽게 복원한 것을 확인할 수 있다.