[붙임] 연구결과 개요

1.연구배경

자율주행과 로봇 비전 분야에서 카메라만으로 가려진 영역까지 완전한 3차원 공간을 이해하고 복원하는 기술이 중요하다. 3차원 공간 인식을 위해 LiDAR 센서를 활용하는 경우가 많으나, 이는 비용이 높아 실제 활용성에 제약이 크다. 따라서 카메라만을 활용한 접근이 주목받고 있다. 그러나 카메라 기반 방식은 원근 투영으로 인한 2D-3D 불일치라는 센서 자체의 근본적인 문제를 안고 있다. 멀리 있는 물체는 작게 보여 정보가 손실되고, 가까운 물체는 과도하게 크게 보이는 원근법으로 인해 정확한 3차원 공간 이해가 어렵다. 기존 연구들은 복잡한 인공신경망 개발을 통한 성능 개선에 집중해왔지만, 센서 자체의 원근 투영 한계를 직접 보완하려는 시도는 부족했다.

2.연구내용

해당 연구는 이러한 한계를 극복하기 위해 영상 내 소실점(vanishing point, VP)을 활용하여 인공신경망이 원근법을 고려할 수 있도록 하는 프레임워크 “VPOcc”을 제안한다.

이 프레임워크는 세 가지 핵심 모듈로 구성된다. 첫째, VPZoomer는 멀리 있는 영역은 확대하고 가까운 영역은 축소해 공간 전반의 픽셀 분포 불균형을 보완한다. 이를 통해 인공지능이 공간 전체를 고르게 인식할 수 있게 한다.

둘째, VP-guided Cross Attention(VPCA)은 소실점 방향을 따라가면서 이미지 특징을 추출해 3차원 공간 이해에 적합한 정보를 정합한다. 사람이 도로 끝 소실점을 바라보며 전체 공간의 깊이를 짐작하는 것처럼, 인공지능도 소실점을 기준으로 이미지를 읽어내 더 입체적이고 정확한 공간 정보를 얻게 된다.

셋째, Spatial Volume Fusion(SVF)은 원본과 보정된 이미지 특징을 융합해 균형 잡힌 3차원 특징 공간을 형성한다. 원본은 실제 카메라가 본 모습을, 보정 영상은 왜곡이 줄어든 균형 잡힌 모습을 제공하는데, 두 정보를 합쳐 더욱 완성도 높은 3차원 격자 지도(복셀 맵)를 만들어낸다.

제안한 방법은 실제 도로 환경 데이터셋을 통해 검증되었으며, 기존 모델보다 공간 이해 능력(mIoU)과 복원 능력(IoU) 모두에서 뛰어난 성능을 보였다. 공간 이해 능력은 3차원 공간 속에 있는 물체가 자동차, 건물, 나무처럼 어떤 의미를 가지는지를 구분하는 능력을 뜻하고, 복원 능력은 물체가 차지하는 공간의 형태와 위치를 얼마나 정확히 재현하는지를 의미한다. 즉 이 기술을 통해 인공지능은 단순히 “어디에 뭔가가 있다”를 아는 수준을 넘어, 그 물체가 정확히 어떤 것인지 까지 파악하며 실제 도로 상황을 더 정밀하게 읽어낼 수 있게 된 것이다.

3.기대효과

VPOcc은 저비용 카메라만으로도 고비용 라이다(LiDAR) 센서에 근접한 수준의 3차원 공간 예측을 가능하게 한다. 이를 통해 로봇 시스템 구축 비용을 줄이고, 카메라 센서 활용도를 크게 높일 수 있다. 또한 기존에 2차원 이미지 이해에 국한되어 사용되던 소실점이라는 기하학적 단서를 3차원 공간 이해로 확장하여 소실점의 활용 가능성을 넓혔다.

[붙임]  용어설명

1.라이다(LiDAR)

레이저로 거리를 측정해 3D 지도를 만드는 센서. 카메라보다 정확하지만 무겁고 가격이 비싸다. 테슬라의 자율주행차는 라이더센서 대신 카메라만 탑재되어 있다.

2.원근 투영

3차원 공간을 2차원 평면으로 투영하면서 멀리 있는 물체는 작게, 가까운 물체는 크게 보이는 현상.

3.소실점(Vanishing Point)

3차원 평행선들이 이미지에서 한 점으로 모이는 지점.

4.복셀(Voxcel)

‘Volume’과 ‘Pixel’을 합친 말로, 3차원 공간을 격자 단위로 쪼개 표현한 최소 단위를 뜻한다. 2차원 화면을 작은 네모칸(픽셀)으로 나누듯, 3차원 공간을 작은 입체 블록으로 나누어 표현하는 개념이다. 각 복셀은 해당 공간이 비어 있는지, 혹은 자동차·보행자·건물 같은 특정 물체로 채워져 있는지를 표시할 수 있다. 이를 통해 인공지능은 복셀 단위로 공간을 계산하고, 전체를 조합해 입체적인 3차원 지도를 만든다.

5.IoU

인공지능 모델이 예측한 3차원 공간과 실제 정답(라벨) 사이에 얼마나 겹치는지를 나타내는 지표다. 즉, 물체가 차지하는 영역의 위치와 모양을 얼마나 정확히 맞췄는지를 평가하는 ‘복원 정확도’에 해당한다.

6. mIoU

IoU 지표를 모든 객체와 범주(class)에 대해 평균 낸 값이다. 단순히 공간을 복원하는 수준을 넘어, 해당 영역이 자동차, 건물, 나무 등 어떤 의미를 갖는지까지 구분하는 ‘의미론적 이해 정확도’를 평가하는 척도다.

[붙임] 그림설명

그림 1. VPOcc의 아키텍처 개략도.

소실점과 카메라 이미지를 함께 활용해 원근법을 고려하는 인공신경망을 제안한 구조다. 2차원 카메라 이미지 한 장만으로도 가려진 영역까지 예측해, 도로 위 자동차·보행자·건물 등이 어디에 있는지를 입체적으로 표시한 3차원 지도를 생성한다.

그림 2. VPOcc과 기존 모델의 예측 결과 비교. 첫 번째 줄에서는 VPOcc만이 멀리 있는 나무의 형상을 예측하였으며, 두 번째와 세 번째 줄에서 VPOcc만이 겹쳐있는 차량을 효과적으로 구분해내는 것을 확인할 수 있다.