|
|
|
|
|
가상현실(VR), 증강현실(AR), 자율주행. 5G 시대를 이끌어나갈 이들 첨단기술의 뒤에는 레이저를 이용해 3차원 공간을 생생하게 재현하는 ‘라이다(LiDAR) 스캐너’*가 있다. 하지만, 빛을 이용하는 현재의 라이다 스캐너는 유리를 만나면 반사된 허상을 인식하기 때문에 번거로운 추가 작업이 필요하다. |
|
*LiDAR(Light Detection And Ranging): 적외선 레이저를 피사체에 조사하고 빛이 반사되어 돌아오는 시간을 계산해 피사체까지의 거리를 계산하는 장비. 각 레이저 펄스가 방출된 방향과 피사체까지의 거리를 이용해 3차원 공간상에 점을 생성하며, 360° 실세계 장면에 대해 수백만 개의 고정밀 3차원 점 군집 생성이 가능하다. |
|
UNIST(총장 정무영) 전기전자컴퓨터공학부 심재영 교수팀은 라이다 스캐너로 획득한 대면적 3차원 영상에서 자동으로 유리면을 찾고, 여기에 반사된 허상을 제거하는 기술을 개발했다. 이 기술을 이용하면 추가 작업 없이도 정확한 데이터를 확보할 수 있어 VR, AR을 위한 3차원 세계 구현에 큰 힘이 될 전망이다. |
연구진이 개발한 기술은 라이다 스캐너의 영상에서 허상을 제거하는 최초의 기술이며, 유리면이 여러 개 함께 존재하더라도 왜곡을 제거할 수 있는 장점도 있다. 제1저자 윤재성 연구원(전기전자공학과 석·박사통합과정)은 “건물에 설치된 유리는 공간 데이터를 정확하게 획득하는 데 어려움을 주는 존재”라며 “하지만 거꾸로 유리의 반사 특성을 이용하면 일일이 허상을 제거하지 않아도 정확한 3차원 데이터를 얻을 수 있다”고 설명했다. 연구진은 두 단계의 과정을 통해 유리면에 의한 왜곡을 제거했다. 첫 번째는 유리면이 어디에 있는지를 인식하는 것이고, 두 번째는 인식된 유리면을 기준으로 허상의 위치를 추적해 제거하는 것이다. |
|
유리면의 위치는 라이다 스캐너에서 회수되는 레이저 펄스의 개수를 통해 알 수 있다. 보통 레이저 하나가 발사되면 반사된 레이저는 한 번만 회수된다. 하지만 유리면에서는 ‘유리에 한 번 반사된 레이저’와 ‘유리를 통과해 물체에서 반사된 레이저’까지 나타나 반사된 레이저 숫자가 늘어난다. 즉, 돌아온 레이저가 많은 부분이 유리면인 것을 알 수 있다. |
이렇게 유리면을 찾은 후에는 미리 프로그래밍된 알고리즘을 토대로 유리면에 반사된 허상의 위치를 계산한다. 연구진은 유리의 반사 경로를 거꾸로 추적하는 계산법을 통해 진상과 허상을 구분해 제거하는 기술까지 확보했다. 심재영 교수는 “새로운 문제를 해결하는 도전이었기에 실험 데이터 확보부터 알고리즘 성능 평가 방법까지 모두 직접 진행하는 어려움도 있었지만, 그 덕분에 독창적인 원천기술을 확보했다”며 “향후 자율주행, VR, AR 등 첨단기술 실현을 위한 고품질 3D 콘텐츠 제작에 도움이 되길 바란다”고 말했다. 이번 연구는 과학기술정보통신부 한국연구재단 중견연구자지원사업의 지원으로 이뤄졌다. 논문은 세계적인 권위의 국제학술지 ‘국제전기전자공학회 패턴분석 및 기계지능(IEEE Transactions on Pattern Analysis and Machine Intelligence)’에 출판될 예정으로, 지난 8월 온라인에 먼저 공개됐다. (끝) ※ 논 문 명: Virtual Point Removal for Large-Scale 3D Point Clouds With Multiple Glass Planes ※ 저자정보: 윤재성(UNIST, 제1저자), 심재영(UNIST, 교신저자) |
|
|
|
[붙임] 연구결과 개요 |
|
1. 연구배경 자율주행과 증강현실(AR), 가상현실(VR)은 최근 가장 주목받는 신기술이다. 이들 기술에 공통으로 필요한 기술은 ‘3차원 공간에 대한 데이터 확보’다. 따라서 원활한 서비스를 위한 ‘고품질의 실세계 장면’이나 ‘3차원 지도’를 확보하기 위한 기술에 대한 수요 또한 증가하는 추세다. 다양한 기술 개발이 이뤄지는 가운데, 라이다(LiDAR) 스캐너는 정밀한 데이터를 제공한다는 장점으로 주목받는다. 라이다 스캐너는 레이저를 조사(照射)하고 되돌아온 빛의 이동시간을 계산해 피사체까지의 거리를 측정하는 장비로, 360° 실세계에 대한 대용량 고정밀 3차원 점 군집 데이터를 제공한다. 하지만 라이다 스캐너에도 약점이 있다. 현대 도시의 건물들은 기능적, 디자인적 완성도를 위해 외벽과 내부에 유리를 사용하는 경우가 많다. 이런 유리 구조물은 레이저와 같은 빛을 투과 · 반사하는 특성을 갖는다. 따라서 유리 구조물이 많은 환경에서 라이다 스캐너를 사용하면, 레이저 펄스가 유리면에 투과, 반사되면서 유리 맞은편의 형상 데이터까지 인식해 허상을 생성하게 된다. 이처럼 왜곡된 허상 데이터는 3차원 장면을 복원하고 분석하는 등 컴퓨터 비전 알고리즘의 성능을 저하하는 원인이 된다. 2. 연구내용 이번 연구에서는 라이다 스캐너로 취득한 대용량 3차원 영상에서 왜곡된 허상을 자동으로 검출하고 제거하는 기술을 개발했다. 특히 이 기술은 하나의 유리면이 존재할 경우뿐 아니라 복수의 유리 구조물이 존재하는 상황에서도 적용할 수 있다. 라이다 스캐너에서 조사된 레이저 펄스는 일반적으로 피사체 표면에서 한 번 반사된 후 스캐너로 돌아와 하나의 3차원 포인트를 생성한다. 하지만 유리면에서는 빛의 투과와 반사가 동시에 일어나기 때문에 하나의 레이저 펄스에서 다수의 3차원 포인트가 생성된다. 즉, 레이저가 돌아온 위치에 다수의 3차원 포인트가 형성된 곳이 유리면이라고 판단할 수 있는 것이다. 연구진은 이러한 빛의 투과 및 반사 특성을 확률적으로 모델링해 복수의 유리 영역을 자동으로 검출할 수 있는 시스템을 개발했다. 이어 연구진은 검출된 유리면을 기준으로 허상의 위치를 계산했다. 유리면을 기준으로 투과, 반사된 레이저 펄스의 다중 경로를 재귀적으로 계산하면 허상과 실상의 위치를 확인할 수 있다. 여기에 실상과 허상의 형상 유사성과 위치 대칭성을 확인하는 추가적 절차를 통해 허상 검출의 정밀성을 높였다. 연구진은 이 알고리즘을 이용해 3차원 영상 내 허상을 찾고, 이를 제거할 수 있음을 확인했다. 연구진은 유리면을 검출하고, 허상을 확인 · 제거하는 기술을 이용해 다양한 실내외 실세계 장면에 대한 실험을 추가로 진행했다. 연구진이 직접 취득하고 실험한 3차원 영상 데이터는 1개의 유리면이 있는 상황부터 4개의 유리면이 있는 상황까지 다양했으며, 개발한 기술이 왜곡된 가상의 데이터를 성공적으로 제거할 수 있음이 확인됐다. 3. 기대효과 이번 연구를 통해 개발한 기술은 라이다 스캐너를 통해 획득한 3차원 영상 데이터를 처리하고 복원할 수 있는 원천기술이다. 일일이 왜곡을 찾고, 제거하는 현재의 기술적 애로를 손쉽게 해결할 수 있기 때문이다. 이 기술은 다양한 산업 분야에 활용 가능할 것으로 예상된다. 실감 나는 대용량 고정밀 3차원 시각 데이터를 활용하는 산업에서 활용도가 높다. 특히 실내외 자율주행을 위한 고해상도 실세계 3차원 지도 생성에 직접 활용 가능하고, AR/VR 서비스를 위한 현실감 있는 3차원 콘텐츠 자동 생성에 활용 가능할 것으로 기대된다. |
|
[붙임] 그림설명 |
그림1. 라이다(LiDAR) 스캐너에서 유리면을 검출하는 과정. (a) 라이다 스캐너는 360° 공간을 각 부분으로 나눠 레이저 펄스를 조사하고 이를 회수해 공간을 인식한다. (b) 회수된 레이저 펄스는 각각 3차원 점을 형성하는데, (c) 돌아온 펄스의 개수를 보면, 형성된 3차원 점이 많은 부분에 유리가 위치하고 있음을 알 수 있다. 
그림 2. 레이저 펄스의 다중 경로 추정: 가운데 유리면을 기준으로 주어진 회색 화분의 3차원 점에 대해 가능한 모든 레이저 펄스의 경로를 계산한다. 다중 경로 중에서 회색 화분에 대응되는 실제 검은색 화분의 3차원 점을 찾고, 대응점 간의 유사도를 계산하여 회색 화분을 허상으로 판단한다. 
그림3.３차원 영상에서 유리 영역 및 허상 검출 결과: 라이다 스캐너에서 확보한 3차원 영상. 연구진이 개발한 기술을 적용한 결과, 하늘색으로 표현된 부분이 유리면으로 검출됐다. 이어 이를 기준으로 붉은색으로 표시된 부분이 유리면에 반사된 허상으로 판별됐다. |
|
[붙임] 연구결과 개요, 용어설명 |
|
1. 국제전기전자공학회 패턴분석 및 기계지능 (IEEE Transactions on Pattern Analysis and Machine Intelligence) 미국의 IEEE에서 창간한 과학학술지로 2018년 기준 인용지수(Impact factor)는 17.730이다. 전기 및 전자공학, 컴퓨터 과학 및 인공지능 분야에서 최고 수준의 권위를 인정받고 있다. 2. 라이다(LiDAR) 스캐너 라이다 스캐너는 적외선 레이저를 피사체에 조사하고 빛이 반사되어 돌아오는 시간을 계산하여 피사체까지의 거리를 계산하는 장비다. 각 레이저 펄스가 방출된 방향과 피사체까지의 거리를 이용해 3차원 공간상에 점을 생성하며, 360° 실세계 장면에 대해 수백만 개의 고정밀 3차원 점 군집 생성이 가능하다. |
|
UNIST 홍보팀 news@unist.ac.kr TEL : 052)217-1230FAX : 052)217-1229 |
![[연구진사진]-심재영-교수(오른쪽)과-윤재성-연구원(제1저자,-왼쪽)](https://news.unist.ac.kr/kor/wp-content/uploads/2019/09/연구진사진-심재영-교수오른쪽과-윤재성-연구원제1저자-왼쪽.jpg)
