Press release

2022.03. 27 (일) 부터 보도해 주시기 바랍니다.

‘삐 소리에 로봇 손이 움직였다!’...소리 듣는 인공피부 기술 개발

UNIST 고현협·김재준 교수팀, 소리·촉감·동작 모두 전달하는 HMI 기술 개발
달팽이관 모방해 다양한 주파수 영역대 신호 선택적으로 인식 .... Sci. Adv. 게재

소리를 들을 수 있는 인공피부로 로봇을 조종하는 인터페이스 기술이 개발됐다. 로봇이 인공피부를 통해 물질의 촉감을 구별하며, 소리를 인식해 명령을 수행하는 기술이다. 사람의 동작까지 그대로 따라 할 수 있다. 메타버스, 아바타 로봇 시대에 꼭 맞는 기술로 주목받고 있다.

UNIST(총장 이용훈) 고현협(에너지화학공학과)·김재준(전기전자공학과) 교수팀은 사람 동작, 촉감, 소리 등을 모두 인식해 기계에 전달할 수 있는 사람-기계 인터페이스를 개발했다.

[대표이미지] 소리듣는 인공피부 센서 기반 조종 기술의 특징과 응용 분야

연구팀은 “버튼이나 키보드를 누르는 대신 정보를 직관적으로 기계에 전달하는 방식의 사람-기계 인터페이스”라며 “센서가 얇고 부착 가능해 다양한 가상현실 (VR), 증강현실 (AR), 사물 인터넷 (IoT) 기술에 쓸 수 있을 것”이라고 기대했다.

[대표이미지] 연구팀이 제작한 센서 사진

이 인터페이스는 귀의 달팽이관 구조를 모방한 인공피부 센서를 기반으로 한다. 달팽이관 기저막은 두께와 너비, 단단함 정도가 부위별로 달라 소리를 주파수별로 구분해 받아들 수 있는 원리를 응용했다. 센서의 이러한 특성 덕분에 사람의 동작처럼 느리게 반복되는 저주파 신호뿐만 아니라 빠르게 진동하는 소리, 촉감 같은 고주파 신호도 낮은 신호 대 잡음비로 기계에 모두 전달할 수 있다.

연구팀은 이 센서를 활용한 아바타 로봇 손 제어 기술, 스마트 햅틱 장갑 같은 응용 기술을 선보였다. 소리로 아바타 로봇 손을 조종하는 시연에서는 주파수를 바꿔 로봇 손의 손동작을 조종할 수 있었다. 또 사용자가 스마트 햅틱 장갑을 끼고 움직이면 아바타 로봇 손이 사용자의 손 움직임을 그대로 따라 했으며, 유리, 종이, 실크 등 8가지 다른 물질의 질감도 93% 정확도로 인식했다.

개발한 센서는 달팽이관 기저막처럼 두께, 다공성, 면적 등이 다른 단위 마찰전기 센서 여러 개가 연속적으로 붙어 있는 형태다. 또 센서 내부 구조를 특수하게 설계해 기존 평면 형태 센서보다 압력 민감도가 최대 8배 향상됐다. 인식 주파수 대역폭도 45 ~ 9,000 Hz(헤르츠)로 사람의 심전도 신호 (0.5 ~ 300 Hz), 근전도 신호 (50 ~ 3,000 Hz), 심음도 신호 (20 ~ 20,000 Hz), 목소리 (100~400 Hz) 와 같은 생체 신호를 모두 인식할 수 있다. 외부 소음 환경에서도 머신 러닝을 통해 95% 정확도로 사람 목소리만 인식 가능해 소음 제거 기능을 탑재한 마이크로도 쓸 수 있다.

이번 연구는 미국과학협회(AAAS)에서 발행하는 세계적인 권위지 사이언스 (Science) 의 자매지인 ‘사이언스 어드밴시스 (Science Advances)’에 3월 25일(현지 시각) 자로 게재됐다. 한국연구재단 중견연구자지원사업, 이엠텍, 포스코 사이언스 펠로쉽의 지원을 받아 수행됐다.

논문명: Frequency-selective acoustic and haptic smart skin for dual-mode dynamic/static human-machine interface

자료문의

대외협력팀: 김학찬 팀장, 양윤정 담당 (052) 217  1228

에너지화학공학과: 고현협 교수 (052) 217 2532

  • [연구그림] 개발한 마찰 전기 센서의 내부 구조
  • [연구그림] 소리, 동작 인식 기능을 활용한 로봇 손 시연
  • [연구그림] 개발한 센서의 주파수 선택성
  • [연구그림] 소음 환경에서 주파수 선택성
  • [연구그림] 달팽이관 기저막을 모방한 센서 기술
 

[붙임] 연구결과 개요

1. 연구배경

기계-사람 인터페이스 (Human-Machine Interface, HMI)의 개발은 사람과 기계를 이어주는 데에 가장 큰 역할을 한다. 현재 존재하는 웨어러블 HMI 기기들의 경우 낮은 주파수 (1-10 Hz)의 터치 혹은 손동작을 이용하여 기계에 간단한 신호들을 전달하는 형태로 구성되어 있다. 최근에는 로보틱스, 가상현실 (VR), 증강현실 (AR), 그리고 사물인터넷 (IoT)이 발달하면서 고 주파수 대역의 신호 감지를 이용해 사람에게서 다양한 감각 혹은 생체 신호를 직관적이고 정확하게 전달하는 수요가 높아지고 있다. 이러한 고 주파수 대역의 신호를 정확히 인식하여 HMI에 적용하기 위해서는 신호-잡음비가 높은 동적 센서가 필요하고, 넓고 선형적인 신호 인식 범위와 넓은 주파수 대역을 커버할 수 있어야 한다.

다양한 동적 센서의 후보군들 중 마찰 전기 센서가 가장 적절하다고 판단했다. 마찰 전기 센서는 자가 발전 기능이 있으며 동적 자극을 받아 높은 전력을 즉각적으로 생성할 수 있기 때문이다. 현재 마찰 전기 센서는 음성 인식 기기로의 연구 뿐만 아니라 터치, 모션, 촉감 센서 등의 다양한 동적 압력 HMI로 응용하기 위한 연구가 진행되고 있다.

본 연구에서는 사람 달팽이관 내부의 기저막 (basilar membrane)이 구조적 차이(두께와 탄성율의 차이)로 인해서 공진 주파수가 달라지는 현상에서 착안해 동적 HMI를 개발했다. 기저막의 구조를 모사하여 선택적 주파수를 인식할 수 있게끔 설계하였고, 선택적 주파수 인식을 통하여 소음 환경에서도 원하는 소리를 정확히 인식할 수 있도록 센서를 구성하였다. 센서의 주파수 대역은 센서의 두께, 면적, 그리고 내부의 다공성을 조절하여 더 넓은 범위의 주파수 대역을 커버할 수 있는 것을 확인하였다.

2. 연구내용

본 연구에서는 강유전성 유기 고분자인 PVDF-TrFE와 고유전성 무기나노 입자인 BaTiO3를 사용하여 마찰 전기 센서의 성능을 높였으며, 센서 내부를 계층적 구조인 매크로 돔/마이크로기공/나노입자 (Macrodome/Micropore/Nanoparticle)구조로 설계해 고감도, 고선형성 압력 센서 신호를 가지고 공진 주파수를 조절할 수 있는 센서를 구현하였다.

센서의 두께, 마이크로 기공 크기, 센서 크기 조절을 통해 145 Hz – 9,000 Hz의 넓은 주파수 범위 내에 공진 주파수를 조절해 음성과 같은 동적 압력 신호를 감지 할 수 있다. 또 선택적 영역의 소리를 증폭시켜 주변 노이즈 신호를 최소화 할 수 있는 특성을 갖는다. 다른 기존 음향 센서와 비교하였을 때도 상당히 향상된 소리 자극에 대한 민감도, 동적 반응 영역, 그리고 주파수 선택성을 보였다.

개발된 센서의 HMI 응용 가능성을 제시하기 위해, 첫째로 소음 환경에서 음성 신호를 정확히 감지할 수 있는 플렉서블 마이크로폰으로의 응용 연구를 진행하였다. 이는 일반 마이크와는 다르게 센서의 주파수 선택성이 있기에 때문에, 서로 다른 공진주파수를 가진 센서를 멀티채널 구조로 정렬함으로써, 다양한 영역의 노이즈 신호에 간섭을 최소화 할 수 있는 음성 인식 특성을 가지는 것을 확인하였다.

두 번째로, 개발된 센서는 소리 자극 뿐 만 아니라 정적 압력인 굽힘 정도를 출력 신호에 따라 분류할 수 있어 이를 스마트 글러브로 제작, 실제 손가락의 굽힘 정도를 아바타 로봇과의 블루투스 연결을 통해 나타낼 수 있는 시스템을 개발하였다.

세 번째로, 스마트 글러브의 손가락 끝부분에 센서를 부착하였을 때에 서로 물질의 질감 패턴들과 접촉 시 출력 전압을 이용해 질감을 구분할 수 있음을 보였다. 마지막으로, 개발된 센서에 특정 음성 신호가 전달되었을 때에 로봇 손에게 명령을 할 수 있는 시스템을 제작, 주파수 선택성을 이용하여 다른 주파수에서 각각 다른 로봇 손의 모양을 나타낼 수 있는 시스템을 구현하였다.

이처럼 본 연구에서 제작한 센서는 굽힘, 꼬임 등에 자유로운 유연 소재임과 동시에 주파수 선택성을 센서에 부여하여 다양한 HMI에 활용 가능함을 보였다. 

3. 기대효과

본 연구에서 소개된 정적(움직임)/동적(촉각, 소리) 신호 검출이 가능한 마찰 전기 센서는 간단한 필름 제작 형태로 센서를 제작 가능하다. 또 주파수 선택성 뛰어나며 넓은 주파수 감지 범위, 고민감도를 지녀 다양한 분야에 응용 가능할 것이다.

또한, 스마트 글러브 제작을 통한 질감 감지 기술과 아바타 로봇 컨트롤, 일정 주파수에서 작동하는 로봇 손 시스템은 현재 활발히 연구되고 있는 가상현실 (VR), 증강현실 (AR), 사물 인터넷 (IoT) 등의 분야에서 응용될 것으로 기대된다.

 

[붙임] 용어설명

1. 사이언스 어드밴시스(Science Advances)

미국과학진흥협회(American Association for the Advancement of Science, AAAS)에서 발행하는 다학제 분야(Multidisciplinary)를 다루는 세계적인 권위지인 사이언스(Science)의 자매지이다.

2. 강유전성 고분자 (Ferroelectric polymer)

외부의 전기장이 없어도 스스로 분극을 가지는 재료로써 외부 전기장에 의하여 분극의 방향이 바뀔 수 있는 분자량이 높은 물질.

3. 동적 센서 (dynamic sensor)

센서의 인식 방법이 동적 압력인 경우를 의미한다. 동적 압력의 경우 소리와 같이 반복적으로 압력의 세기가 바뀌는 것을 의미.

4.휴먼-머신 인터페이스 (Human-Machine Interface, HMI)

센서 및 수신기(receiver) 등의 장치를 통해 사람과 기계 사이를 연결해주는 기술을 의미. 본 연구에서는 마찰 전기 센서가 그 역할을 하고 있음.

5. 기저막 (basilar membrane)

달팽이관 내부에 위치한 기관 중 하나로, 고막에서 진동 신호로 변환된 신호를 림프액을 통해서 전달받는 기관임. 안쪽으로 들어갈수록 낮은 주파수의 음성 신호를 전달함.

 

[붙임] 연구그림

 

그림 1. 달팽이관 기저막을 모방한 센서 기술

(A) 제작된 마찰 전기 센서를 응용하는 기술. 오른쪽부터 소음 제거 음성 인식, 촉감 인식(인공피부 기능), 동적 움직임 감지와 아바타 로봇 컨트롤 시스템.

(B) 센서 두께, 다공성, 면적을 통해 센서의 주파수 선택적 민감도를 조절할 수 있음을 보여주는 모식도.

 

그림 2. 아바타 로봇 분야에 센서를 응용한 실험

(A) 센서를 굽혔을 때의 정도에 따른 출력 전압 신호의 크기를 나타낸 그래프.

(B) 사용자가 손가락 굽힘 정도를 바꿀 때 아바타 로봇손이 이를 따라 하는 모습

(C) 스마트 글러브에 5개의 마찰 전기 센서를 연결한 뒤, 블루투스 모듈로 연결하였을 때의 작동 사진. 각각의 손가락을 개별적으로 움직여 사용자의 동작을 따라 할 수 있다.

(D) 일정 주파수에만 특정한 손가락 동작을 따라 하도록 인터페이스를 설계했을 때 로봇이 이를 따라 하는 사진

 

그림 3. 개발한 마찰 전기 센서의 주파수 선택성

(A) 개발된 마찰 전기 센서에 음성 신호를 시중의 마이크와 비교하는 실험의 모식도.

(B) 개발된 마찰 전기 센서의 실제 사진.

 

그림 4. 소음 환경에서의 마찰 전기 센서의 주파수 선택성

(A) 센서에 주어진 음성 신호의 주파수 대역을 나타낸 그래프이고, 아래쪽은 함께 주어진 복합적인 소음의 그래프.

(B) 시중의 마이크가 신호를 인식한 그래프.

(C) 본 연구에서 개발한 센서가 인식한 그래프. 각 주파수 대역에서 소음과 관계없이 음성 신호의 특정 주파수가 잘 나타나는 것을 확인할 수 있음.

 

그림 5. 계층적 구조로 설계한 마찰 전기 센서 내부 모습

(A) 매크로돔/마이크로 기공/나노입자 순서의 계층적 구조를 나타낸 모식도와 이를 전자현미경으로 관찰한 모습

(B) 만들어진 마찰전기 센서의 내부 기공 크기가 작아지는 것을 표현한 모식도. 제작 과정에서 자연히 위쪽 기공의 크기가 더 크게 형성됨.