보도자료

2024. 1. 29 (월) 부터 보도해 주시기 바랍니다.

복잡한 인간의 감정, 실시간으로 인식할 수 있다면?!

UNIST 김지윤 교수팀, 멀티모달 기반 착용형 인간 감정인식 기술 개발
감정 인식해 맞춤형 서비스도 제공 가능… Nature Communications 게재

인간의 감정을 실시간으로 인식할 수 있는 기술이 개발됐다. 감정을 기반으로 서비스를 제공하는 차세대 착용형 시스템 등 다양하게 응용될 것으로 기대된다.

UNIST(총장 이용훈) 신소재공학과 김지윤 교수팀은 실시간으로 감정인식을 할 수 있는 ‘착용형 인간 감정인식 기술’을 세계 최초로 개발했다.

감정은 한 종류의 데이터로만은 정의하기 어렵고, 다양한 데이터를 취합해 분석해야 한다. 이번 연구에서는 얼굴 근육의 변형과 음성을 동시에 감지하는 ‘멀티모달’ 데이터를 무선으로 전송하고 인공지능을 활용해 감정 정보로 바꿨다. 착용형 기기이기 때문에 어떤 환경에서든 감정을 분석하고 적재적소에 사용할 수 있다.

개발된 시스템은 두 물체가 마찰 후 분리될 때 각각 양과 음의 전하로 분리되는 ‘마찰 대전’현상을 기반으로 제작됐다. 자가 발전 또한 가능해 데이터를 인식할 때 추가적인 외부전원이나 복잡한 측정장치가 필요하지 않다.

김지윤 교수는 “이러한 기술을 토대로 개인에게 맞춤형으로 제공 가능한 피부통합 얼굴 인터페이스(PSiFI) 시스템을 개발했다”고 덧붙였다.

연구팀은 말랑말랑한 고체상태를 유지하는 반경화 기법을 활용했다. 이 기법으로 높은 투명도를 가진 전도체를 제작해 마찰 대전 소자의 전극에 활용했다. 다각도 촬영기법으로 개인 맞춤형 마스크도 제작했다. 자가 발전이 가능하고 유연성과 신축성, 투명성을 모두 갖춘 시스템을 만든 것이다.

연구팀은 얼굴 근육의 변형과 성대 진동을 동시에 감지하고 이 정보들을 통합하여 실시간으로 감정을 인식을 할 수 있도록 시스템화했다. 이렇게 얻어진 정보를 이용해 사용자의 감정을 기반으로 맞춤 서비스를 제공할 수 있는 가상현실 ‘디지털 컨시어지’에 활용이 가능하다.

제1 저자 이진표 박사후 연구원은 “이번에 개발한 시스템으로 복잡한 측정 장비 없이 몇 번의 학습만으로 실시간 감정인식을 구현하는게 가능하다”며 “앞으로 휴대형 감정인식 장치 및 차세대 감정 기반 디지털 플랫폼 서비스 부품에 적용될 가능성을 보여줬다”고 말했다.

연구팀은 개발한 시스템으로 '실시간 감정 인식' 실험을 진행했다. 얼굴 근육의 변형과 목소리와 같은 멀티모달 데이터들을 수집하는 것뿐 아니라 수집된 데이터를 활용할 수 있는 ‘전이 학습’도 가능했다.

개발된 시스템은 몇 번의 학습만으로도 높은 감정 인식도를 보여줬다. 개인 맞춤형으로 제작되고 무선으로 사용할 수 있어 착용성과 편리함도 확보했다.

연구팀은 시스템을 VR 환경에도 적용해 '디지털 컨시어지'로 활용했다. 스마트홈, 개인 영화관, 스마트 오피스 등 다양한 상황을 연출했다. 상황별 개인의 감정을 파악해 음악이나 영화, 책 등을 추천해줄 수 있는 사용자 맞춤형 서비스가 가능함을 한 번 더 확인했다.

김지윤 신소재공학과 교수는 “사람과 기계가 높은 수준의 상호작용을 하기 위해서는 HMI 디바이스 역시 다양한 종류의 데이터들을 수집해 복잡하고 통합적인 정보를 다룰 수 있어야 한다”며 “본 연구는 차세대 착용형 시스템을 활용해 사람이 가지고 있는 아주 복잡한 형태의 정보인 감정 역시 활용이 가능하다는 것을 보여주는 하나의 예시가 될 것”이라고 전했다.

이번 연구는 싱가포르 난양공대 신소재공학과 Lee Pooi See 교수와의 협업으로 진행됐다. 세계적 권위의 국제학술지인 네이처 커뮤니케이션즈 (Nature Communications)에 1월 15일 온라인 게재됐다. 연구 수행은 과학기술정보통신부 한국연구재단 (NRF), 한국재료연구원 (KIMS)의 지원을 받아서 이뤄졌다.

(논문명: Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface)

자료문의

대외협력팀: 서진혁 팀장, 우종민 담당 (052)217-1232

신소재공학과: 김지윤 교수 (052)217-3052

[붙임] 연구결과 개요

1. 연구배경

최근 들어, 다양한 기계 및 시스템과 인간의 상호작용(Human-Machine Interface)기반 기술들이 활발하게 연구되고 관련 산업들이 발전됨에 따라 성능을 향상시키기 위해 감정, 기분, 느낌과 같은 인간의 정서가 점점 더 많이 고려되고 있다. 하지만 본질적으로 추상적이고 모호한 특성으로 인해 감정 정보를 정확하게 추출하고 활용하기 어려웠다.

이러한 한계를 극복하기 위해 기존에는 영상, 음성, 생체신호(Biomedical signal)와 같이 감정표현시 발현되는 표정, 발화, 신체 반응 등을 감지하는 방법들을 활용해왔다. 이러한 방법으로 정밀하게 분석을 하여 어느 정도 높은 정확도로 감정 인식을 할 수 있다. 하지만, 기존의 방법으로 정밀한 분석을 하기 위해 많은 장치 및 인력이 필요하다는 단점이 있기 때문에 여전히 휴대용 장치에 적용하게 어려웠다. 따라서, 실시간으로 간단하고 휴대 가능한 특성을 갖는 감정인식 장치를 개발하는 것은 여전히 어려운 과제였다.

2. 연구내용

본 연구팀은 언어적, 비언어적 표현 데이터를 결합하여 종합적인 감정 정보를 효율적으로 활용하는 멀티모달 인간 감정 인식 시스템을 개발하였다. 이 시스템은 자가발전, 유연성, 신축성, 투명성을 갖춘 개인 맞춤형 피부 통합 얼굴 인터페이스(PSiFI) 시스템으로 구성되며, 최초로 언어 및 비언어적 표정 데이터를 감지하고 결합할 수 있는 양방향 마찰대전 (Triboelectrification)기반 변형 및 진동 센서를 제작했다.

연구진은 개발된 감정인식 시스템을 실제 상황에서 활용하는 예시로서 무선 데이터 전송을 위한 데이터 처리 회로 및 합성곱 신경망 (Convolution neural network)기반 머신러닝 및 전이 학습을 통해 사용자가 바뀌어도 몇 번의 훈련만으로 쉽게 학습이 가능하고, 심지어 마스크를 착용한 상태에서도 80퍼센트의 높은 정확도를 보여줌으로써 성공적으로 실시간 감정인식 데모를 시연했다.

또한, 인식한 감정을 활용하여 여러 가상현실 (Virtual reality) 환경 (스마트홈, 영화 추천, 스마트 오피스)에서의 상호작용을 보여주며, 디지털 컨시어지 (Digital concierge)로써의 응용이 가능하다는 것을 보여줬다.

3. 기대효과

본 연구에서 개발한 인간 감정 인식 시스템은 기존의 복잡한 분석장치를 요구하던 감정인식 분석방법의 한계를 뛰어넘어 실시간으로 다양한 감정관련 표현 데이터를 결합하여 높은 감정 인식 정확도를 보여주는 획기적인 기술이다. 이 기술은 외부 전원을 필요로 하지 않으며, 개인 맞춤화가 가능하여 휴대용 장치에 적용 될 수 있을 뿐만 아니라, 기계와 사람의 상호작용을 더욱 효과적으로 하는데 더 크게 이바지할 것으로 기대된다.

[붙임] 용어설명

1. 인간-기계 상호작용 (Human-machine interface)

사람과 자동화된 시스템이 서로 어떻게 상호작용하고 소통하는가에 대한 모든 것을 나타낸다.

2. 마찰대전 (Triboelectrification)

두 물체가 접촉 후 분리 되었을때, 두 물체의 표면이 각각 양과 음의 전하로 대전되는 현상을 말한다.

3. 합성곱 기반 신경망 (CNN, Convolution neural network)

시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류를 말한다.

4. 가상현실 (VR, Virtual reality)

컴퓨터 시스템 등을 사용해 인공적인 기술로 만들어 낸, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다.

5. 디지털 컨시어지 (Digital concierge)

디지털 환경 안에서 고객 맞춤 서비스를 제공하는 것을 말한다.

[붙임] 그림설명

그림1. 멀티모달 정보 기반 개인 맞춤형 감정 인식 무선 안면 인터페이스 개념도

(a) 개인 맞춤형 무선 안면 인터페이스 제작 및 머신러닝을 통한 멀티모달 기반 감정인식 과정 모식도와 (b) 마찰대전 기반 멀티모달 센싱 작동 원리. (c) 마찰대전센서 소자 구성도 및 (d) 구성 재료별 미세구조 모습.

그림2. 변형 센서 소자의 작동 원리 및 분석

(a) 변형센서 소자 적용 모식도와 소자의 (b) 늘림/수축 두가지 모드별 센서 발전 원리 및 (c) 출력 신호. (d) 변형 센서 특성 분석 시험 셋업 사진 및 (e) 늘림/ (f) 수축 모드별 변형률에 따른 출력 그래프. (g) 다양한 진동수별 외부 변형에 따른 반응 시간 측정 그래프. (h) 진동수별 변형 센서 출력 신호. (i) 최대 3000 횟수동안의 기계적 내구성 시험 결과.

그림3. 진동 센서 소자의 작동 원리 및 분석

(a) 진동센서 소자 적용 모식도와 소자의 (b) 진동 센서 발전 원리 및 (c) 효과적 센싱을 위한 음향 구멍 패턴. (d) 다양한 음향 구멍 면적별 진동수에 따른 출력 그래프 비교. (e) 100 헤르츠에서의 다양한 음향 구멍 면적을 가진 소자 출력 비교. (e.f) 100 헤르츠에서 지지대 두께 및 음향 구멍 개수에 따른 진동센서 소자의 출력 비교. (h) 음향 구멍 유무에 따른 진동 가속도별 진동센서 소자의 출력 전압 비교.

그림4. 실시간 감정 스피치 인식

(a) 마찰대전기반 변형 및 진동센서를 포함하는 피부통합형 안면 인터페이스 소자 실제 사진 (b) 소자 실착용 전·측면 사진 (c) 무선 센싱 데이터 전달을 위한 셋업 모식도 (d) 다양한 감정 표현시 안면근 움직임과 성대 진동을 다채널 멀티모달 센싱한 데이터. (e) 인공지능 기반 감정 분류 및 전이 학습을 통한 개인화 과정 모식도. (f) 감정표현에 따른 안면근 움직임 및 성대 진동 데이터 패턴 감정 인식 정확도 그래프 및 실시간 감정 인식 과정 사진

그림5. 감정인식 인터페이스 기반 VR 환경 디지털 컨시어지 데모

(a) 개인 맞춤별 감정 인식을 통한 인간-기계 상호작용 모식도 (b) 개인화된 감정 인식 인터페이스 기반 VR 응용 예시 (c) 감정인식 인터페이스 기반 VR 환경 디지털 컨시어지 데모 예시

UNIST 홍보팀 news@unist.ac.kr

TEL : 052)217-1230FAX : 052)217-1229