[붙임] 연구결과 개요, 용어설명, 그림설명

[연구결과 개요]

1. 연구배경

행동 인식 촉각 시스템은 사람이 장치와 상호 작용하는 방식을 분석하여 객체를 식별하는 기술이다. 예를 들어, 사람이 펜을 쓰거나 터치스크린을 만지는 등 움직이는 속도와 장치에 가하는 압력을 측정하여 알고리즘 분석을 통해 사람을 구분하거나 인증할 수 있다. 사람 개개인의 습관은 고유하므로 행동 데이터는 복제하기 어렵고 이는 도난 및 사기를 방지하는 데 효과적이다. 일반적인 광학 촉각 센서는 수직항력만 측정 가능하고 속도와 같은 평면 내 운동에 대한 정보는 두 개 이상의 연속적인 이미지의 위치 분석을 통해서만 얻을 수 있다. 그러나 결과적으로 나오는 "시간 평균" 속도는 실제 운동의 거동과 다를 수 있으며, 특히 운동의 방향 변화가 연속적인 두 이미지의 측정 시간 사이에 이루어질 경우, (예: 카메라의 초당 프레임(fps)이 더 느릴 경우) 해당 데이터를 신뢰하기 어렵다. 평면 내 운동에 대한 정확한 정보를 위해선 광학 촉각 센서의 "순간" 속도 측정 능력이 요구된다. 순간 속도는 접촉 역학에서 고체-고체 계면에 가해지는 전단력과 관계가 있으므로 수직항력 및 전단력을 모두 순간적으로 측정 가능한 것이 중요하다. 일반적으로 광학 폴리머, 광자 결정, 양자점 및 유기 염료 등이 광학 촉각 센서 제작에 사용되었으나 느린 신호 응답과 감지 한계로 시공간적 분해능이 낮아 힘의 동적 요소를 분해하지 못한다는 한계가 있었다. 이에 필기와 같은 빠른 움직임 분석을 위해 단일 이미지에서 수직 압력 및 전단 마찰력을 빠르고 정량적으로 분해 및 분석할 수 있는 광학 촉각 센서의 필요성이 강조되고 있다.

2. 연구내용 

본 연구팀은 동적 터치 신호의 분리를 위해 피부 촉각 전달 구조체를 모사하여 촉각 센서 패드를 제작하였다. 촉각 센서 패드는 상단의 응력 집중층, 얇은 반사 방지 백금층, 하단의 광학 신호 층으로 구성되어 있으며, 응력 집중층은 인간 피부의 단단한 표피와 부드러운 진피의 물결 모양의 경계면을 모사하였다. Undulation interface라고 일컫는 경계면은 접촉 면적을 늘리고 힘을 국한화하여 증폭시키는 역할을 한다. 이를 모사하기 위해 본 연구팀은 마이크로 돔 구조를 배열하였으며, 하단의 광학 신호 층에도 동일한 구조를 적용하여 전반사를 통한 선택적 신호 감지가 가능하게 하였다. 개발된 촉각 센서 패드는 최소 0.05N의 감지 한계를 가지고, 수직항력과 비례한 발광 강도를 보이며 이미지를 통해 압력 분포를 표현할 수 있다. 또한 5,000회 이상의 높은 안정성과 9.12ms의 빠른 응답 시간을 보였다, 더불어, 전단력 하에 실시간 발광 신호의 변화를 확인하였다. 축대칭으로 관찰되던 신호는 전단력이 가해짐에 따라 비축대칭 타원으로 변형하였으며, 이는 적용되는 속도가 증가함에 따라 비대칭도가 증가하였다. 이는 여러 이미지의 순차적 분석이 필요한 기존 촉각 센서와 달리 비축대칭 발광 프로파일을 통해 전단력의 즉각적인 관찰을 가능하게 했다. 실험을 통해 축적된 데이터를 기반으로 기계학습을 통해 분석을 진행하였다. 발광 강도 프로파일의 중앙값과 평균을 계산하여 얻는 skewness의 개념을 사용하여 수직항력과 전단력을 구분하고 그 크기와 방향을 정량적으로 분석하였다. 더불어, FEA를 이용하여 복합층 계면에서의 힘 전달 경향을 분석 및 시각화하고 딥러닝의 적용을 통해 힘을 가하는 물체가 변화하여도 적용 가능하다는 범용성을 증명하였다. 이렇게 개발된 센서는 고해상도 표면 검사에 적용하여 지문을 포함한 다양한 물체에 대해 최대 100㎛의 분해능을 달성하였다. 또한 기계학습을 기반으로 미세한 점자 패턴을, 센서를 통해 발광 이미지로 변환하고 추출하여 즉시 소리도 변환하는 시스템을 개발하였다. 더불어, 움직임의 방향과 수직항력 및 전단력의 강도 변화를 동시에 시각화할 수 있다는 장점을 이용하여 동적 생체 인식 필체를 구분하는 시스템을 개발하였다. 서로 다른 실험자의 필기 스타일을 분석하고 수직항력 및 전단력 특정과 매칭하여 객체를 효과적으로 분석할 수 있었다. 기존의 필적 인증은 글자 크기, 기울기, 문자 간 간격과 같은 정적인 특징의 일관성에 주로 근거하는 반면, 본 연구 결과는 동적인 움직임 분석에 초점을 맞춘 필적 검증을 통해 혁신성을 증명했다.

3. 기대효과 

본 연구에서 개발한 광학 촉각 센서는 저비용으로 동적 힘 요소를 정량적으로 분석하는 광학 센서로써 고정밀 표면 분석, 다차원 필체 감정 등 촉각 센서뿐만 아니라 스트레스 분석을 가시적으로 표현하는 디스플레이의 성능을 가진다. 향후 실용화 시, 필적 감정, 표면 분석 등에 저비용, 고안정성으로 사용 가능하여 경제 사회적 고부가가치 기술이라 판단된다. 더불어, 기계학습 분석을 통해 가시화된 스트레스의 종류를 분석하는 알고리즘을 이용하여 향후 로봇의 인공지능 학습에 응용될 수 있을 것으로 기대된다.

[용어설명]

1. 수직 압력 (Normal force)

역학에서 두 물체가 접촉할 때, 물체의 표면에 수직으로 작용하는 힘을 말한다. 주로 중력의 영향을 받아 수직 방향으로 작용한다.

2. 마찰 전단력 (Shear force)

전단력은 두 물체가 서로 평행하게 움직이려고 할 때, 접촉면을 따라 작용하는 힘으로 일반적으로 물체가 접촉을 따라 미끄러지거나 변형될 때 발생한다.

3. 상향 변환 희토류 나노 입자 (Upconversion nanocrystal)

낮은 에너지의 빛(주로 적외선)을 흡수하여, 더 높은 에너지의 빛(주로 가시광선)으로 변환 및 발광하는 특성을 가진 무기 나노 입자로, 희토류 이온을 도핑하여 제조된다. 생체 투과 깊이가 깊은 적외선을 사용한다는 점에서 주로 생명 및 의학 분야에서 이미징, 바이오 센서 등의 분야에서 사용된다.

4. Undulation interface

인간 피부의 단단한 표피와 부드러운 진피의 물결 모양의 경계면 모양을 의미하는 말로, 파동과 같이 일정한 모양으로 배열되어 있는 형태이다. 이는 두 층의접촉 면적을 늘리고 힘을 국한화하여 증폭시키는 역할을 한다.

5. 전반사 (Total internal reflection, TIR)

빛이 높은 굴절률의 매질에서 낮은 굴절률의 매질로 진행할 때, 입사각이 임계각보다 클 경우, 빛이 매질 경계에서 완전히 반사되는 현상이다. 이는 광섬유 통신과 같은 기술에서 신호 손실없이 빛을 전송하는데 사용되며, 본 연구에서는 제 3의 물질이 그 경계에 가까이 위치하여 빛의 일부가 투과 및 흡수되는 frustrated TIR을 이용하였다.

6. 기계학습 (Machine learning)

컴퓨터를 통해 별도의 프로그래밍 없이도 데이터를 기반으로 학습하고 패턴을 인식하여 예측을 수행할 수 있도록 하는 기술이다. 데이터 학습에 따라 알고리즘을 형성하고 그에 따라 의사결정을 내리거나 예측을 수행하는 능력을 갖춘다.

[그림설명]

그림1. 인간 피부 감각 기관 모사 광학 촉각 센서

(a) 마이크로 돔으로 패턴화된 PDMS와 상호작용하는 TPU로 구정된 응력 집중층, 얇은 Pt층, 마이크로돔 배열을 포함하는 신호 발광층으로 구성된 광학 촉각 센서 패드의 모식도 (b) 적용된 힘에 따른 마이크로돔과 전반사 프리즘 사이의 접촉 면적 변화에 따른 상향 변환 발광 생성 원리 (c) 정적 수직항력(축대칭 발광) 및 (d) 동적 전단력(비축대칭 발광) 하의 발광 강도 프로파일 (e) 기계학습 기반 단일 이미지 프레임에서 수직항력과 전단력 분리 모식도

그림2. 수직항력의 정량적 측정과 방향 및 속도 정보를 포함한 비축대칭 발광

(a) 촉각 센서 패드에 수직항력을 가했을 때의 축대칭 발광 이미지(위)와 압력 분포 프로파일(아래) (b) 0에서 5.0N까지 수직항력이 증가함에 따라 촉각 센서 패드의 중앙 영역에서 측정된 발광 강도 (c) 5,000회 동안 5.0N의 수직항력을 받은 센서의 발광 강도에 대한 반복 안정성 테스트 (d) 촉각 센서의 응답시간 (e) 인덴터의 속도 변화에 따른 발광 이미지(왼쪽), 압력 분포 프로파일(오른쪽), 발광 강도 스펙트럼(아래) (f) 서로 다른 8개의 방향을 이동함에 따른 발광 이미지(왼쪽)과 압력 분포 이미지(오른쪽)

그림3. 단일 이미지 프레임 내에서 기계학습 기반 힘 분리 시스템 프로세스 흐름도

(a) 동전 전단력에 따른 발광 이미지(위)와 압력 분포 프로파일(아래) (b) 힘 분리를 위한 특징 표준 임계값 추정 프로세스, 수직항력 영역을 추출하고 전단력 영역과 구분하는데 사용함. (c) 프로세스에 따라 분리된 수직항력(왼쪽)과 전단력(오른쪽)의 발광 이미지(위)와 압력 분포 프로파일(아래) (d) 비축대칭 발광 신호의 단일 프레임에서 실시간 분리 데이터 화면

그림4. 고해상도의 광학 촉각 인식 및 필적 감정을 통한 행동 생체 인식

(a) 알파벳의 촉각 인식 (b) 높은 시공간적 촉각 인식을 보이는 지문의 광학 이미지(왼쪽) 및 발광 이미지(오른쪽) (c) 점자점 특징 추출 및 Hellow World 문장을 사용한 문자-음성 변환 시스템 테스트 (d) 발광 프로파일에서 추출한 수직항력과 전단력에 대한 기계학습 기반 필체 구별 과정의 개략도 (e) 추출된 특징의 조합에 따라 세 명의 개인의 특징을 구분됨을 나타내는 지표