^*인공신경망: 인공지능의 한 종류. 인간의 신경을 흉내낸 머신러닝 기법

^*상변화 메모리: 물질의 상(phase)이 결정상과 비결정질을 오가는 것을 이용해 정보를 저장하는 메모리. 비결정질 상태에서 시간이 지남에 따라 전기저항이 증가하는 저항드리프트 현상이 있다.

^*멤리스터(Memrister): 메모리(기억)와 레지스터(저항)의 합성어로, 기존 0 또는 1 디지털 정보만 저장하는 대신 다양한 아날로그 저항 값을 저장할 수 있어 뇌신경 시스템의 구성요소인 시냅스(synapse)를 구현할 수 있는 메모리 소자이다.

^*의사결정 확정도: 어떤 상황을 인지하고 어떻게 행동을 해야 할지 결정하는 과정인 의사결정 과정 중 결정된 행동을 얼마나 신뢰할만한지(확정도) 판단할 수 있어야 잘못된 행동을 최소화할 수 있다. 동물실험에서는 결정 상황의 난이도에 따라 차별화된 뇌 활성도를 보이는데, 쉬운 결정이 맞거나 틀렸을 경우의 뇌 활성도 차이가 어려운 결정에 비해 더 크게 나타난다.

[붙임] 연구결과 개요

1. 연구배경

구글 딥마인드의 알파고로 대표되는 소프트웨어 기반 인공신경망 기술은 컴퓨팅 파워의 발전으로 큰 성과를 나타내고 있지만, 인간의 뇌와 비교하였을 때 전력소모가 매우 크고 매우 비효율적이기 때문에 활용성이 제한된다.

하드웨어 기반 인공신경망1) 구현은 효율성을 높여줄 것으로 기대되지만, 아직 칩 제작 규모를 늘리고 있는 수준으로 기술격차가 매우 크다. 가장 큰 이유는 소자의 불완전성 때문에 수학적 모델이 요구하는 수준의 정밀도나 연산 정확도를 기대하기 힘들다. 이 때문에 현재 하드웨어 기반 인공신경망 기술은 소자 불완전성이 성능에 미치는 영향을 파악하거나, 완화시키려는 방향으로 연구가 진행되어 왔다.

뉴로모픽 소자2)나 시냅스 소자3)로 많이 연구되어온 상변화 메모리(P-RAM)4) 또한 외부요인 없이도 시간에 따라 저항이 증가하는 저항드리프트5)라는 특유의 불완전성이 존재한다.

2. 연구내용

연구팀은 효율성을 극대화하기 위해 분산컴퓨팅6) 환경에서 1비트 동작을 하는 상변화메모리 기반 인공신경망을 상정하였다. 1기가비트 39나노미터 기술이 적용된 PCM 웨이퍼에서 100 개 이상의 메모리소자에 대해서 스위칭 동작 및 저항드리프트 데이터를 수집한 뒤 20만개 이상의 저장소를 갖는 상변화소자 기반 인공신경망 앙상블을 구축하였다.

손글씨 데이터셋에 대해서 기본 on/off 저항 산포에 의해 분류 정확도가 약 90% 였으나, 저항드리프트를 학습에 도입한 경우 3% 수준의 향상 확인하였다. (이것은 수학적 모델에서 요구되는 on/off 저항 산포가 0에 가까운 수준) 추가적인 소자 동작이나 에너지 소모없이 정확도가 상승되는 효과 이외에 학습 데이터의 난이도에 따른 차등적인 저장소 업데이트 현상을 확인하였고, 이는 실험쥐가 의사판단을 내릴 때 갖게 되는 의사결정 확정도이라는 메타인지7) 능력과 유사하다.

3. 기대효과

기존의 소자 불완전성이라는 단점을 학습에 활용하려는 시도는 하드웨어 인공신경망 기술의 기술 격차를 다양한 방법으로 줄일 수 있는 새로운 가능성을 제시한다. 에너지 소모 없이 학습 능력을 향상시킬 수 있으며, 더 나아가 기존 소프트웨어적으로는 매우 높은 계산비용을 갖는 고차원의 인지 능력을 구현할 수 있는 잠재성을 보여주었다. 소재(물성)-인공신경망-뇌신경과학의 융합으로 이루어지는 초다학제 인공일반지능8) 기술 개발을 촉발시킬 것으로 기대된다.

[붙임] 용어설명

1. 인공신경망 (artificial neural network)

인공신경망은 뉴런-시냅스로 구성된 뇌신경망을 모사하여 노드-웨이트로 구성된 네트워크 구조를 말하고, 인공신경망에서의 학습은 뉴런간의 연결강도를 나타내는 시냅스 가소성과 유사하게 웨이트를 목적함수에 대해 최적화시키는 과정으로 정의된다.

2. 뉴로모픽 소자 (neuromorphic device)

뉴로모픽 소자는 뇌신경을 구성하는 단위인 뉴런(neuron)의 기능을 모사하는 소자를 뜻한다. 주로 뉴럴스파이킹(neural spiking) 이라 일컫는 전기적 펄스 신호를 구현하거나 뉴럴스파이크에 의한 시냅스 가소성 (synaptic plasticity)을 구현하는 소자를 가르킨다. 대표적으로 스파이크의 빈도 (spike-rate dependent plasticity) 또는 스파이크 간의 시간차 (spike-time dependent plasticity)에 의존하는 방법들이 있다. 

3. 시냅스 소자 (synapse device)

시냅스는 뇌신경을 구성하는 뉴런과 뉴런 사이의 연결부위를 말하며, 뉴럴스파이크에 의해 연결성이 강해져 전기적 펄스 신호를 잘 전달하거나 연결성이 약해져 전기적 펄스 신호를 잘 전달하지 못하도록 하는 기능을 한다. 시냅스 소자는 외부 요인(전기적, 광학적, 역학적 자극 등)에 의하여 전기전도도를 조절할 수 있는 소자를 뜻한다. 

4. 상변화메모리 (phase-change memory)

상변화라는 물리화학적 과정에 따라 뚜렷이 구별되는 두가지 물성을 갖는 물질을 이용한 메모리소자를 뜻한다. 대표적 물질은 Ge-Sb-Te 화합물로 2:2:5의 조성을 갖는다. 규칙적 배열을 갖는 결정상은 면심입방구조(face centered cubic)를 갖으며 상대적으로 낮은 전기저항, 높은 광반사율을 보이고, 반대로 비결정상은 상대적으로 높은 전기저항, 낮은 광반사율을 보여서 1비트의 메모리소자 또는 광매체에 사용된다. 

5. 저항드리프트 (resistance drift)

상변화물질이 비결정 상태에서 외부요인 없이 시간이 지남에 따라 저항이 증가하는 현상을 가리킨다. 다양한 실험적 이론적 설명이 제시되었지만, 공통적으로는 비결정상 내에 잔존하는 결정상태의 미세한 변화와 관련성이 있는 것으로 이해되고 있다. 

6. 분산컴퓨팅 (distributed computing)

인공신경망에서 분산컴퓨팅은 인공신경망 학습에 필요한 고성능의 컴퓨팅자원을 중앙의 소수의 서버에 배치시키고, 다수의 분산된 워커에서는 입력데이터에 따른 결과값만 도출하는 간단한 연산에만 사용함으로써 효과적인 컴퓨팅 자원 배분을 가능하게 하는 컴퓨팅 시스템을 말한다. 

7. 메타인지 (metacongnition)

무엇인가를 인지하는 것 자체에 대해 인지하는 것을 의미하며 대표적인 고차원의 인지능력 중의 하나이고 인공신경망 기술에서 메타학습과 더불어 학습 및 추론 성능을 향상시키기 위하여 다양한 방법론이 연구되고 있다.

8. 인공일반지능 (artificial general intelligence)

인공지능이 어떤 특정 과업에 대해서 인간의 지능에 가까운 능력을 나타내는 것이라면, 인공일반지능은 지능이 요구되는 일반적인 상황에 대해서 인간의 지능에 가까운 능력을 갖춘 것을 의미한다.

[붙임] 그림설명

그림1. 상변화메모리(P-RAM) 소자 및 저항변화 특성 확보. (a) 39nm 기술이 적용된 1Gbit P-RAM 어레이. (b) 어레이 및 소자 단면 고해상도 투과전자현미경 이미지. (c) 소자 동작 조건 및 저항변화 결과로 P-RAM 의 on/off 저항값의 산포 및 저항드리프트(resistance drift)를 나타냄.

그림2 상변화메모리(P-RAM) 소자 구성된 인공신경망 구축. (a) 저항값 산포 및 저항드리프트 결과로부터 통계치 추출. (b) 통계치로부터 많은 양의 P-RAM 소자로 이루어진 인공신경망 앙상블 생성. (c) 인공신경망의 시냅스 갱신은 P-RAM 소자의 동작과 1:1 대응되어 (a)에서 묘사되는 불완벽성이 인공신경망 학습에 그대로 반영됨.

그림3. P-RAM 저항드리프트에 의한 기존 학습과정과의 차별성. (a) 학습과정 분석을 위해 사용된 간단한 인공신경망 모델. (b) 저항드리프트가 없을 때, 있지만 시냅스 갱신값이 커지는 경우, 시냅스 갱신 값이 작아지는 경우를 간략한 예제를 통해서 비교한 결과. 저항드리프트가 포함된 인공신경망은 기존 방식과 마찬가지로 손실을 최소화하는 방향으로 각 P-RAM 소자의 저항드리프트 값이 변화하게 됨.

그림4. 학습 결과 및 해석. (a) 손글씨 분류 결과가 저항 on/off 산포만 있는 결과에 비해 3% 정도 향상됨. (b) PCM 소자의 저항드리프트가 발생되는 패턴은 숫자 분류 난이도가 높은 숫자 ‘8’ 과 숫자 ‘1’ 사이에서 매우 두드러지는 차이를 보인다. 내부적으로 더 쉬운 숫자를 틀렸을 때 시냅스 소자 갱신이 활발하게 나타나는데 반해 정확도는 더 어려운 숫자에서 크게 향상됨.