지난 3월 11일, 알파고가 이세돌 9단에게 2연승을 한 다음날이었다. 인공지능의 현재를 본 사람들은 충격을 넘어 실의에 빠졌고, 당장이라도 인공지능이 일자리를 앗아갈 것이라는 낭설이 파다했다. 그날 기자는 남범석 UNIST 전기전자컴퓨터공학부 교수를 만나기 위해 울산으로 향했다.
빅데이터의 경제성에 슈퍼컴퓨터의 속도를 합치면?
새롭게 등장한 알파고는 다섯 달 전보다도 훨씬 놀라운 모습이었다. 매일 3만 판, 한 달에 100만 판에 이르는 ‘셀프대국’으로 단시간에 기량을 끌어올렸다. 딥러닝이 가장 화제였지만, 이런 학습속도를 달성하기 위해선 그전에 이뤄져야 할 것이 있다. 방대한 양의 데이터를 저장하고 처리하는 데이터집약형 컴퓨팅(Data-intensive Computing)이다.
컴퓨터가 등장한 이후, 점점 더 큰 용량을 처리하기 위한 기술 개발이 필수가 됐다. 현재 ‘대세’가 된 빅데이터 또한 데이터 처리 기술을 빼놓고 얘기할 수 없다. 기존 슈퍼컴퓨터로 대용량의 데이터를 처리하는 초고성능 컴퓨팅(HPC) 분야의 기술은 고가의 운용비 탓에 연구목적으로만 사용되고 있었다.
남범석 교수가 효과적인 빅데이터 처리 기술에 대해 소개하고 있다. 그는 분산-병렬 시스템으로 수많은 데이터에서 의미 있는 정보를 뽑아내는 기술을 연구 중이다. | 사진: 아자스튜디오 남승준
이에 2004년 야후에서 ‘하둡(Hadoop)’이라는 소프트웨어를 개발했다. 하둡은 고가의 병렬파일 시스템이 아닌 분산파일 시스템을 도입해 속도는 낮지만 저비용으로 데이터를 처리할 수 있는 소프트웨어였다.
고객들의 생각을 읽고 싶은 기업들에겐 안성맞춤이었다. 파급력은 대단했다. 그렇게 빅데이터라는 분야가 탄생했다.
처음에는 슈퍼컴퓨터를 기반으로 한 기존의 데이터 처리 방법과 빅데이터 기술에 차이가 별로 없었다. 여러 개의 장치에 데이터를 나눠 저장하는데, 이때 얼마의 크기로 자를지, 이를 처리할 서버를 어떻게 선택할지 정도가 다를 뿐이었다.
그런데 발전을 거듭하면서 이제는 서로 호환이 어려울 만큼 각각 다른 분야로 갈라섰고, 자신들만의 생태계를 갖추게 됐다.
‘각자의 길’이 너무 달라서일까. 대규모의 데이터를 처리한다는 공통점에도 불구하고, 초고성능 컴퓨팅 분야의 장점인 빠른 속도와 빅데이터 분야의 장점인 저비용을 동시에 살리지 못하는 상황이 됐다. 남 교수는 둘의 장점을 절충해 빅데이터 방식을 처음부터 뜯어 고쳐나갔다.
“수십 MB의 큰 덩어리로 데이터를 저장하는 빅데이터의 분산파일 시스템 특징은 최대한 유지하되, 빠른 속도로 데이터를 처리하기 위해 분산 메모리를 활용하는 새로운 빅데이터 처리시스템을 만들었습니다. 작년의 일이었죠.”
새로운 도전의 첫 발
지난 11월, 남 교수는 새로 만든 분산-병렬 시스템을 들고 미국으로 향했다. UNIST는 2015년에 미국 UC버클리에 위성 캠퍼스를 세웠는데 여기에 남 교수가 1호 교수로 미국에 상주하며 창업을 한 것이다.
그런데 업체들과 만나보니 문제가 있었다. 성능은 인정받았지만, 대규모 데이터 센터에서 검증받은 적이 없다는 점이 발목을 잡았다. 수천 개의 서버를 운용하다 보면 일부 서버가 다운되는 현상이 자주 일어나는데, 이런 상황에도 소프트웨어는 기능을 유지해야 했다. 남 교수도 안정성에 중점을 두고 설계했지만, 수천 개의 서버에서 직접 검증할 기회는 없었다. 많아야 40개의 서버에서 테스트해 본 것이 다였다.
남 교수는 “안정성을 검증해 봤느냐는 질문에 제대로 답변하지 못해 아쉽다”며 “시험 운용해 볼 수 있는 대규모 데이터 센터를 찾아 안정성을 검증하거나 오픈소스로 코드를 공개해 신뢰를 쌓는 방법을 검토 중”이라고 말했다.
남 교수는 얼마 전 대학 강의를 위해 귀국했지만, 계속해서 테스트를 하고 있다. 그가 포기하지 않고 그 끈을 이어가는 이유는 그의 소프트웨어에 자신이 있기 때문이다. 남 교수의 도전은 진행형이다.
[연구실 人사이드] 다양한 경험이 키우는 큰 꿈
남범석 교수팀의 모습이다. 남 교수는 학생들에게 넓은 세계를 경험하라고 조언했다. | 사진: 아자스튜디오 남승준
남범석 교수는 학생들에게 다양한 경험을 권하는 데 그치지 않고 물심양면의 ‘지원’을 아끼지 않는다. 작년 미국에 갈 땐 연구비를 쪼개 네 명의 대학원생을 더 데려가 창업 전선을 경험하게 했으며, 학부생들을 직접 이끌고 세계 슈퍼컴퓨팅 대회에 참가하기도 했다. 세계 대회 때 학생들이 3000만 원어치의 메모리를 분실했다가 되찾기도 하는 등 어려움도 있었지만, 좋은 추억과 함께 그들이 미래 개발자가 되는 데 필요한 훌륭한 경험을 얻었다.
서동준 과학동아 기자 | bios@donga.com
<본 기사는 2016년 5월 ‘과학동아’에 ‘‘새로운 빅데이터 처리 시스템, 제가 만들죠”라는 제목으로 실린 것입니다.>
