“일본팀 전부 꺾고 우승했을 땐 정말 짜릿했어요. 우리가 만든 ‘인공지능(AI) 컬링 프로그램’에 대한 자신감도 생겼고요. 앞으로 컬링 발전에 기여하는 기술이 됐으면 좋겠습니다.”
전기전자컴퓨터공학부의 최재식 교수와 김솔아, 이교운 대학원생이 개발한 AI 컬링 프로그램이 일본에서 열린 ‘디지털 컬링 대회’에서 우승했다. 디지털 컬링 대회는 AI 프로그램이 컴퓨터 공간에서 컬링 경기를 치르는 게임이다. 이 대회는 일본에서 열리는 ‘게임 인공지능 토너먼트(Game AI Tournaments@UEC, GAT)’의 한 종목으로 매년 3월 개최된다.
올해 대회에는 최재식 교수팀과 일본팀 5곳이 참가했다. 최 교수팀은 7승 3패로 공동 1위에 올랐고, 플레이오프 게임에서 2승을 추가해 최종 1위에 올랐다. 김솔아 학생은 “플레이오프 게임에서 승부를 벌인 3개 팀이 승률이 높기로 유명한 AI 컬링 프로그램”이라며 “일본보다 늦게 개발하기 시작한 AI 프로그램이지만 성능만큼은 세계 수준임을 입증해 뿌듯하다”고 소감을 말했다.
정책망과 가치망이 융합된 딥 러닝
컬링은 상대를 파악하고 복잡한 전략을 세워 정교하게 수행하는 경기라 ‘빙판 위의 체스’라고도 불린다. 최적의 전략을 세워야 한다는 점에서는 바둑과 유사한데, 실제로 전략을 세우는 건 훨씬 복잡하다. 빙판 위 스톤(stone)이 위치할 경우의 수가 무한대에 가깝고, 스톤 충돌이나 빙질에 따른 불확실성, 경기수행능력 등 변수가 다양해서다.
최 교수팀은 AI 컬링 프로그램에 알파고(AlphaGo)의 자가학습 딥 러닝(Deep Learning) 기술과 연속공간을 효과적으로 탐색하는 커널 회귀(Kernel Regression) 기법을 적용해 스스로 이기는 전략을 수립하도록 만들었다.
자가학습 딥 러닝은 경기 상황에서 유리한 투구 위치를 예측하는 네트워크(정책망)과 현재 상황에서 승률을 예측하는 네트워크(가치망)을 하나로 결합해 학습 속도와 성능을 최대화한다. 또 커널 회귀 기법은 기존 탐색정보를 사용해 적은 수만 고려해도 최적의 전략을 찾아낼 수 있게 한다. 이를 기반으로 약 16만 투구 데이터를 초기학습에 이용했고, 이후 스스로 생성한 약 450만 투구 데이터를 통해 강화학습했다.
디지털 컬링 대회에서 활용하는 컬링 시뮬레이터 장면_양팀이 번갈에 스톤을 던지며 정교한 전략에 따라 게임을 펼친다.
이교운 학생은 “컴퓨터상에서 벌어지는 게임이라 현실에서 사람과 컬링 경기를 할 때와 조금 차이는 있다”면서도 “기존 전략들을 학습해 최적의 전략을 짜내는 알고리즘은 컬링 선수들의 훈련이나 전략 수립에 도움이 될 것”이라고 설명했다.
한편 디지털 컬링대회는 2015년 3월 일본 전기통신대학(UEC)에서 처음 시작해 올해 4회를 맞았다. AI 프로그램이 경기를 펼치는 가상의 컬링경기장은 UEC에서 개발한 시뮬레이터를 활용한다.
이 시뮬레이터는 컬링 경기에서 발생할 수 있는 환경변수를 적용한 컬링경기장을 꾸리며, 여기서 AI 컬링 대회가 진행된다. 2016년부터 UEC가 새로 마련한 GAT의 공식 종목으로 편성됐다.
이밖에 AI 컬링 프로그램이 실력을 가리는 대회는 2015년 9월에 열렸던 ‘IEEE-CIG 2015 Mini Competition’과 일본의 ‘게임 플레잉 워크숍(Game Playing Workshop, GPW)’에서 2015년부터 치러지는 경기가 있다.
최재식 교수팀은 2017년 11월 10일에 열린 ‘2017 GPW’에서도 2종류의 AI 컬링 프로그램을 참가시켜 우승했다.
Mini Interview 김솔아, 이교운 학생은 과학기술정보통신부가 지원하는 고려대학교 주관 AI 컬링로봇 컨소시엄에서도 활동하고 있다. 두 학생에게 인공지능 기술에 도전하게 된 계기와 AI 컬링 소프트웨어 개발에 대해 들었다.
Q1. 지난 3월 8일 열린 ‘인간–로봇 컬링 대결’에도 참관한 것으로 압니다. 고려대학교 주관 AI 컬링로봇 컨소시엄에서도 활동한다고 들었는데, 여기에서 어떤 부분을 담당하고 있나요?
김솔아: ‘AI 컬링로봇’을 개발하기 위한 고려대학교 컨소시엄 사업에는 고려대와 UNIST·DGIST·엔티로봇 등 국내 8개 연구기관·중소기업이 참여하고 있어요. 이 컨소시엄의 목표는 ‘경기 전략을 수립하고 경기 수행이 가능한 인공지능 컬링 로봇 기술 개발’인데요. 저희는 최적의 경기 전략을 수립하는 소프트웨어를 연구하고 개발하는 역할을 담당하고 있습니다. 또한, 이를 이용해서 자동보고서를 생성하여 최종적으로는 선수들의 훈련에 이용할 수 있는 어플리케이션 개발을 담당하고 있습니다.
Q2. 이 프로젝트 시작이 2017년 4월이라고 들었는데요. 여기에 참여하게 된 계기가 있을까요?
이교운: 원래 게임 AI를 만들고 싶었어요. 음악을 작곡하는 AI에도 관심이 많았고요. 그런데 컬링도 일종의 게임이잖아요. 컬링 경기를 운영하는 전략을 세우는 소프트웨러를 만들어보면 재미있을 것 같아서 지원했습니다.
김솔아: AI 기술에 관심이 많아서 최재식 교수님의 연구실에 지원했어요. 연구실에서 스마트폰 게임을 하는 AI 로봇을 만든 적이 있는데요. 그때 소프트웨어를 만들어서 로봇에 적용하는 게 재밌었습니다. 알파고는 컴퓨터 안에서만 바둑을 두지만, 컬링 로봇은 현실 세계로 나와서 움직이는 것까지 해야 해요. AI 기술이 진화하는 모습을 옆에서 볼 수 있어서 좋을 것 같았습니다.
Q3. AI 컬링 프로그램을 만들면서 어려웠던 점은 없었나요?
이교운: 저희 프로그램은 시뮬레이터 안에서 작동하는데요. 바둑처럼 돌을 놓는 위치가 정해진 게 아니라서 경우의 수가 훨씬 많고 복잡합니다. 또 실제 컬링 경기장처럼 얼음의 마찰력이나 상대방 스톤의 위치, 빙질 등 고려할 사항이 많아서 프로그램 짜기가 까다로웠어요. 시뮬레이터는 일본에서 개발한 것을 사용하는데, 불확실성을 고려하기 때문에 우리 프로그램이 던진 스톤이 의도대로 움직이지 않을 수도 있어요.
김솔아: 실제 로봇에 AI 컬링 프로그램을 적용하는 건 훨씬 더 까다로웠어요. 3월 8일 대회에는 고려대에서 개발한 프로그램이 적용된 로봇이 경기를 치렀는데요. 시뮬레이터에서보다 훨씬 느리고 불확실성도 커졌어요. 실제로 AI 기술을 현실에 가져오려면 정말 많은 것들을 고려해야 할 것 같다는 생각이 들었습니다.
AI 컬링 프로그램을 개발해낸 UNIST 컴퓨터공학과의 이교운 학생과 김솔아 학생(왼쪽부터). | 사진: 김경채
Q4. 디지털 컬링대회는 조금 생소한 것 같습니다. 이런 대회들이 많이 있나요? 또 여기는 어떻게 참여하게 됐나요?
이교운: 게임을 통해서 AI 기술을 발전시키려는 시도는 오래 전부터 있어 왔습니다. 대표적인 사례가 알파고이고, 이전에는 체스도 있어요. 일본에서 열리는 ‘게임 AI 토너먼트’는 약 4년 정도의 역사를 가지는데요. AI로 컬링 경기를 치르는 대회도 역사가 짧은 편입니다. 이 대회에서는 실제로 컬링 경기를 할 수는 없지만 전략을 세우는 알고리즘의 성능을 살펴볼 수 는 있어요. 여기서는 스위핑을 고려하지는 않고 전략에만 집중하는데요. 저희가 만든 소프트웨어가 어느정도 수준인지 파악하려고 컨소시엄에서 함께 연구하는 기관인 고려대와 함께 이 대회에 참여하게 됐습니다.
김솔아: 이번 대회에는 저희를 포함해서 총 6팀이 참가했는데요. 일본에서는 AI 컬링만 연구하는 팀도 있었습니다. 세 팀이 모두 7승 3패를 해서 플레이오프 경기에 들어갔는데, 두 게임을 모두 이겨서 우승했어요. 일본에서 열린 경기에서 일본팀 5곳을 꺾고 우승한 거예요. 정말 기뻤습니다.
Q5. 컬링 AI는 어떻게 전략을 짜게 되는 건가요?
이교운: 컬링 대회에는 대회 상황을 기록한 기록지가 있어요. 바둑의 기보처럼요. 고려대학교가 기록지의 데이터를 데이터화 하여 학습의 기초 데이터가 될 수 있도록 제공해주었습니다. 이 기보 데이터를 바탕으로 컬링 AI를 학습시키고, 더 나아가 스스로 경기 내용을 생성해 강화 학습을 하는 방식으로 AI가 완성됩니다. 이렇게 만들어진 AI 컬링 프로그램은 최적의 전략을 세울 수 있는데요. 이걸 이용하면 컬링 선수를 훈련시키거나, 샷의 정확도를 분석하는 등으로 사용할 수 있을 거예요. 데이터를 기반으로 선수에 대해 피드백을 하면 실력도 빠르게 늘 수 있지 않을까요?
Q6. 앞으로도 AI 기술을 연구하실 것 같은데요. AI 기술로 어떤 것을 이루고 싶은지요?
김솔아: 인공지능이 사람의 일자리를 뺏는다는 이야기가 많잖아요. 근데 저는 반대로 AI가 사람의 생활을 윤택하게 만들 거라고 생각해요. AI 기술을 계속 발전시켜서 사람을 돕게 만드는 게 제가 하고 싶은 일입니다. 인간과 로봇을 대결 구도로만 바라보지 말고 우리에게 도움이 되는 방향으로 활용해야 한다고 생각합니다. AI가 내놓는 다양한 자동보고서도 그런 프로젝트들이고요. 또 AI가 적용된 로봇은 위험한 재난 현장이나 극한 환경인 우주 등을 탐사할 수 있을 거예요. 이번 프로젝트에 참여하면서 로봇에 AI를 적용하는 게 까다롭다는 걸 체험했는데요, 앞으로 그런 부분을 발전시켜서 사람이 할 수 있는 영역을 넓히면 좋을 것 같습니다.
이교운: 조금 다른 맥락일지 모르겠지만, 저는 가족들과 시간을 보내는 게 중요하다고 생각해요. 그런데 사회가 빠르게 변하면서 그런 시간 갖기가 어려워지고 있어요. 이 부분을 AI가 채울 수 있다고 생각합니다. 자율주행자동차가 상용화되면 사람들은 운전하는 대신 다른 업무를 처리할 수 있게 되는 것처럼요. 사람을 대신해주는 인공지능 기술은 여유를 만들고, 소중한 사람과 함께 하는 시간을 늘리게 될 것이에요. 앞으로도 현실세계를 반영한 모델이나 알고리즘을 개발해 실제에 적용하면서 AI 기술 발전을 돕고 싶습니다.
