류경석 서울대 수리과학부 교수 인터뷰...칼텍·스탠퍼드대·UCLA 출신
보다 빠르고 효율적인 딥러닝 학습 위한 최적화 연구에 주력
비지도 학습 최적화 방법 최초 제시·ML 훈련 가속 원리 밝혀
인공지능(AI)을 깊게 이해하기 위해서는 수학이 필수라고들 말한다. AI 기업 대표부터 대학 교수까지 이상적인 AI 연구자가 갖춰야 할 핵심 소양 중 하나로 수학을 꼽는다.
인간 역사 속 최초의 AI 연구자인 앨런 튜링도 수학자다. 20세기 초중반에는 확실히 AI를 연구하는 수학자들이 많았다. 반면 딥러닝 부흥 이후, 특히 빅테크 기업들이 AI 모델 크기를 키우는 규모의 경쟁을 시작하면서 수학자들의 역할은 많이 줄어들었다.
하지만 방대한 데이터와 컴퓨팅 비용을 언제까지고 무한히 들일 수는 없는 법이다. 딥러닝의 한계점을 극복할 방법에 학계와 기업이 주목하게 되면서 수학을 활용한 AI 연구가 다시 떠오르고 있다.
12월 6일(현지시간) 열리는 세계 최고 AI 학술대회 'NeurIPS 2021'에 우리나라 수학자의 AI 연구 논문이 채택돼 화제다. 류경석 서울대 수리과학부 교수가 그 주인공이다. AI 연구자들에게도 NeurIPS에 논문을 발표할 기회는 쉽게 주어지지 않는 만큼 주목할 만한 성과다.
NeurIPS 이전에는 또 다른 대표적인 국제 AI 학술대회인 'ICML 2021'에 2개 논문이 채택됐다. 이 중 한 편은 상위 4.6% 성적을 의미하는 롱톡(Long Talk)에 초대됐다.
수학자들의 딥러닝 연구는 2018년부터 부흥기
류경석 교수가 서울대 수리과학부 교수로 한국에 온 것은 2020년 3월. 서울대에 오기 전 류 교수는 다양한 미국 명문대를 거쳤다.
학부 시절은 칼텍(Caltech)에서 물리학과 전자공학을 공부하며 보냈다. 이후 석박사 과정은 스탠퍼드대에서 지냈다. 석사 전공은 통계학, 박사의 경우 응용수학이었다. 포스닥(박사 후 연구원)은 UCLA 수학과에서 마쳤다.
류 교수가 머신러닝(ML) 관련 연구를 시작한 것은 2016년 박사학위를 끝낸 이후 포스닥 과정을 시작하면서부터다. ML과 관련이 깊은 최적화를 주로 연구했다.
AI 대한 당시 수학자들 사이 분위기에 대해 그는 "박사학위를 할 때까지만 해도 스탠퍼드 내에서 딥러닝이 오래 임팩트를 줄 기술인지에 대해 확신이 없는 분위기였다. 2012년 딥러닝 붐이 시작된 이후부터 실험과 결과, 벤치마크 위주 연구가 주도했다"고 말했다.
수학계에서 딥러닝 연구에 본격 관심을 가지기 시작한 것은 2016년. 알파고가 전세계를 놀라게 했을 때 수학자들도 함께 주목하게 됐다.
류경석 교수는 "알파고 붐부터 우리가 이 문제를 풀어야겠다는 인식이 생겼다. 2018년부터 굉장히 수학적인 접근을 통해 딥 뉴럴 네트워크를 분석한 연구들이 본격적으로 등장하기 시작했다. 이때부터 딥러닝에 대한 수학적 분석 역사가 시작됐다고 생각한다"고 말했다.
컴퓨팅 파워 없어도 연구 가능...브레인 파워가 다 한다
AI 연구자가 아닌 수학자들이 하는 AI 연구는 어떤 점이 다를까. 먼저 수학자들의 AI 연구에는 데이터와 컴퓨팅 인프라가 중요한 것이 아니다. 그저 브레인 파워만 있으면 된다. 실험이 아닌 이론적 증명을 하는 방식으로 연구가 이뤄지기 때문.
류경석 교수는 "수학적인 관점에서 접근하는 연구들은 수학적인 관점에서 접근하는 연구들은 일반적으로 당장의 벤치마크에서 AI 성능이 향상되는 것보다는 이것이 근본적으로 왜 동작하는 것인지 원리를 이해하고자 한다. 논문 결과가 컴퓨터 코드로 구현된 내용이 아니다. 예를 들면 뉴럴 네트워크가 어떤 방식으로 학습되는지를 증명하는 것이다. 근본적인 AI 동작 원리를 이해하는 것이 주제"라고 설명했다.
류 교수가 주로 연구하는 주제는 '최적화'다. 최적화 연구 주제에 대해 그는 "ML에서 뉴럴 네트워크를 만들고 학습을 한다. 학습을 한다는 것은 의인화된 표현이다. 실제로는 어떤 로스 함수값을 정한 다음에 이 로스 함수를 최소화하는, 즉 최적화 문제를 푸는 것이고, 이를 AI 학습을 한다고 표현한다"고 말했다.
주어진 최적화 문제를 얼마나 빠르고 효율적으로 수행하느냐가 관건이라는 설명이다. 이를 ML에 적용하면 기존 ML 알고리즘보다 더 빠르고 효율적으로 네트워크를 학습시킬 수 있는 방법을 찾을 수 있다.
GAN과 같은 비지도 학습에서의 최적화 방법 최초 제시
올해 ICML 롱 토크에 채택된 류경석 교수 논문(논문명: Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with O(1/k2) Rate on Squared Gradient Norm)도 효율적인 AI 학습 방법에 대한 내용이다. 해당 논문이 최상위 평가를 받은 이유는 적대적 생성 신경망(GAN)과 같이 최소최대(Minimax) 방법을 활용하는 시스템에서의 최적화 방법을 처음 제시했기 때문이다.
류경석 교수는 "지도 학습에서는 손실 함수를 최소화하는 방식으로 AI 학습을 진행한다. 반면 비지도 학습에서는 최소화 문제가 아닌 최소최대 게임을 풀면서 학습을 하는 시스템들이 많이 제시되고 있다"며 연구 배경을 설명했다.
이어 "지도학습에서 최소화 문제를 푸는 것에 대해서는 어떤 속도로 풀 수 있는지, 어떤 조건 하에 수렴성이 담보가 되는지에 대한 연구가 굉장히 많다. 하지만 최소최대 게임을 풀 때의 수렴성, 수렴 속도에 대한 연구는 많이 부족한 상황"이라고 설명했다.
그는 "올해 ICML에 채택된 논문에서는 현재 지도학습에 많이 쓰는 관성 모멘텀에 대응되는 메커니즘을 최소최대 게임에서도 사용할 수 있다고 제시했다. 이를 위해 모멘텀이 아니라 앵커, 닷지라고 부르는 기법을 사용하면 가속할 수 있다고 증명한 것"이라고 강조했다.
다가올 NeurIPS에서 발표할 연구 논문(논문명: A Geometric Structure of Acceleration and Its Role in Making Gradients Small Fast)은 기존 지도 학습에 많이 사용하는 모멘텀 기법의 근본적인 동작 원리에 대한 내용이다.
류 교수는 "관성 모멘텀을 이용해 최적화 알고리즘, ML 학습을 가속하는 것은 굉장히 많이 사용되고 있는 방법이다. 하지만 이 관성을 이용한 가속 현상이 근본적으로 왜 가능한지에 대해서는 이해가 많이 부족한 상황이다. 가속 현상이 무엇이고 언제 유효한지, 언제 잘 되는 건지에 대해 이해하고 싶다는 목표를 가지고 시작한 연구"라고 말했다.
더불어 "가성비 편상이라는 것을 기하적으로 분석해보기 위해 가속화된 알고리즘 20개를 모았다. 그 결과 20개 알고리즘의 공통된 구조를 찾을 수 있었다. 굉장히 간단한 삼각형 기하로 표현이 됐다. 관성에 대해 보다 깊이 이해하고 새로운 관성 알고리즘을 찾은 것이 연구 의미"라고 전했다.
"딥러닝 연구의 첫 층 다지는 수학자 되겠다"
현재 류경석 교수는 서울대에서 수리과학부 이외 다른 소속을 가지고 있다. 그는 서울대 AI 연구원 선도혁신센터 중 하나인 '이론 AI 연구센터' 연구원으로서 AI 연구자들과 함께 활발히 협업 중이다.
앞으로도 류 교수는 수학적 방법을 활용한 AI 연구에 전념할 예정이다. 그는 "해석학, 대수, 기하 등 전통적인 수학 분야 이론을 살펴보면 수백년에 걸쳐 지어진 굉장히 정교한 구조물이라는 느낌이 든다. 하지만 딥러닝 이론에서는 역사가 짧은 만큼 아직 이 구조물이 만들어지지 않았다. 이제 첫 한 층이 지어졌고, 막 두 번째 층을 올리기 시작했다고 말할 수 있을 것 같다"고 말했다.
그러면서 "이 구조물이 몇 층까지 지어질 수 있을지, 완성이 되면 얼마나 멋진 구조물이 될 지는 시간이 지나봐야 알 수 있을 것이다. 딥러닝 이론 연구의 첫 층을 다지는 일에 수학자로서 기여하고자 한다"고 전했다.
AI타임스 박성은 기자 sage@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com