황성주 교수 연구실서 NeurIPS에 5편 논문 발표...2편은 상위 3% 성적
오토ML 최대 약점은 속도와 비용...메타학습 적용해 크게 개선
AI 민주화 말하는 연구자들...규모 경쟁에 돌입한 AI 연구 흐름과 반대

(출처=NeurIPS 공식홈페이지)
(출처=NeurIPS 공식홈페이지)

최근 인공지능(AI)계를 이끄는 주역은 빅테크 기업이라 해도 과언이 아니다. 현재 AI계 핵심 이슈인 초거대 AI 연구는 대규모 데이터와 컴퓨팅 인프라를 갖추지 못하면 시작하기도 어렵다. AI 연구에서 기업이, 산학협력이 빠질 수 없는 이유다.

이러한 상황 속에서 'AI 민주화'를 말하는 국내 연구팀이 등장했다. 올해 NeurIPS에서 2개 논문이 상위 3% 성적을 의미하는 스포트라이트(spotlight)에 초청된 KAIST 황성주 교수팀 이야기다.

황성주 교수 연구팀은 NeurIPS 2021 채택 논문에서 구글, MS, 아마존 등 빅테크 기업이라면 모두 서비스 주인 오토ML의 속도와 비용 문제를 개선했다.

연구에서는 메타학습(meta learning)을 사용해 적은 데이터셋과 시간으로 기존 서비스와 비슷한 성능을 달성했다. 기존 서비스로 최대 2일까지 걸리는 작업을 1초만에 완료한 것. 데이터셋 전부가 아닌 일부만 필요한 만큼 보안 위험도 대폭 줄일 수 있다.

다른 논문에서는 실험실 내에서만 가능한 지연속도(latency) 예측 기술을 실생활에 적용할 수 있게 만들었다. 해당 기술은 스마트폰을 비롯한 다양한 하드웨어 디바이스에 모두 사용 가능하다.

두 논문의 공통점은 통상 굉장히 많은 시간과 비용, 계산량이 필요한 AI 연구, 정확하게는 NAS(Neural Architecture Search)의 패러다임을 바꾼 것이다.

NAS는 대표적인 오토ML 방식 중 하나로 모델링 작업을 자동화한다. 이미지 분류를 위한 더 나은 신경망 아키텍처, 혹은 휴대폰을 비롯한 하드웨어 가속기에서 실행하기 위한 효율적인 아키텍처 개발을 위해 사용되는 기술이다.

황성주 교수팀이 NAS에 드는 비용을 줄일 수 있었던 비결은 메타학습에서 나온다. 메타학습은 '학습하는 법을 학습한다'는 개념으로, AI에게 문제 해결에 필요한 학습 방법을 알려주는 기술이다. 관련된 수많은 태스크를 학습하며 얻는 경험을 기반으로 새로운 태스크 학습 시 적은 데이터만으로 학습이 빠르게 이루어질 수 있게 한다.

[관련기사]"하나를 알려주면 열을 안다" [특별기획 AI 2030] ② 메타학습

2개 논문에 제1저자로 이름을 올린 주인공은 AI계에서 보기 드문 여성 연구자인 이하연 박사과정 학생이다. 황성주 교수 랩 내 다른 연구원인 정원용 박사과정 학생도 이 중 1개 논문에서 제1저자로 기여했다.

왼쪽부터 정원용 연구원, 황성주 교수, 이하연 연구원(사진=박성은 기자)
왼쪽부터 정원용 연구원, 황성주 교수, 이하연 연구원(사진=박성은 기자)

Q. 황성주 교수 연구실의 올해 NeurIPS 성과가 궁금하다.

황성주 교수(이하 황 교수) : 올해 우리 연구실에서는 NeurIPS에 5편 논문이 채택됐다. 이 중 2편은 상위 3% 이내 성과를 의미하는 스포트라이트에 초대됐으며 이하연 박사과정 학생이 제1저자로 참여한 결과물이다. 통상 NeurIPS에서는 스포트라이트가 상위 3%, 오럴(oral)이 상위 1% 성적을 의미한다.

Q. 기존 황성주 교수 연구실의 AI 학술대회 성과는 어떤지. KAIST 내에서도 국제 AI 학회에 논문을 많이 내는 것으로 안다.

황 교수 : 작년 NeurIPS에서도 스포트라이트에 1개 논문을 소개했다. 올해 ICLR에도 1편 논문이 스포트라이트에 초대됐고, 작년 ICLR에는 오럴 세션에서 1개 논문을 발표했다. 톱(top) 컨퍼런스에 채택된 논문이 작년에는 22개, 올해는 10월 기준 23개이다. 우리 연구실이 KAIST 내에서도 논문을 많이 쓰는 편이다.

Q. 황성주 연구실에서 주력하는 연구 분야는.

황 교수 : 랩 규모가 크다 보니 주력 연구 분야가 다양하다. 거의 매년 바뀐다고 할 수 있다. 우선 메타학습 연구를 오랫동안 해왔다. 현재 주력 중인 분야로는 뉴럴 네트워크를 주어진 태스크나 하드웨어 디바이스에 맞게 검색(search)하는 NAS 분야를 꼽을 수 있다. 이외 연합학습, 뉴럴 네트워크의 안전성, 데이터 프라이버시, 모델 유출을 막는 워커마킹 등을 연구 중이다.

로우 리소스 러닝(low resource learning)이라고 해서 데이터, 컴퓨팅, 메모리 적은 상황에서 어떻게 학습을 잘 할 수 있을지를 연구 목표로 하고 있다. 기본적으로 저는 에이아이트릭스라는 회사에 있는 만큼 실생활에서 발생하는 문제를 AI로 해결하는 방법, 그리고 기존의 실험실 내 AI를 실생활 환경에 적용했을 때 일어나는 여러 문제점들을 다루고 있다.

Q. 연구실 내 학생들이 많다고 했는데 어느 정도인지.

황 교수 : 현재 우리 연구실 내 28명 정도 학생이 있다. 박사과정 학생이 15명, 석사의 경우 13명이다. AI 대학원 모집정원이 늘면서 랩이 최근 많이 커졌다. 그만큼 학생들의 연구 분야도 다양하다.

Q. 이번 NeurIPS에 채택된 논문 중 하나가 구글, 아마존, MS 등 빅테크들이 제공하는 오토ML 서비스의 한계점을 극복하는 방식을 제시했다고 들었다. (논문명: Task-Adaptive Neural Network Search with Meta-Contrastive Learning)

황 교수 : 구글, 아마존, 페이스북, MS 등 웬만한 AI 기업들이 모두 오토ML 플랫폼을 제공하는데 문제는 속도가 굉장히 느리다는 것이다. 최대 2일 정도 걸리며 여러 GPU써도 하루까지는 아니지만 몇 시간이 걸린다. 이렇게 몇 시간씩 올려놔야 결과물을 준다면 유저는 사용하기 힘들다.

반면 이를 개선하려는 움직임은 의외로 드물다. 빅테크들은 각자 클라우드를 가지고 있는데 오토 ML 서비스 이용으로 계산량이 많아지면 클라우드 사용료를 많이 받을 수 있기 때문이다.

정원용 연구원 : 보안 문제도 있다. 최종 모델을 얻기 위해 유저는 데이터 전체를 다 올려야 한다. 제조 공정, 의료 데이터를 이렇게 다 올리는 것은 프라이버시 문제로 쉽지 않다. 우리는 데이터를 일부만 올려도, 이외 리소스를 적게 써도 최적 모델을 빠른 속도로 제시하는 기술을 개발했다.

황 교수 : 연구 결과, 1초 보다 적은 ms(밀리세컨드) 단위의 시간 내에 결과물이 나왔다. 데이터를 집어넣으면 그 자리에 바로 최종 모델이 나오는 것이다. 파인튜닝에 들어가는 시간도 얼마 안 걸린다. 시간이 줄어드니 클라우드에서 돌리는 시간이 줄고 비용도 감소하는 효과를 볼 수 있다. 페이스북을 비롯한 빅테크 서비스보다 2300배 빠르면서 성능은 훨씬 더 나았다.

Q. 또다른 NeurIPS 채택 논문은 지연속도(latency) 예측에 대한 것인데, 하드웨어 종류에 상관없이 적용 가능한 것이 특징인 것 같다. (논문명: HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning)

이하연 연구원 : 같은 아키텍처라도 디바이스마다 특성이 다르기 때문에 추론 시간(inference time)에 차이가 난다. 디바이스별로 지연속도(latency) 조건에 맞는 아키텍처를 찾는 연구 주제가 있다.

기존 연구에서는 디바이스별로 샘플 아키텍처를 몇백개, 몇천개를 모아서 이를 통해 지연속도 측정을 특정 디바이스에서 했다. 디바이스에 맞는 지연속도 예측기(predictor) 학습을 하고 이를 기반으로 아키텍처를 찾는다. 실험실 연구는 예측기를 만드는 것에서 끝나고, 이는 실제 유저가 사용하기에는 너무 복잡하다.

예를 들어 휴대폰이 대상 디바이스라고 한다면 아키텍처가 폰에서 작동할 수 있게 형식을 바꾸고(compile) 앱에다 넣고, 이 앱을 만들고 설치하고 그 다음 측정을 하는 식의 복잡한 과정을 거쳐야 한다. 기존에는 이를 위해 몇천개 데이터를 디바이스별로 모아야 해서 실용성이 없었다. 수천 개를 모으려면 수십 시간이 걸린다.

우리 연구에서는 10개 정도 데이터 샘플만으로 각 디바이스에 맞는 지연속도 예측기를 학습시키는 방법을 고안했다. 여러 디바이스별 미리 측정된 지연속도 데이터셋 태스크 여러 개를 메타학습 툴로 사용했다.

이를 통해 한 번 모델을 학습시키면 새로운 디바이스에 적용했을 때 기존 메타지식을 사용해 빠르게 적응(adaptation)할 수 있다. 새로운 디바이스에 기존 학습 지식을 전이(transfer)시키면 실제 타깃 디바이스에서는 10개, 20개만 측정하면 되는 것이다. 이를 통해 빠른 시간 내 적은 샘플로 예측기 정확도를 높이는 방식으로 학습할 수 있었다.

황 교수 : 우리 연구가 기존 NAS의 패러다임을 바꿨다고 생각한다. 기존 디바이스에 대해 학습한 것을 완전히 새로운 디바이스에 일반화하고, 기존 다양한 데이터셋에서 학습한 것을 완전히 새로운 데이터셋에 일반화했다. 이전에는 불가능했던 일을 메타학습을 통해 실현했다. 데이터셋 레벨의 메타학습을 하면서 오토ML, NAS가 계산 집약적으로 진행됐던 것을 바꿨다.

AI타임스 박성은 기자 sage@aitimes.com

[관련기사]EMNLP 2021 결산, "한국 언어 AI 연구, 세계 5위 달성...네이버·KAIST가 리드"

[관련기사]네이버, 'NeurIPS 2021'서 8개 논문 채택...산학협력과 R&D 투자가 비결

키워드 관련기사
  • EMNLP 2021 결산, "한국 언어 AI 연구, 세계 5위 달성...네이버·KAIST가 리드"
  • 인공지능의 눈, 컴퓨터 비전 국내 강자는 누구? ICCV 2021 총결산
  • “중앙집중식 ML 방식에서 로컬라이징” [특별기획 AI 2030] ⑲ 연합학습