"하나를 알려주면 열을 안다" [특별기획 AI 2030] ② 메타학습

'한 경험만으로 다른 일도 해낸다'
물고기를 잡아주는 게 아니라, 잡는 방법을 알려주는 AI
메타학습, '보편적' 인공지능 실현에 도전

메타학습은 ‘학습하는 법을 학습한다’는 개념으로, AI에게 문제 해결에 필요한 학습 방법을 알려주는 기술이다. 관련된 수많은 태스크를 학습하며 얻는 경험을 기반으로 새로운 태스크 학습 시 적은 데이터만으로 학습이 빠르게 이루어질 수 있게 한다.

메타학습에서는 사람과 같이 과거의 경험과 지식을 사용해 학습하는 방법을 머신러닝(ML)에 도입한 것이다.
기존 ML 및 딥러닝(DL) 방식에서는 사전 경험이나 지식 없이 처음부터 모델 학습을 시작한다. 이와 달리, 사람이나 동물은 적은 데이터만으로도 학습이 가능한데, 이는 경험이 학습에 쓰이기 때문. 메타학습에서는 이처럼 적은 데이터, 즉 이전의 경험만으로도 새로운 다양한 태스크를 처리하고자 한다.

초창기 ML은 데이터로부터 직접 특징을 추출하고, 분류기에 대해서만 학습을 진행했다. 반면 현재 강세를 보이는 DL에서는 분류기와 데이터 특징 추출 모두에 대해 학습을 사용한다.
메타학습은 분류기, 데이터 특징 추출, 그리고 학습 알고리즘 세 가지를 모두 학습하는 방식으로, '보편적 인공지능(General AI)'을 추구한다.

메타학습을 쉽게 말하면 아래와 같다.

Learn how to learn, Learn from experience

학습하는 법을 학습하며, 경험으로부터 학습한다.

◆기술동향

1) 메트릭 기반 메타학습

메트릭 기반 메타학습은 데이터 간 유사도를 측정하는 '메트릭(metric)'을 학습해 퓨샷 문제를 해결한다. 퓨샷(few-shot)은 적은 데이터만으로 학습하는 것을 의미한다.
예를 들어, 두 이미지의 종류 일치 여부를 판단하는 모델을 여러 번 학습시키면 하나의 훈련 이미지와 여러 이미지 종류가 같은지에 대해 한 번만에 비교가 가능해지는 식(원샷 문제 해결).

두 개의 이미지가 같은지 판단하는 모델을 학습시켜 원샷 문제를 해결하는 모델 예시 (사진=IITP)

2) 그래디언트 기반 메타학습

학습 알고리즘을 학습하기 위해 그래디언트 알고리즘의 초깃값을 메타학습하는 방법이다. 보통 초깃값은 임의의 값으로, 이는 사전 지식 없는 학습(Learning from scratch)에 해당한다.
2017년 ICML에 발표된 MAML(model-agnostic meta-learning) 모델이 그래디언트 기반 메타학습에 큰 영향을 줬다. 국내에서는 전 POSTECH 교수이자 현 BARO AI CTO인 최승진 교수 연구팀이 2016년부터 관련 연구를 선도하고 있다.

3) 확률모델 메타학습

MAML과 같은 그래디언트 기반 메타학습 모델을 확장한 기술이다. 태스크의 모호함을 해결하고자 파라미터 불확실성을 다루는 능력과 같은 확률모델의 장점이 메타학습에 적용된 것이다.
베이지안 모델을 기본으로 변분 추론(Variational Inference), 분할상환 추론(Amortized Inference) 방법이 주로 적용되는 추세.

4) 온라인 메타학습

온라인 메타학습이란 실제 상황을 고려해 시간에 따라 순차적으로 학습이 진행되는 것을 말한다.
기존 연구에서는 관련된 수많은 태스크가 한번에 주어진 상태에서 메타학습을 진행했다. 하지만 실제 적용 시 태스크는 하나씩 주어지기 때문에 학습이 연속적으로 진행돼야 한다. 이를 위해 온라인 메타학습에 대한 연구가 진행되고 있다.
대표적으로는 Online MAML이 있다. 이는 MAML을 연구개발한 Chelsea Finn 팀이 기존 MAML 모델을 온라인 학습 방식으로 확장한 것.

◆시장동향

메타학습은 아직 초기 연구 단계에 있어 상용화까진 시간이 수 년 소요될 것으로 예상된다.
현재는 학습과정에서 사용자의 개입을 최소화하는 역할을 하는 만큼 오토ML, 하이퍼변수 최적화(Hyperparameter Optimization), 신경 구조망 탐색(Neural Architecture Search; 인공 신경 구조망 설계를 자동화하는 기술)에 가장 많이 응용되고 있다.

특히 오토ML(자동 기계학습)을 적용한 ML 자동화 플랫폼이 대표적이다.
오토ML은 데이터 전처리 과정, 데이터로 특징 추출 방법, 알고리즘 선택, 하이퍼파라미터 최적화 등과 같이 사용자 개입을 없애고 오직 데이터만으로 ML을 자동화 하는 기술이다. 구글 클라우드 오토ML(Cloud AutoML), 아마존 세이지메이커(SageMaker)가 대표적이다.

한편 국내 IT 기업에서도 이러한 자동화 플랫폼에 기반한 다양한 연구가 진행중이다.
카카오브레인 연구팀에서는 'Fast AutoAugment'를 제안했다. 이는 데이터 어그멘테이션(Data Augmentation) 자동화 알고리즘에 관한 연구를 통해 구글이 발표한 대표적인 선행연구인 ‘AutoAugment’을 개선한 것. 데이터 어그멘테이션은 DL 학습에 필요한 대량 데이터 확보 전략 중 하나로, 적은 데이터만으로도 데이터양을 자가증식하는 방법론이다. 연구팀은 선행 연구 대비 적은 GPU 자원을 토대로 어그멘테이션 방법을 최적화하고 있다.
SK텔레콤 AI센터는 2018년부터 Meta AI 인터페이스, 핵심 알고리즘 개발, 클러스터 인프라를 구축하고 있다. 특히 ▲자동화의 핵심인 주어진 데이터 학습에 있어 효율적인 신경망 구조를 자동으로 찾는 기술과 ▲ML에서 필요한 변수의 선택을 자동화하는 연구가 진행 중.

◆발전 전망

단기적(2020~2022년) 발전 전망으로는 퓨샷이나 원샷을 넘어선 '제로샷'에 도전하며, 보상에 기반한 신경망 탐색 등이 연구 중에 있다.

중기적(2023~2026년)으로는 이질적인 태스크에도 부분적으로 자유도를 보장하며 바로 활용 가능한 메타학습 기술을 연구할 전망. 또한, 빠른 최적화를 위해 진화 알고리즘에 기반한 구조 탐색 기술도 연구될 계획이다.

장기(2027~2030년)에는 제로베이스 학습이 가능한 신경망 자동 탐색 기술과 범용 자동 기계학습 등을 목표로 하고 있다.

즉, 메타학습은 ▲데이터 이용 최소화 ▲자유도 증가 ▲다양한 상황에서 빠른 적용을 목표로 한다.

메타학습은 아직 연구 초기 단계에 있다.
특히 메타학습 기술 중 핵심은 오토ML에 있는데, 구글 등에서 오토ML의 다양한 방안을 제시하고 있으나 현재 기술 완성도는 40%에 불과한 상황.

'물고기를 잡아주는 게 아니라, 잡는 방법을 알려줘야 한다'라고들 한다. 이는 메타학습의 모토인 'Learning how to learn'과 상통한다.
아직은 갈 길이 멀지만, 메타학습이 하루빨리 발전하여 범죄, 질병, 천문학과 같이 하나의 문제에 대해 수많은 상황이 있는 분야에 적용되길 바라본다.

"인공지능과 자연지능 연계 집중할 때" AI 기술청사진 연구 총괄 IITP 박상욱 팀장

[특별기획] 인공지능 기술 청사진 2030 연재순서 표

AI타임스 박성은ㆍ최명현 기자 sage@aitimes.com