‘AI를 위한 딥러닝’‥ 딥러닝 한계점·해결책 제시
많은 양의 라벨 데이터 필요한 지도·강화학습 단점
“하이브리드 AI 연구 지지하지 않는다” 밝혀
라벨링 없이 탄생한 ‘트랜스포머’ 아키텍처 소개
“자기지도학습도 효율적 딥러닝의 좋은 사례” 언급
딥러닝 분야 선구자이자 세계 최고의 AI 석학으로 불리는 요슈아 벤지오, 제프리 힌튼, 얀 르쿤이 함께 ACM(미 컴퓨터협회) 저널 7월호에 ‘AI를 위한 딥러닝(Deep Learning for AI)’이라는 논문을 발표했다. 지난 2018년 튜링상을 공동으로 수상하기도 한 이들은 논문에서 인간이나 동물과 다른 딥러닝 학습 방법에 대한 설명부터 문제점, 이를 해결해 발전하는 미래까지 제시했다.
◆ 딥러닝이 안고 있는 과제
딥러닝은 종종 인간과 동물의 뇌와 비교된다. 논문에서 저자들은 “지난 몇 년 동안 진행한 실험결과로 인공신경망이 인간이나 동물보다 효율성, 유연성, 다재다능성이 부족하다는 게 입증됐다”고 밝히고 있다.
이어 이들은 “지도학습은 다양한 과제에서 성공적이지만 동시에 많은 양의 라벨 데이터가 필요하다”며 “마찬가지로 강화학습도 오직 보상만을 기반으로 하는 경우 아주 많은 상호작용이 필요하다”고 덧붙였다.
지도학습(Supervised Learning)은 머신러닝의 하위 집합으로 주어진 입력값에 알맞은 출력값을 찾는 학습 방법이다. 이미지나 해당 콘텐츠 목록이 입력이라고 가정했을 때, 모델은 유사한 라벨이 있는 사례(example)에서 반복 패턴을 찾도록 훈련한다. 그런 다음 학습된 패턴을 사용해 새 사례를 올바른 라벨과 연결한다. 입력된 문제에 대한 답을 예측하는 데 특히 유용한 지도학습은 기계 번역, 상품 추천, 질병을 진단하는 의료시스템에 응용할 수 있다.
머신러닝의 또다른 분야인 강화학습(Reinforcement Learning)은 ‘에이전트(대리인)’ 환경에서 ‘보상’을 극대화하는 것을 배우는 학습법이다. 에이전트는 임의 작업을 수행하는 것부터 시작한다. 주어진 환경에서 어떻게 적응하고, 학습하는지에 따라 보상을 받으면서 일련의 행동을 통해 더 나은 보상이 있다는 것을 깨닫고 올바른 학습 패턴을 만들어간다.
벤지오를 비롯한 저자들은 이 논문에서 “지도학습도, 강화학습도 모두 엄청난 인간의 노동력이 뒷받침한다”고 말하고 있다. 특히 오픈소스 데이터가 없는 전문분야에서는 라벨링된 데이터셋을 구하기는 더욱 어렵다. 이들은 대규모 컴퓨팅 리소스가 필요한 강화학습의 경우 탄탄한 자본력을 보유한 AI랩이나 거대 기업에서만 연구가 가능한 현실에 대해 설명했다.
또 저자들은 현재 딥러닝 시스템에 대해서도 “전문화된 업무는 잘 수행하지만 훈련받은 영역 외 분야에서는 먹통이 되고 만다”고 꼬집었다. “이미지에서 픽셀 몇 개가 수정되거나 환경에서 규칙이 약간 변경되는 등 아주 사소한 변화로 딥러닝 시스템이 잘못될 수 있다”면서 딥러닝이 해결할 수 있는 범위가 한정적이라는 것을 인정했다.
이어 공동 저자들은 “현재 많은 연구자, 기업들이 더 많은 데이터에 신경망을 훈련시키면서 딥러닝의 한계를 극복하려 노력 중”이라며 데이터셋이 더 큰 분포를 다뤄 실제 세계에서 실패할 가능성을 줄이기 위한 연구에 대해 언급했다. 논문은 하이브리드AI와 자기지도학습 방법론도 이와 같은 맥락에서 다루고 있다.
‘AI를 위한 딥러닝(Deep Learning for AI)’ 논문 공동 저자 요슈아 벤지오, 제프리 힌튼, 얀 르쿤 인터뷰 영상. (출처=ACM 공식 유튜브 채널).
◆ 딥러닝 VS. 하이브리드 AI
AI 과학자들의 궁극적 목표는 인간이 가진 일반 수준의 지능을 복제하는 것이다. 많은 과학자들이 AI와 인간 지능 간 격차를 줄이는 다양한 해결책을 제시해왔다. 지난 몇 년 동안 가장 많이 논의된 접근법은 규칙 기반 소프트웨어를 학습 알고리즘과 결합한 ‘하이브리드 AI’다. 신경 상징 시스템(Neuro-symbolic systems)과 같은 고차원 신경망, 상징적 추론 외 진화적 방법을 사용한 강화학습을 두 축으로 만들어 보다 똑똑하고 신뢰성 있는 AI를 구현하는 것이다.
그러나 벤지오, 힌튼, 르쿤은 논문에서 이렇게 신경망과 상징적 AI를 혼합하는 방법을 지지하지 않는다고 밝히고 있다. ACM 논문에 실린 인터뷰 영상에서 벤지오는 “신경망이 해결할 수 없는 문제를 상징적인 접근법에 의존해야 한다고 믿는 사람들이 있다. 하지만 우리의 연구는 이런 접근법과는 다른 방법에 대해 논한다”고 말했다.
◆ 미래에 딥러닝이 더욱 진보하려면…
세 명의 딥러닝 선구자들은 논문에서 라벨링 과정 없이도 탄생한 ‘트랜스포머(Transformer)’ 신경망 아키텍처를 예로 들어 설명했다. 트랜스포머는 무(無)감독 학습을 통해 표현을 개발하고, 그 표현을 불완전한 문장에 적용해 빈칸을 채운다. 스크립트가 주어지면 내용에 맞는 텍스트를 생성한다.
구글은 지난 2018년 이 같은 트랜스포머 신경망 구조를 활용해 자연어처리 모델 버트(BERT)를 개발·공개했다. 이를 예로 들며 공동 저자는 “트랜스포머를 컴퓨터 비전 작업에도 적용할 수 있다”는 최근의 연구 결과에 대해서도 설명했다. 이들은 “합성곱 신경망(CNN)과 트랜스포머를 결합하면 언어 스크립트를 보고 사전에 표시된 영역의 내용을 예측할 수도 있을 것”이라고 내다봤다.
또 논문은 버트가 현재 르쿤이 연구 중인 자기지도학습(Self-Supervised Learning)의 대표적 예라고 짚었다. 자기지도학습은 쉽게 말해 ‘라벨이 없는 최소한의 데이터를 활용해 지도학습 방식으로 학습하는 알고리즘’이다. 2018년 국내 삼성이 주최한 AI 포럼에서 르쿤은 자기지도학습에 대해 “미래 먹거리이자, 인간지능을 구현하는 ‘리얼 AI’로 가기 위한 필수 분야”라고 강조한 바 있다.
제프리 힌튼 역시 지난해 2월 연구결과를 발표하며 “자기지도학습이 지도학습과 비슷한 수준까지 발전했다”고 밝혔다. 방대한 양의 노동력 없이 훈련해 새로운 문제도 스스로 해결하는 효율성 높은 창의적 AI가 실현되고 있는 것이다.
힌튼은 ACM 인터뷰 영상에서 “신경망을 효과적으로 만드는 방법에 대해서는 우리도 아직 개척하지 못한 부분이 많다”며 “다른 훌륭한 AI 개발자가 새로운 아이디어를 제시하고, 연구 품질이 더욱 높아지는 미래가 되길 고대한다”고 말했다.
AI타임스 박혜섭 기자 phs@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com