‘신경정보처리시스템학회(뉴립스ᆞNeurIPS) 2020’에서 11일(현지시간)부터 12일까지 튜링상 수상자들이 함께 온라인 발표에 나선다. 튜링상 수상자 제프리 힌튼, 얀 르쿤, 요슈아 벤지오는 지난 2월에는 뉴욕에서 열렀던 국제인공지능학회(AAAI) 행사에서 함께 무대에 섰다.
외신 IT 매체 싱크드리뷰는 청중에게 수십 년 간 회의적인 시각을 견지해 온 얀 르쿤이 마침내 제프리 힌튼과 함께 ‘자기지도학습(Self-supervised learning, SSL)이 차세대 AI 혁명을 이끌 수 있다는 주장을 지지하게 됐다고 10일 보도했다.
수동 데이터라벨링이 필요한 지도 학습과 달리 자기지도학습(SSL)은 자동으로 데이터 라벨링을 할 수 있다. 최근 한 차례 개선 된 SSL은 기존 지도학습 대안으로 확립됐다. 일례로 구글의 언어표현 모델 알버트(ALBERT)는 자기지도학습 프레임워크를 바탕으로 많은 양의 텍스트를 활용한다.
‘뉴립스 2020’가 이러한 흐름의 최전선에 있는 게 새삼스럽지 않다. 1986년 최초로 시작한 이 연례 머신러닝ᆞ컴퓨터 신경과학 컨퍼런스는 세계 최고 AI 학회 중 하나로 발전해 왔다.
뉴립스는 이번 컨퍼런스에서 자기지도학습 워크숍 두 개를 연다. 한 워크숍은 “음성처리를 위한 자기지도학습”을 주제로 11일 오전 6시 50분부터 오후 4시 25분까지, 다른 워크숍은 “자기지도학습 – 이론과 실천”을 주제로 12일 오전 8시 50분부터 오후 6시 40분까지 진행된다.
워크숍 주최자는 머신러닝 커뮤니티가 심층 네트워크에 자기지도학습을 도입하는데 열성적이라고 말한다. 자기지도학습이 대규모 네트워크 훈련ᆞ복잡한 문제 해결에 있어 인터넷에서 얻을 수 있는 엄청난 양의 라벨링 되지 않은 데이터 사용을 가능하게 하기 때문이다.
주요 SSL 연구 방향은 음성 처리 특히 자동 음성 인식, 발화자 식별, 음성 번역에 있다. 이 분야 주요 과제로는 언어 모델 생성, 음성 처리 개선 등이 있다. 또 기존 SSL 연구 대다수는 이론적 토대가 구축되지 않은 상태에서 빠른 속도로 진행됐고 성능을 향상하기 위해 추진됐다. 뉴립스 2020은 이러한 워크숍을 통해서 SSL 연구에서 다뤄지지 않았던 주제 논의를 장려한다.
얀 르쿤의 ‘자기지도학습 – 이론과 실천’ 강연에는 구글 브레인 연구소 과학자 꾸옥 레(Quoc V. Le)와 첼시 핀(Chelsea Finn)을 비롯해 SSL에 관심이 있는 다양한 연구자들이 참여한다.
이번 워크숍에서는 이론에 기반한 통찰력이 SSL 성능을 어떻게 향상하는 지, 잘 작동하는 SSL 접근법의 이론적 토대 등을 들여다본다.
또 핀은 텐센트 동유(Dong Yu)와 밀라(MILA)의 미르코 라바넬리(Mirco Ravanelli)와 함께 음성 처리용 자기지도학습 워크숍에서 강연할 예정이다. 밀라는 요슈아 벤지오가 만든 캐나다 몬트리올 소재 AI 연구기관이다.
'자기지도'라는 키워드는 뉴립스 2020이 수락한 27편 논문 제목에서 확인할 수 있다. 논문 주제는 시각적 표현, 이미지 내 노이즈 제거, 관계 탐색, 음성 표현, 오디오ᆞ비디오 교차 클러스터링 등과 같은 주제에 걸쳐 진행된다.
SSL 논문 대다수는 텍스트, 오디오, 시각적 표현에 초점을 맞춘다. 페이스북 AI의 ‘wav2vec 2.0’ 논문은 음성표현 SSL 프레임워크를 제안하고, 딥마인드의 ‘BYOL(Bootstrap Your Own Latent)’ 논문은 ‘자기지도’ 이미지 표현 학습에 대한 새로운 접근법을 소개한다.
논문 두 개는 3D 애플리케이션용 SSL을 조명한다. 구글과 독일 자를란트(Saarland)대 연구원은 옷 입은 사람 3D 스캔 이미지에 3D 사람 모델을 맞추기 위한 종단간(End-to-End) SSL 프레임워크를 제시하고 독일 포츠담대 연구원은 의학 영상 분야에서 5가지 자기지도 방법을 3D 버전으로 제안하고 3가지 다운스트림 작업에 대한 방법의 효과를 입증한다.
한국과학기술원(KAIST) 연구진은 논문에서 라이다(LiDAR)를 자기지도 ‘심층 추정장치(depth estimator)’로 대체할 것을 제안한다. 뉴욕대 연구진은 아이의 시선으로 SSL을 탐색한다.
전 세계 1만 8000여명이 뉴립스 2020 행사에 참여하고 있다. 주최 측은 논문 입상자 발표를 늘리고 실시간 질의응답 세션을 추가했다.
지난 해 버그와 병목현상이 해결되고 신기술이 도입되면서 온라인 전용 컨퍼런스는 지난 해 대비 꾸준히 개선됐다. 뉴립스 2020 조직위원회는 다양한 시간대에서 접속하는 참석자를 효율적으로 수용하기 위해 하루에 6시간씩 행사를 두 번 진행한다.
뉴립스 가상 컨퍼런스는 ‘개더타운(Gather Town)’이라고 불리는 공간에서 참여자가 듣고자 하는 강연 ‘방’을 선택해서 듣는 식으로 진행된다. 개더타운에 여러 사람이 병렬 식으로 여러 대화창에 들어와 대화를 나누는 형식이며 대화창 입출입은 자유롭다. 개더타운은 사람이 비디오 게임의 아바타처럼 걸어 다니는 형식으로 인터페이스를 설계해 오프라인 공간에서 컨퍼런스에 참여하는 것을 목표로 구현됐다.
AI타임스 문재호 기자 jhmoon@aitimes.com
[관련기사] "학습 비용 줄이는 최신 자기지도학습"…정희철 경북대 인공지능학과 교수
[관련기사] 'AI 4대 천왕' 벤지오 교수, "AI는 공공재... ‘인센티브’ 제도로 기업의 공익적 활동 유도해야"
