오픈AI 카네기멜론&밀라노공대 UC버클리 NIPS 20' 최우수 논문상

1. 언어 모델은 퓨샷 학습자 Language Models are Few-Shot Learners (논문 링크)

수상 저자: Tom Brown, Benjamin Mann, Nick Ryder, 외 27명. 

수상 기관: OpenAI

수상 위원회는 현존하는 언어 모델 중 가장 뛰어난 성능을 보이고 이전의 어떤 비희소(non-sparse) 언어 모델보다 10배 많은 1,750억 개의 매개변수를 가진 자기 회귀 언어 모델인 오픈AI의 GPT-3의 논문이 수상한 이유를 다음과 같이 설명했다. “언어 모델은 다음에 올 단어의 확률을 계산하고 예측하는 인공지능 시스템이다. ‘언어 모델‘은 1950년대에 당시 정보 이론과 자연어를 연관 짓기 위해 연구되면서 처음 언급되었다. 이 논문은 지금까지 만들어진 언어 모델 중 가장 크고 정교한 GPT-3에 대해 설명한다.

이 논문은 많은 양의 데이터와 계산으로 몇 문장만 있으면 추가적인 학습 없이 다양한 과제를 수행할 수 있는 능력을 얻게 된다는 점을 증명했다. 상식퀴즈에 대한 답변, 에세이 작성, 영화 평론 내용 긍정/부정 판단, 프랑스어와 영어 간 번역 등의 과제에서 GPT-3는 뛰어난 성능을 보인다. 논문은 과제에 따라 다른 성능을 보임에 주목하고, 모델의 장단점을 세심하게 분류했다.”

2. 광범위한 형태 상관 평형을 위한 노 리그렛 학습 역학 No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium (논문 링크)

수상 저자: Andrea Celli (Polimi), Alberto Marchesi (Polimi), Gabriele Farina (CM) and Nicola Gatti (Polimi)

수상 기관: 밀라노 공과 대학 & 카네기멜론대학 

수상 위원회는 미래의 경제 형태로 꼽히는 ‘긱 이코노미(Gig Economy)’ 시대에 필요한 기술임을 언급하며 수상 이유를 밝혔다.

“한쪽의 결정은 다론 쪽에 영향을 주고 이는 반대로도 같다. 이성적인 방법으로 결정을 하기 위해선 경제학자들이 말하는 평행(equilibrium)에 도달해야 한다. 하지만 자동으로 평행에 도달하기란 어렵다. 이 논문은 학습 접근방식(learning approach)을 사용해 소위 상관관계 평형성을 찾는 첫 번째 접근방식을 제공한다. 상관관계 평행성은 결정권자들에게 결정을 추천해주는 외부 중재자가 필요하다. 단적인 예로는 정지등이 있다. 정지등은 차들이 운행할 수 있는지 멈춰야 하는지에 대한 판단을 추천한다. ‘붉은빛이 켜져 있을 때 운행은 위험하다‘는 사실은 누구나 알고 있기에 관련 법안이나 강요가 없어도 사람들은 신호등의 추천에 수긍하고 행동한다.

논문은 이러한 결정 추천3이 많은 단계로 구성되어 있고 결정권자들이 모든 정보에 대한 인지가 없어도 외부 엔지니어의 도움이 학습 알고리즘이 수행할 수 있다고 주장한다. 이는 미래 자기중심적인 사회구성원들과 중앙 컴퓨터 관리 체제가 보편화되는 '긱 이코노미'에 영향력 있는 접근법이 될 것이다“

3. 컬럼 부분집합 선택 및 나이스트롬 방법에 대한 개런티 개선 및 다중 방향 곡선 Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrom Method (논문 링크)

수상 저자: Michał Dereziński, Rajiv Khanna, Michael W. Mahoney

수상 기관: UC 버클리 (University of California, Berkeley)

수상 위원회는 큰 규모의 데이터셋이 늘어나면서 이러한 복잡한 데이터를 간단히 분석할 수 있는 능력의 중요성을 강조했다.

“논문이 제시한 데이터 분석은 이형 유전자를 찾아낼 수 있고 텍스트 데이터에서 중요한 부분을 찾아낼 수 있다. 과거 데이터 분석 연구의 맹점은 오래 걸리는 분석 시간이었지만 이 논문은 이러한 제한된 시간 문제를 타개했다. 논문은 현실 데이터는 해석이 가능한 분석을 할 수 있음을 보여줬다. 이 논문을 통해 사람들이 미래에 복잡한 데이터셋을 효율적으로 다룰 수 있게 됐다. 정확하고 해석 가능한 데이터 분석을 내놓는 방안을 제시했다.”