대화형 AI 성능 향상을 위해 데이터세트 수집 방식을 ‘게임’ 방식으로 전환
자연어 처리, 고정 데이터 세트 모델 사용하고 훈련중 인간과 상호작용 막아
게임방식, 게임 참여자 내적 동기에 의해 유발된 대화 통해 반복적 학습 가능
AI-인간, 에이전트로 시나리오에서 주어진 캐릭터 ‘대화 롤플레잉 게임’ 수행
게임에 참여한 사람과 인공지능(AI) 간 대화를 바탕으로 대화형 AI의 성능을 향상시킬 수 있다는 사실이 확인됐다. 크라우드 소싱 데이터 세트 수집 방식보다 더 정확한 결과를 도출하는 데다 비용도 훨씬 적게 들었다. 대화형 AI 데이터세트 수집 및 훈련방식에 혁신을 가져올 것으로 기대를 모은다.
벤처비트는 19일(현지시간) 페이스북, 로레인 대학, 유니버시티 칼리지 런던 공동연구진이 데이터세트 수집 방식을 게임화해 연구한 결과 대화형 AI(챗봇·스마트 스피커 음성비서)의 성능 향상 성과를 확인할 수 있었다고 보도했다.
연구진은 향후 이 훈련 코드, 모델, 그리고 데이터 세트를 공개적으로 사용할 수 있도록 할 계획이다.
페이스북은 앞서 챗봇이나 스마트 스피커를 가동시켜 줄 AI 대화 모델 성능을 개선하기 위해 문자 기반의 판타지 역할 놀이 게임(롤플레잉게임)을 시범 운영한 적이 있다.
◆기존 자연어처리(NLP) 연구의 고정된 데이터세트 모델 사용 단점 해소
페이스북 연구원들은 발표전 사전 인쇄 논문에서 이 방식의 데이터 수집과 수집된 데이터로 AI모델을 재교육하는 것을 반복하는 게임을 소개하고, 이 게임에 참여한 게임플레이어의 게임 지속 비율(시간)을 사용해 이 방식의 대화형 AI 모델 정확도를 평가했다. 그 결과 기존 크라우드 데이터 소싱 방식보다 월등한 성과(수치)를 보였다.
공저자들은 게임을 이용한 이 실험에서 크라우드 소싱 발음의 5분의 1 비율로 데이터를 얻었고, 그들의 게임이 평생 대화학습을 가능케 한다는 증거를 제공했다고 주장한다.
사람들은 다른 사람들과 더 넓은 세상과의 상호작용을 통해 그들의 삶에서 언어를 사용하는 것을 배우지만, 자연어 처리(NLP) 연구는 종종 고정된 데이터 세트와 얼어붙은 모델(frozen model)을 사용하게 된다. 이 패러다임은 AI 모델이 훈련 시간에 인간과 상호작용하는 것을 막는데, 이는 성능 향상을 방해하는 제약 요건이 된다.
대안은 지속적으로 AI 모델을 재교육하는 것이지만, 이것은 비용이 많이 든다. 많은 기업들이 크라우드소싱을 통해 데이터를 수집하고 있는데 이 때 연구자들은 아마존 미케니컬 터크(Amazon Mechanical Turk)와 같은 플랫폼을 통해 크라우드 소싱에 참여한 작업자들에게 돈을 지불하기 때문이다.
크라우드 소싱 참여자들은 흥미보다는 지급되는 돈에 의해 동기가 부여되기 때문에 예산 초과와 함께 품질낮은 데이터가 발생할 수 있다.
◆게임방식, 내적 동기에 의해 유발된 대화 이용해 반복적 학습 가능
페이스북 연구자들이 창안해 낸 이 게임은 AI모델이 사람 게임 플레이어의 ‘내적인 동기에 의해 유발된’ 대화로부터 반복적으로 배우는 것을 목표로 한다.
핵심은 이 게임을 한명의 사람 플레이어와 하나의 AI로 이뤄지는 두 에이전트가 수행한다는 것이다.
각 에이전트에게는 게임 내에 설명된 587개 장소 중 한 곳에서, ‘이름’과 ‘백 스토리’를 가진 630여 캐릭터 풀 가운데 하나의 캐릭터가 할당된다.
두 에이전트는 시나리오에서 주어진 캐릭터의 대화 롤플레이를 수행하게 되며, 그러는 동안 자동화된 던전 마스터가 플레이어의 역할 수행 능력 품질을 평가해 주어진 맥락에 맞는 그럴듯한 대화를 별점 1~5개로 평가한다.
이들 하위 점수들(sub-scores)이 합산돼 총점이 리더보드(선두 그룹 선수들의 성적을 표시하는 게시판)에 올라가 다른 모든 플레이어들과 비교되고, 플레이어들은 대화를 통해 일정한 점수를 얻으면 게임 속 캐릭터를 대표하는 배지를 얻는다.
게임 내 대화 내용의 공격성 및 성별 언어에 대한 면밀히 조사가 이뤄지며, 에이전트 당 6회전, 즉 총 12회 전으로 구성된다. 각 플레이어의 플레이 마지막 부분에서는 다음과 같은 세 가지 선택 사항이 제시된다.
▲이 캐릭터로 계속 플레이 하지만 대화할 새로운 캐릭터를 만나기 위한 새로운 위치로 이동하기 선택.
▲같은 방에 있으면서 대화할 새로운 캐릭터가 도착할 때까지 기다리기 선택.
▲새로운 설정을 통해 완전히 새로운 한 쌍의 캐릭터로 롤플레이를 바꾸기 선택.
◆1만3188명 개인발언을 모델삼아 AI 훈련해 대화품질 평가
페이스북 연구진은 4만1131 라운드의 게임을 한 이용자 1만3188명을 모집하는 광고를 내보냈고, 개인 발언으로 모델을 훈련해 해당 플레이어들 사이에 오간 교류의 품질을 평가했다. 그 결과 이 게임 방식으로 80.63%의 모델 정확도를 얻는 데 드는 비용은 크라우드 소싱 방식의 8분의 1에 불과했다. 이는 부분적으로는 높은 참여율 때문이었는데 게임에 지속적으로 참여하려는 사용자의 비율은 68%에서 75%에 이르렀다.
연구자들에 따르면, 게임 플레이어는 일반적으로 퀘스트 탐색과 같은 감정적이고 액션으로 가득 찬 상호작용을 포함하는 ‘자극적인(exciting)’ 대화를 추구하는 반면, 크라우드소싱 대화 참여자들은 더 차분하고 침착하며 건조한 주제에 대해 긴 시간 동안 기꺼이 토론하는 경향을 보였다.
물론 게임 플레이어들은 대화 중에 ‘찌르다(stab)’나 ‘죽이다(kills)’와 같은 공격적 단어를 더많이 사용했지만, 이모티콘뿐만 아니라 노골적으로 우호적인 행동(‘스마일(smiles)’,‘껴안다 (hug)’같은 행동과 은어(‘ur(너의)’, ‘yo(여어~)’, ‘dude(녀석)’)도 사용했다.
연구자들은 이같은 더 ‘자연스런’ 대화가 사람들의 상호작용을 더 정확히 반영하는 AI모델을 이끌어 낸다고 주장한다. 심지어 가장 낮은 품질의 데이터조차도 유용한 신호를 제공한다고 말한다.
공저자들은 “우리는 이러한 접근방식이 (돈을 받는 크라우드 소싱 참여자들 대상 실험에서와는 달리) 실제 현장 상황에서 사람과 상호 작용하면서 학습모델을 지속적으로 발전시킬 수 있음을 보여주기에 흥미롭다”고 썼다. 또 “이는 많은 커뮤니티의 작업에서 만연하고 있는 제한된 정적 데이터 집합 설정에서 벗어나는 패러다임의 전환을 나타낸다”고 덧붙였다.
연구진은 앞으로 이 훈련 코드, 모델, 그리고 데이터 세트를 공개적으로 사용할 수 있도록 할 계획이다.
특히 이 작업은 AI와 인간이 플레이어 캐릭터로서 상호작용하는 텍스트 기반 게임 형태의 연구 환경인 ‘LIGHT’에 기반을 두고 있다.
앞서 지난해 11월 페이스북, 로레인 대학, 유니버시티 칼리지 런던의 데이터 과학자들은 이 최신 사전 인쇄 논문에서 설명한 것과 유사한 게임 세계를 만드는 접근법을 연구했다.
이들은 LIGHT의 콘텐츠를 이용, 위치와 캐릭터를 구성적으로 배열하고 새로운 콘텐츠를 즉석에서 생성할 수 있는 모델을 설계했다. 이를 통해 기계학습 알고리즘이 어떻게 다양한 요소를 모아 창의적으로 조립하는 법을 배우는지 보여줬다.
[관련기사] 엔비디아, 온라인 GPU 행사서 AI·데이터사이언스 등 최신 기술 소개
[관련기사] 페이스북, 인스타그램 사용자 생체정보 불법 수집 혐의 피소
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com