마이크로소프트, 비학습 데이터로 응답하는 언어 모델 ‘고델(GODEL)’ 공개

훈련 데이터에 포함되지 않은 외부 정보를 기반으로 응답
쿼리 유형과 정보 소스에 제한이 없는 대화 에이전트 구축
훈련할 때 사용할 수 없었던 정보를 기반 데이터에 통합
사전 훈련된 모델을 기반으로 특정 작업에 대해 미세 조정

고델은 대화 에이전트에 대화 내용 뿐만 아니라 훈련에 사용된 데이터에 포함되지 않은 외부 정보를 기반으로 응답을 생성할 수 있는 기능을 제공한다.(사진=마이크로소프트)

가상비서나 챗봇과 같은 대화 에이전트가 레스토랑 추천과 같은 주제별 전문 지식을 제공하는 것 외에도 지역의 역사나 최근 스포츠 경기에 대한 대화에 참여할 수 있다면 어떨까? 또한 에이전트의 응답이 최근의 이벤트와 이슈를 지속적으로 반영한다면 어떨까? 마이크로소프트는 대화 에이전트를 위한 새로운 오픈 소스 언어 모델인 ‘고델(GODEL, Grounded Open Dialogue Model)’을 공개했다. 고델은 문제를 해결하는 작업 지향 대화와 잡담과 같은 일반적인 소통을 위한 사회적 대화가 모두 가능하도록 설계됐다.

사전 훈련된 언어 모델은 이러한 대화 에이전트의 기반이 되는 기술인 대화형 AI를 구동하는 엔진 중 하나다. 마이크로소프트에 따르면 고델은 대화 에이전트에 대화 내용 뿐만 아니라 훈련에 사용된 데이터에 포함되지 않은 외부 정보를 기반으로 응답을 생성할 수 있는 기능을 제공한다.

예를 들어 사용자가 지역 레스토랑에 대해 문의할 경우 해당 장소가 훈련에 사용된 데이터에 포함되지 않았더라도 모델은 응답할 수 있다. 여기에는 레스토랑에 대한 데이터베이스에 저장된 정보와 같이 구조화된 콘텐츠와 레스토랑 리뷰, 위키피디아(Wikipedia) 기사 및 웹에서 찾을 수 있는 기타 공개 자료와 같은 구조화되지 않은 콘텐츠가 모두 포함된다.

고델은 마이크로소프트가 2019년에 발표한 최초의 대규모 사전 훈련 언어 모델인 DialoGPT의 개선된 대화형 언어 모델이다. 고델은 응답할 수 있는 쿼리 유형과 가져올 수 있는 정보 소스에 제한이 없는 대화 에이전트를 만드는 것을 목적으로 한다.

고델의 주요 특징 중 하나는 대화 에이전트가 정보를 검색하는 소스를 결정할 때의 유연성이다. 이러한 유연성은 다양한 대화 환경에서 고델의 다재다능함을 보여준다. 예를 들어 누군가가 지역 식당에 대해 문의하는 경우 고델은 해당 장소가 훈련에 사용된 데이터에 포함되지 않았을지라도 구체적이고 정확한 응답을 제공할 수 있다. 응답은 근거 정보의 유무, 문서, 검색 결과(구조화되지 않은 텍스트) 또는 데이터베이스에서 가져온 정보(구조화된 텍스트)에 따라 달라진다.

고델의 응답은 근거 정보의 유무, 문서, 검색 결과(구조화되지 않은 텍스트) 또는 데이터베이스에서 가져온 정보(구조화된 텍스트)에 따라 달라진다.(사진=마이크로소프트)

또한 모델을 훈련할 때 사용할 수 없었던 정보를 기반 데이터에 통합할 수 있기 때문에 모델을 최신 상태로 유지하는 데 도움이 된다. 예를 들어 2022년 동계 올림픽 이전에 모델이 개발된 경우에도 고델은 해당 대회에 대한 세부 정보와 승자 목록을 업데이트해 제공할 수 있다.

고델의 또 다른 특징은 광범위한 대화 응용 프로그램이다. 이전 모델인 DialoGPT 및 기타 사전 학습된 대화 모델은 주로 챗봇에 중점을 두었지만 고델은 작업 지향, 질문 응답 및 잡담을 포함하여 다양한 대화에 적용할 수 있다. 고델은 일반적인 질문이나 특정 작업에 대한 요청을 포함하여 다양한 쿼리 유형에 대해 합리적인 응답을 생성할 수 있다. 고델은 트렌스포머(Transformer) 기반 인코더-디코더 모델로 매개변수화되며 외부 텍스트에 기반한 응답 생성을 위해 미세 조정(fine-tuning)된다.

다음 예는 고델이 다양한 소스를 사용하여 동일한 사용자 쿼리에 응답하는 다양한 대화 시나리오를 보여준다.

주제 전환에 대응하고 학습 데이터에 포함되지 않은 현재 이벤트에 대한 질문에 응답하는 고델

이 예는 사용자가 초기 질문과 전혀 관련이 없는 질문을 하는 시나리오에서 고델이 어떻게 응답하는지 보여준다. 관련성이 없음에도 불구하고 고델은 적절하게 응답하면서 대화를 정상 궤도에 올리려고 노력한다.

지역의 레스토랑에 대한 추천을 얘기하는 갑자기 최근에 발생한 토네이도에 대한 얘기를 했을때 웹에서 관련 정보를 가져와 응답하고 원래 주제로 돌아 가려고 하는 내용을 보여준다.(사진=마이크로소프트)

구조화된 데이터베이스에 액세스해 질문에 응답하는 고델

이 예는 모델이 데이터베이스와 같은 구성 요소에 연결된 정보를 기반으로 고델이 어떻게 응답하는지 보여준다. 이 경우 관련 환경에는 현재 대화와 관련된 두 개의 레스토랑 데이터를 반환하는 데이터베이스의 구조화된 정보가 포함된다.  

추천한 레스토랑 중 한곳을 선택해 예약을 요청했을 때 레스토랑 데이터베이스의 정보를 이용해 요청에 응답하는 내용을 보여준다.(사진=마이크로소프트)

요청된 정보가 데이터베이스의 일부가 아닌 구조화되지 않은 텍스트를 통해 정답을 검색해야할 경우에 응답하는 고델

이 예는 데이터베이스와 같은 기존 구성 요소를 사용할 수 없는 경우에 고델이 어떻게 응답하는지 보여준다. 이 경우 고델은 검색 엔진을 통해 레스토랑 리뷰를 검색한다. 응답은 대화의 맥락과 검색된 텍스트의 스니펫(레스토랑 리뷰)을 모두 반영한다.

선택한 식당에 대해 질문했을 때 검색엔진을 통해 레스토랑 리뷰를 검색해 응답하는 내용을 보여준다.(사진=마이크로소프트)

대화식 질의 응답에 응답하는 고델

이 예는 사용자가 일반적인 질문을 하고 컨텍스트가 웹에서 관련 정보를 검색하는 데 필요한 단어를 대화 에이전트에 제공하는 질문 응답 시나리오에서 고델이 응답하는 방법을 보여준다.

질문 중에서 검색에 필요한 단어를 대화 에이전트해 제공해서 검색한 결과를 토대로 응답하는 내용을 보여준다.(사진=마이크로소프트)

마이크로소프트는 코드와 모델을 공개적으로 사용 가능하도록 고델을 오픈 소스로 출시했다., 대형 및 초대형의 세 가지 버전의 고델을 사용할 수 있다. 또한 사전 훈련된 모든 모델을 재훈련하고 위키피디아 위젯 및 인터넷 데이터 세트 위젯, 작업 완료 대화 상자와 같은 특정 작업에 대한 모델을 미세 조정하는 데 필요한 코드도 제공한다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사]GPT-4에서 무엇을 기대할 수 있을까?