8개월 만에 GPT-3의 최소 성능에 준하는 모델 GPT-Neo 오픈소스로 공개
기술 제한 반대파, 연구 그룹 엘레우테르AI(EleutherAI) 자체 결성  
“GPT의 민주화 첫 발걸음”, "오픈소스보다 오픈" 커뮤니티 환영

2020년 자연어처리 인공지능 모델 GPT-3는 세계를 놀라게했다. 심리상담을 하고 블로그 글을 작성해 사람의 글을 제치고 조회 수 1위를 차지하며 인간 언어를 완벽히 구사하는 모습을 보였다. 하지만, 얼마 지나지 않아 오픈AI가 마이크로소프트에 GPT-3 독점권을 넘겼고 GPT-3를 활용한 웹사이트들과 서비스들이 자취를 감췄다.

( 사진 = 일론 머스크 트위터 )
( 사진 = 일론 머스크 트위터 )

오픈AI의 설립 멤버 중 한 명인 일론 머스크(Elon Musk)도 이러한 결정에 “OpenAI의 ’Open‘이 열린(Open) 이 아닌가 보다”라며 비판하기도 했다. 

이에, 인공지능 발전에 핵심 기술의 제한을 반대하는 이들이 2020년 7월 자체 연구 그룹 엘레우테르AI(EleutherAI)를 결성, 21일(현지 시간) 8개월 만에 GPT-3 오픈소스 버전 GPT-Neo 모델을 공개했다.

오픈소스 자연어처리 모델 GPT-Neo의 개발사 EleutherAI ( 사진= EleutherAI 깃허브)
오픈소스 자연어처리 모델 GPT-Neo의 개발사 EleutherAI ( 사진= EleutherAI 깃허브)

1월 825GB 분량의 수집 및 훈련에 사용이 가능한 영어 텍스트 데이터셋 더파일(The Pile)을 무료 공개하며 커뮤니티에서는 “GPT의 민주화(Democratization) 첫 발걸음”이라며 환영받은지 두 달 만이다. 

개발 초기 엘레우테르AI는 텐서플로 리서치 클라우드(TFRC)만을 이용해 GPT-2를 재현하며 GPT-Neo 기반 코드를 구축했다. 하지만 GPT-3 급의 모델 학습을 위해 부족한 TFRC의 TPU의 컴퓨팅 능력을 암호화 자산 채굴 업체 코어위브(CoreWeave)로부터 무상공급 받는 클라우드를 통해 투트랙으로 개발하며 보완했다.

엘레우테르AI는 자사 깃허브를 통해 “GPT-Neo가 GPT-3의 최소 성능에 준한다”고 밝혔다. 미래에는 매개변수 자릿수를 하나 떨어뜨리고 경량화한 최종 모델을 계획하고 있다.

GPT-Neo는 제3자가 서비스를 활용할 수 있게 깃허브를 통해 코드를 공유하고 구글 콜라보 노트북을 통해 파인 튜닝, 트레이닝, 샘플링 방법을 공유한다. 소식을 접한 레딧 커뮤니티의 사용자들은 “오픈AI 보다 오픈하다”, “감사하다”라며 오픈소스로 공개된 자연어처리 모델을 환영했다.

한편, 오픈소스 자연어처리 모델은 GPT-Neo 외에도 다수 존재한다. 한 개인 개발자는 GPT-3을 재현-발전시킨 모델 GPT-4를 개발 중이다. GPT-4는 오픈AI가 개발하거나 지원하는 프로젝트가 아니다. 개발자 사워프룻(Sourfruit)은 자신이 개발한 오픈AI의 GPT-3에 비해 GPT-4가 프로그래밍 언어도 많이 알고 자연어 처리뿐만 아니라 RC 자동차 조종 및 감정 표출도 할 수 있다고 주장한다.

GPT-Neo 관련 문의와 오픈소스 개발 참여는 엘레우테르AI 디스코드 서버에서 가능하다. 현재 4000여 명의 독립 개발자들이 참여 중이다. 

AI타임스 장준하 기자 juny6287@aitimes.com

 

[관련 기사]MS AI 언어모델, 구글 누르고 '1위' 등극..."아직 인간 실력만큼은 아냐"

[관련 기사]애플이 AI 스타트업을 가장 많이 인수한 사연은?

키워드 관련기사
  • 네이버 하정우 AI 연구소장 “한국어판 GPT-3 청사진 4월 공개”
  • AI 개발 위한 소프트웨어 가속기 'AI SO' 기술에 주목하라
  • [스페셜리포트]①우리 공교육은 정말 미래 교육을 끌어안지 못하고 있나?
  • 키워드

    Tags #GPT-3 #자연어 처리 #NLP