AI 편향 해결 위한 언어모델 출시
1,750억개 매개변수의 대형 모델
협력 연구를 목적으로 무료 공개
메타(Meta)가 대규모 언어 모델 OPT(Open Pretrained Transformer)를 출시했다. OPT는 대형 언어 모델의 편향과 오용을 방지하기 위한 연구를 목적으로 비상업적 라이선스로 공개된다.
1,000억개 이상의 매개변수가 있는 자연어 처리(NLP) 시스템인 대형 언어 모델은 지난 몇 년 동안 NLP 및 인공지능(AI) 연구를 변화시켰다. 방대한 양의 다양한 텍스트에 대해 훈련을 받은 언어 모델은 인간과 같은 텍스트를 생성하거나 대화하는 놀라운 능력을 가지고 있지만 편견, 유해한 언어, 허위 정보를 만들어 내는 위험한 능력도 가지고 있다.
메타는 학계 연구원, 시민 사회, 정책 입안자 및 산업계 종사자가가 협력해 '책임 있는 AI'와 특히 책임 있는 대형 언어 모델에 대한 명확한 지침을 개발해야 한다고 주장했다. 이를 위해 AI 커뮤니티가 훨씬 더 광범위한 분야에서 이러한 모델에 액세스할 수 있어야 한다고 강조했다.
이번에 공개하는 OPT-175B는 GPT-3 수준의 언어 정확성과 유해성을 제공하는 1,750억개의 매개변수(학습 중에 조정되는 신경망의 가중치)를 가진 언어 모델이다. 오픈AI는 GPT-3를 유료 서비스로 제공하고 모델 자체나 코드를 공유하지 않았지만 메타는 OPT-175B의 사전 훈련된 모델, 기본 코드 및 개발 로그북까지 공개했다.
AI 연구가 발전하려면 광범위한 과학 커뮤니티가 최첨단 모델의 잠재력을 효과적으로 탐색하는 동시에 취약성을 조사할 수 있어야 한다. 많은 대중이 사용할 가능성이 높거나 그 결과물의 영향을 받을 수 있는 세계에 대형 언어 모델을 출시하는 것은 책임이 따른다. 이 모델이 그 자체로 유해한 콘텐츠를 생성할 수 있을 뿐만 아니라 그 위에 구축하는 애플리케이션(예를 들어 GPT-3에 기반한 DALL-E 2)을 통해 유해한 콘텐츠를 생성할 수도 있다.
대형 언어 모델이 제기하는 한계와 위험은 여전히 잘 파악되지 않는다. 이러한 모델에 직접 액세스하지 않으면 발생 가능한 피해에 대한 탐지나 완화 전략을 설계하는 능력이 제한된다. 이론적으로 더 많은 사람들이 문제를 해결하도록 하는 것이 도움이 된다. 그러나 언어 모델은 훈련에 막대한 양의 데이터와 컴퓨팅 성능이 필요하기 때문에 이러한 모델에 대한 액세스는 리소스가 풍부한 기술 회사로 제한되어 왔다.
메타는 “OPT-175B가 대규모 언어 모델 생성의 최전선에 더 많은 목소리를 제공하고 커뮤니티가 책임 있는 릴리스 전략을 공동으로 설계하는 데 도움이 되며 현장에서 대규모 언어 모델 개발에 전례 없는 수준의 투명성과 개방성을 추가하기를 바란다”고 전했다.
OPT-175B 사용을 원하면 오픈 소스 코드 및 소규모 사전 훈련된 모델(바로가기), 요청 양식(바로가기), 그리고 논문(바로가기) 액세스가 가능하다.
AI타임스 박찬 위원 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com