스탠퍼드대 페이페이 리·퍼시 리앙 등 100여명 논문 발표
기초부터 올바르게 훈련되지 않은 언어모델 영향력 지적
“불안정한 방식으로 상호작용할 뿐” 불평등 영구화 초래
환경피해 속출.. 과도한 컴퓨팅으로 심각한 탄소배출 초래
미 스탠퍼드대 인간중심연구소(HAI) 연구진이 대규모 언어모델과 AI윤리 상관관계에 관한 논문을 발표했다. 지난 18일(이하 현지시간) 벤처비트·싱크드 등 IT 전문매체에 따르면 이 논문 작성에는 페이페이 리(Fei-Fei Li), 퍼시 리앙(Percy Liang) 등 인공지능학계 대가들이 중심적인 역할을 한 것으로 알려졌다.
16일 발표된 논문은 ‘기초 모델의 기회와 리스크(On the Opportunities and Risks of Foundation Models)’라는 이름으로, 현재 아카이브(arXiv)에 게재돼있다. HAI에서 대규모 언어모델의 토대부터 다양한 사회적 영향을 분석·연구하는 CRFM 이니셔티브에 소속된 100여명의 연구진이 공동저자로 이름을 올렸다. CRFM은 ‘센터 포 리서치 온 파운데이션 모델(Center for Research on Foundation Models)’의 약자다.
2018년 탄생한 구글의 버트(BERT)를 시작으로 최근 몇 년 사이 대규모 언어모델이 속속 등장했다. 1750억 개 매개변수(파라미터) 기반의 GPT-3(오픈AI 개발)는 현재 수만 명의 개발자가 300여 개 이상의 앱에서 사용하고 있다. 꾸준한 수요 덕에 GPT-3가 매일마다 생산하는 단어 수는 평균 45억 개.
이처럼 대규모 언어모델로 인한 AI 패러다임이 바뀌고 있다. 연구진은 논문에서 이러한 흐름이 과연 옳은 것인지 질문을 던진다. 과연 언어모델이 컴퓨터 비전, 자연어 처리(NLP), 로봇 공학, 추론·검색과 같은 AI 분야에서 보편화 돼도 괜찮은지 묻는다.
200페이지 이상의 논문에서 연구진은 대규모 언어모델을 크게 ▲출현(Emergence)과 ▲균질화(Homogenization) 등 두 가지 틀로 나누어 그 중요성에 대해 설명했다.
이들은 대규모 언어모델의 출현과 균질화되어가는 과정에 대해 “잠재적으로 불안정한 방식으로 상호작용한다”고 지적했다. 언어모델은 시스템 구성이 명확하고 올바르기 이전에 ‘출현’해 모델의 역량이 불확실하고 결함(오류)이 발견돼도 그 수요를 늘린다. 출현에 앞서 기초단계에서부터 제대로 검증되지 않은 언어모델은 광범위한 애플리케이션에서 모든 사용자를 아우르는 ‘균질화’를 이루어 내기가 더욱 어려워진다.
연구진이 논문에서 주장하는 내용은 쉽게 말해 언어모델이 내포하는 잠재적 편향성과 AI윤리에 관한 것이다. AI 시스템이 사회에 깊숙이 파고들면서 부정적 영향에 대한 우려는 점점 증가하고 있다. 훈련된 모델이 전체가 아닌 한쪽으로 편향된 데이터만 학습한다면, 그로 인한 불평등이 영구화될 수 있다.
논문은 언어모델의 잠재적 편향 외에도 환경적 관점에서 다른 부정적인 영향을 미칠 수 있다고 지적했다. 지난해 6월 엠마 스트루벨 박사가 이끄는 매사추세츠 주립대 애머스트 캠퍼스 연구진은 언어모델 개발 시 에너지 사용률에 대한 결과를 발표했다.
이들 연구에 따르면 구글은 BERT를 훈련시키는 동안 1438lb(약 652kg)의 이산화탄소를 발생시켰다. 이는 비행기가 뉴욕에서 샌프란시스코를 왕복으로 오갈 때 뿜어내는 양과 같으며, 미 전국에서 달리는 자동차 평균 배출량의 약 5배에 해당하는 수치다. 오픈AI도 자체 조사를 실시해 GPT-3와 같은 언어모델들이 하루에 수백 페타플롭(PF)의 컴퓨팅을 요구한다는 사실을 인정했다.
그렇다면 이를 해결하는 방안은 무엇일까.
연구진은 이미 엄청난 성능의 언어모델이 선보이기 시작했기 때문에, 이 같은 흐름을 중심으로 AI 시스템이 구축되는 방식이 오랫동안 지속될 것이라고 전망한다. 그러나 “내구성 있는 기반에서 이러한 모델의 책임 있는 개발과 배치를 보장하기 위해 다양한 부문, 기관 간 협업이 더욱 중요하다”고 강조했다.
퍼시 리앙 교수도 벤처비트와의 인터뷰에서 “언어모델 개발자들에게 과도한 컴퓨팅으로 인한 에너지 소비전력을 줄이고, 편향성을 배제하는 이론 교육이 정부 차원의 데이터셋을 통해 이뤄져야 한다”고 제안했다.
리앙은 이어 “언어모델은 매우 초기 단계에 있기 때문에 전문적 규범이 미비하다”며 “공동체 의식을 갖고 이 기술이 윤리적으로나 사회적으로 책임감 있는 방식으로 개발되고 배치될 수 있도록 조치를 취해야 한다”고 주장했다.
AI타임스 박혜섭 기자 phs@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com