다리오 아모데이 앤트로픽 CEO가 몇년 뒤 등장할 대형언어모델(LLM)이 지금과는 비교도 안 될 정도로 발전해 있을 것이라고 예측했다. 일부에서 제기하는 인공지능(AI) 한계론을 부정하는 발언이다.
테크크런치는 지난 21일(현지시간) 미국 캘리포니아에서 열린 디스트럽트 행사 중 아모데이 앤트로픽 공당 찰립자 겸 CEO와의 인터뷰를 통해 AI의 한계에 대한 이야기를 나눴다고 소개했다.
아모데이 CEO는 구글의 수석 과학자를 거쳐 오픈AI에서 'GPT-2'와 'GPT-3' 개발 총책임을 맡은 인물이다. 이 때문에 앤트로픽의 AI 챗봇 '클로드'는 '챗GPT'의 라이벌로 꼽히고 있으며, LLM을 거론할 때 이 회사는 오픈AI와 구글, 메타와 더불어 '빅 4'로 꼽히고 있다.
보도에 따르면 이날 행사에서는 LLM이 크기와 기능 면에서 계속 성장할 수 있을지 집중적으로 이야기를 나눴다.
아모데이 CEO는 LLM을 개발하는데 아직은 어떤 기술적인 장벽도 보이지 않는다고 밝혔다. 그는 "지난 10년 동안 우리가 신경망을 훈련하는 데 사용한 규모가 눈에 띄게 증가했으며, 계속 확장하고 있으며 계속해서 더 잘 작동하고 있다"라며 “이것이 앞으로 2~4년간 계속될 것이라고 느낀다. 몇년 뒤 등장할 모델에 비하면 현재 우리가 보는 것은 아무것도 아닐 것”이라고 말했다.
내년에 매개변수가 1000조개에 달하는 모델이 나올 것으로 보느냐는 질문에 대해서는 "1000조개 모델은 일반적인 확장 법칙을 벗어나는 것"이라고 설명했다. 하지만 그는 "모델은 여전히 성장할 것으로 기대한다"고 덧붙였다.
일부 연구자들은 트랜스포머 기반 모델이 아무리 커지더라도 일부 작업은 수행하기가 여전히 어려울 수 있다고 지적한다.예를 들어 2022년 맥아더 펠로우십을 수상한 최예진 워싱턴대학교 컴퓨터공학과 교수는 일부 LLM이 두개의 세자릿수를 곱하는 데 어려움을 겪는다는 점을 밝혔는데, 이는 아무리 큰 매개변수 모델이라고 해도 일부 분야에서는 성능이 미치지 않는다는 것을 시사한다.
하지만 아모데이 CEO는 “오랜 기간 경험을 통해 LLM이 아무것도 할 수 없다는 주장에 대해 회의적인 태도를 갖게 됐다"며 "프롬프트 방식이나 미세조정, 훈련 방식을 바꾸지 않으면 LLM이 조만간 무용지물이 될 것이라는 주장에 반대한다"라고 말했다.
또 "그렇다고 LLM이 무엇이든 할 수 있다거나 미래의 어떤 시점에서는 완벽해질 거라고 주장하는 것은 아니다. 나는 회의론자에 대해서도 회의적”이라고 강조했다.
그는 마지막으로 이런 LLM의 발전은 최소 3~4년 동안 이어질 것으로 내다봤다. 물론 "이후에는 LLM이 어떤 모습으로 변해 있을지는 예상이 안 된다"고 털어놓았다.
임대준 기자 ydj@aitimes.com
