"오픈AI, 'GPT-5' 사전훈련 두번 진행했지만 기대 못 미쳐"

오픈AI의 차세대 주력 모델인 'GPT-5', 일명 '오라이온'이 상당한 출시 지연을 겪고 있다는 보도가 등장했다. 대부분 내용은 이미 알려진 것이지만, 새 모델 출시를 위해 사전훈련을 두번이나 진행했다는 사실이 밝혀졌다.

월스트리트저널(WSJ)은 20일(현지시간) 익명의 내부 관계자를 인용, 오픈AI가 오라이온 프로젝트에서 잇따라 문제에 부딪혔으며 이 때문에 출시가 계속 지연되고 있다고 전했다.

이에 따르면 오픈AI는 18개월 이상 새로운 모델 개발에 매달렸지만, GPT-4에 비해 기대했던 만큼의 성능 발전을 이루지는 못했다. GPT-5라는 이름을 붙일 만큼 충분히 똑똑한지 여부는 주로 직감이나 많은 기술자들이 말하는 분위기에 따라 결정되는 데, 지금까지는 분위기가 좋지 않은 것으로 전해졌다. 

또 추론 모델을 통합하려는 노력에도 불구하고, 전반적인 발전 속도는 예상보다 느려 인공지능(AI) 개발이 정체기에 접어들었다는 우려를 낳고 있다는 내용이다. 

대부분은 지난달 9일 디 인포메이션이 보도한 내용과 일치한다. GPT 모델 개선 속도 둔화에 따라 오픈AI가 전략을 변경, 사전 훈련으로 모델 성능을 대폭 끌어올리는 것보다 사후 강화학습이나 추론 기능 강화에 초점을 맞춘다는 내용이다. 이 소식 이후로 대형언어모델(LLM)의 '스케일링 법칙'이 한계에 달했다는 것이 정설로 굳어졌다.

그러나 이번 소식 중에는 오픈AI가 그동안 최소 2번이나 사전 훈련을 반복 진행했다는 내용이 포함됐다. 각 사전 훈련은 약 6개월이 걸렸으며, 훈련 비용은 각각 5억달러(약 7250억원)에 달하는 것으로 알려졌다.

이전 모델보다 성능이 향상된 것은 맞지만, 총 10억달러(약 1조4500억원)를 투입한 것에 비해 거둔 성과는 적다는 설명이다.

또 올 한해 동안 GPT-5 출시를 예고했던 소식과도 시기가 맞아 떨어진다.

오픈AI는 지난해 3월 GPT-4를 출시하고, 지난해말부터 GPT-5 훈련을 시작한 것으로 알려졌다. 이어 8월 중 GPT-5가 출시될 것이라는 예측이 등장했고, 얼마 전에는 12월 중 오라이온을 선보일 것이라는 보도도 나왔다. 결국 상반기에 훈련한 모델에 이어 하반기에 훈련한 모델 두개가 모두 기대에 못 미친 것으로 볼 수 있다.

훈련 과정에 갖가지 방법을 모두 동원했다는 내용도 추가로 밝혀졌는데, 이 역시 이전 소식과 흡사하다. 다만, 40여일 전보다 좀 더 자세한 내용이 등장했다.

오픈AI는 지난 1년간 20곳이 넘는 대형 글로벌 미디어와의 계약을 통해 고품질 데이터를 확보했다. 하지만 이를 통해서도 사전훈련 성과가 뚜렷하게 드러나지 않자, 코드를 작성하거나 수학 문제를 풀어서 새로운 데이터를 만드는 사람들을 고용했으며 'o1'에서 만든 합성 데이터도 사용했다는 설명이다.

또 오픈AI 내부에서는 슈퍼컴퓨팅 인프라가 부족한 것으로 이유로 든다는 말이 나왔다. 얼마 전 스타트업 크루소 및 오라클과의 협력으로 엔비디아 '블랙웰' 5만장을 투입한 세계 최대 규모의 데이터센터 구축에 나선 것이나, 브로드컴-TSMC와의 파트너십으로 자체 AI 칩을 개발 중인 것이 모두 이런 노력을 대변한다는 설명이다.

물론 당장 대규모 데이터센터를 구축한다고 해도, 모델의 사전 훈련을 반복하려면 최소 6개월이 걸린다는 결론이 나온다. 미국 텍사스에 건설 중인 새로운 데이터센터는 내년 상반기 완공이 목표다.

오픈AI가 사전훈련을 마친 두번째 모델을 또 폐기하고 엄청난 비용을 들여 새 모델 구축에 나설지, 아니면 사후훈련을 더 강화해 적당한 수준에서 출시할지는 알려지지 않았다. 

오픈AI는 이에 대한 논평을 거부했다. 다만, 12월 출시설이 등장했을 당시 "올해 안으로 오라이온이나 GPT-5라는 모델을 출시할 계획이 없다"라고 밝힌 바 있다.

한편, 구글도 이런 성능 문제로 비슷한 고민을 겪었던 것으로 알려졌다. 그러나 구글은 지난 11일 '제미나이 2.0' 출시를 강행했다. 인공일반지능(AGI) 성능을 달성했다는 말 대신, "AI 에이전트에 최적화된 모델"에 초점을 맞췄다.

오픈AI도 내년 1월 '오퍼레이터'라는 에이전트를 발표한다는 보도가 등장한 바 있다.   

임대준 기자 ydj@aitimes.com