수츠케버 "스케일링 막 내려...추론으로 AI 자의식 생길 것"

오픈AI의 추론 모델의 기반을 만든 일리야 수츠케버 SSI 창립자가 데이터 고갈로 인해 대형언어모델(LLM)의 사전 훈련에 따른 '스케일링 법칙' 시대는 끝났다고 선언했다. 대신, 추론이 새로운 인공시대(AI)를 열 것이며, 특히 이로 인해 인간의 예상을 뛰어넘는 자의식을 갖춘 초지능(super intelligence)이 등장할 것이라고 예고했다.

수츠케버 창립자는 13일(현지시간) 캐나다 밴쿠버에서 열린 '뉴립스(NeurIPS)' 컨퍼런스에서 "우리가 아는 사전 훈련은 의심할 여지 없이 끝날 것"이라고 말했다.

그는 이유로 석유처럼 한정된 데이터가 고갈됐다는 점을 들었다. "컴퓨팅은 성장하고 있지만, 데이터는 성장하지 않는다. 왜냐하면 인터넷은 하나뿐이기 때문"이라며 "우리는 최고 데이터를 달성했고, 더 이상은 없을 것"이라고 밝혔다.

이와 관련, 상당수 전문가는 앞으로 2년 내 AI 학습에 사용할 인터넷 데이터가 바닥을 드러낼 것으로 보고 있다. 그러나 수츠케버 창립자는 한술 더 떠 모델 성능 향상에 도움이 될 만한 데이터는 이미 바닥을 드러냈다고 단언한 셈이다.

따라서 그는 차세대 AI 개발이 에이전트와 추론 중심으로 변할 것이라고 밝혔다.

특히 AI 에이전트에 대해서도 오랜 기간 연구해 왔다며, "AI가 에이전트와 추론 능력을 동시에 갖추면 더 깊은 이해력은 물론, 자의식(self-aware)까지 갖게 될 것"이라고 예고했다.

이는 추론 향상으로 인해 아무도 예측하지 못한 AI 발전 상황이 벌어진다는 말이다. 현재 AI는 학습한 것에 따라 패턴을 찾아내는 수준이지만, 추론을 동원하면 사람과 같이 생각하는 방식으로 문제를 단계별로 해결할 수 있어 상상을 초월하는 발전이 가능하다는 것이다.

"시스템이 더 많이 추론할수록 인간이 이를 예측하는 것은 불가능해진다"라며 "인간 최고의 체스 선수라도 AI를 예측하는 것이 불가능한 것처럼, 진정한 추론 시스템이 작동하면 아무도 AI가 어떻게 될지 예측할 수 없다"라고 강조했다. 수츠케버 창립자의 SSI는 이런 문제를 해결하는 '초지능 안전'을 목표로 하고 있다. 

동시에 추론이 데이터 부족을 해결하는 방법이라고도 설명했다. "그들은 제한된 데이터로부터 사물을 이해할 것"이라며 "그들은 혼란스러워하지 않을 것"이라고 밝혔다.

더불어 AI 시스템의 스케일링 법칙과 진화 생물학을 비교, 종에 따른 두뇌와 신체 질량의 관계를 보여주는 연구를 인용했다. 대부분 포유류가 비슷한 두뇌-신체 크기의 스케일링 패턴을 따르지만, 인류의 조상인 유인원은 이 법칙을 벗어나 두뇌 크기가 월등하게 크다는 것이다.

즉, 인류의 진화가 유인원의 두뇌에서 다른 포유류와는 다른 확장 패턴을 보인 것처럼, AI도 현재 사전 훈련 방식을 넘어 새로운 확장 방식을 통해 급속한 발전을 이룰 수 있다는 것이다. 그리고 그 핵심을 추론으로 본 것이다.

지난 9월에도 수츠케버 창립자는 흡사한 내용을 밝힌 바 있다. 로이터와의 인터뷰에서 "기존 작업과는 조금 다른 산을 발견했다. 이 산꼭대기에 오르면 패러다임이 바뀌고, AI에 대해 우리가 알던 모든 것도 변할 것"이라며 기존 스케일링과는 다른 개념으로 초지능(super intelligence)을 개발하겠다고 말했다.

수츠케버 창립자는 오픈AI 재직 시 '테스트-시간 계산(test-time computation)'이라는 이론을 발전, 현재 'o1' 모델이 기반이 된 '큐스타(스트로베리)'의 기반을 만들었다. 지난 2015년 오픈AI 창립 멤버로 합류, GPT 모델 개발을 이끌어온 대표적인 AI 개발자 중 하나다.

지난 5월 오픈AI 퇴사 이후 외부 접촉을 꺼려왔으며, 공식 석상에서 연설한 것은 꽤 오랜만이다. 그래서 이날 강연에는 수천명이 몰려든 것으로 알려졌다.

임대준 기자 ydj@aitimes.com