[10월24일] 오픈AI "업스케일링 시대 가고 '시스템 2' 시대 개막"

얼마 전 일리아 수츠케버 SSI 창립자는 스케일링(scaling) 법칙을 뛰어넘는 새로운 단계에 도달했다고 밝혀 주목받았습니다.

스케일링 법칙이란 인공지능(AI) 학습에 사용하는 데이터와 컴퓨팅이 증가할수록, AI 모델 성능이 향상한다는 내용입니다. 지난 10여년간 AI 개발의 원칙으로 통하는 개념으로, 현재 모델 학습에 더 많은 데이터와 GPU 수요를 이끌었습니다.

하지만 수츠케버 창립자는 '조금 다른 방법'을 찾았다며, 이를 통해 초인공지능(Superintelligence)을 개발하겠다고 밝혔습니다.

자세한 설명은 하지 않았으나, 그가 오픈AI에서 현재 추론 중심의 'o1' 모델의 기반이 된 '스트로베리'의 전신, '큐스타(Q*)'를 개발했다는 것은 잘 알려진 사실입니다. 따라서 그도 추론 중심의 모델을 개발할 것으로 예측됐습니다.

그런데 22일(현지시간) 오픈AI의 저명한 연구자가 같은 내용을 언급했습니다. 노암 브라운 오픈AI 연구 과학자가 미국 샌프란시스코에서 열린 TED AI 컨퍼런스에서 무대에 올라 '시스템 2 사고(system two thinking)'라는 용어를 선보인 것입니다. 그는 오픈AI 연구의 핵심 인물로 꼽힙니다.

브라운 연구원은 MIT 테크리뷰의 35세 미만 혁신가 35인 중 한명으로 꼽혔으며, 인간을 뛰어넘는 포커용 AI인 리브라투스(Libratus)와 플루리버스(Pluribus)를 만든 것으로 유명합니다. 특히 메타 재직 시 전략게임 '디플로머시'에서 인간을 이긴 '시세로(Cicero)'라는 AI 개발로도 유명합니다. 다단계 추론과 멀티 에이전트 AI가 전문 분야입니다.

그는 이번 무대에서 "지난 5년 동안 AI에서 이룬 놀라운 진전을 한 단어로 요약하면 바로 규모(scale)"라며 "현재 프론티어 모델은 여전히 ​​2017년에 도입된 것과 동일한 트랜스포머 아키텍처를 기반으로 한다. 가장 큰 차이점은 데이터의 규모와 여기에 들어가는 컴퓨팅"이라고 말했습니다.

하지만 이제는 패러다임이 바뀔 때라며, AI가 단순한 데이터 처리를 넘어 '시스템 2 사고'라는 것으로 이동해야 한다고 강조했습니다. 이는 o1에 적용된 느리고 신중한 추론을 말합니다.

이 점을 강조하기 위해 2017년 최고의 인간 플레이어를 이긴 것으로 유명해진 리브라투스를 개발하던 당시를 예로 들었습니다. "포커 한판에서 봇이 단 20초만 생각하도록 하는 것이 모델을 10만배로 확장하고 10만배 더 오래 훈련하는 것과 같은 성능을 얻었다"라는 것입니다.

처음에는 그도 이런 현상이 버그라고 생각했지만, 결국 3년 연구를 통해 모델을 100배로 확장하는 데 성공했다고 설명했습니다. 그리고 이런 발전도 시스템 2 사고에 비하면 일부분에 불과하다고 덧붙였습니다.

o1의 성능은 이미 많이 알려졌습니다. 그리고 o1의 등장 이후 많은 AI 기업들이 추론에 힘을 주고 있는 것도 사실입니다.

그러나 수츠케버나 브라운과 같은 대표적인 연구자들이 입을 모아 새로운 패러다임이라고 부르는 것을 보면, 단순한 성능 향상을 넘어 중요한 변곡점이 온 것이 아닌가 하는 추측을 일으킵니다.

물론 추론 모델에 대한 회의론도 있습니다. 더 비싼 비용을 내고 몇분을 기다리며 들어야 할 중요한 문제는 그리 많지 않다는 것입니다. 그도 이 점에 동의합니다. 그러나 "매우 중요한 문제에 대해서는 그럴만한 가치가 있다"라고 말했습니다.

이는 비즈니스적으로도 중요한 의미를 가집니다. 더 오래 생각해서 더 정확한 답을 내놓는다면, 환각 문제로 AI 도입을 꺼리는 곳에는 큰 도움이 됩니다. 금융이나 의료 등이 대표적입니다. 한술 더떠 AI의 적용을 확장한다고 설명했습니다. 예를 들어 이 모델은 더 효율적인 태양 전지판 개발을 가속화, 재생 에너지 분야에서 획기적인 진전을 이룰 수 있다고 언급했습니다.

마지막으로 그는 AI 개발이 중대한 시점을 맞았다고 강조했습니다. "이제 우리는 시스템 2 사고방식을 확장할 수 있는 새로운 시기를 맞았다"라며 "이제 시작 단계에 있을 뿐"이라고 말했습니다.

상당수 위대한 발견이나 패러다임의 변화는 시간이 조금 지난 뒤에 인지는 것이 일반적입니다. o1이나 추론 모델은 과대평가일 수도 있고, 과소평가일 수도 있습니다. 특히 단기적으로는 신기술의 영향을 과대평가하지만 장기적으로는 과소평가하는 경향이 있다는 '아마라의 법칙'은 유명합니다.

최근에는 기존 트랜스포머 아키텍처와 스케일링 법칙을 뛰어넘는 대안들이 속속 등장하고 있습니다. 추론 중심의 모델은 물론, '공간지능(spatial intelligence)'이나 '맘바(Mamba)'와 같은 탈 프랜스포머 아키텍처 등이 그 예입니다.

물론 어느 하나가 기술의 폭발적인 성장을 이끌 수 있을지는 미지수입니다. 대신 서로에게 영향을 미치고 통합, 새로운 시대를 열 것이라는 예측이 일반적입니다.

AGI가 등장할지는 알 수 없지만, 그동안 AI나 LLM을 이끌던 구조에서 변화가 일기 시작했다는 것은 부인할 수 없을 것 같습니다. '시스템2 사고'도 그중 하나입니다.

이어 23일 주요 뉴스입니다.

■ 앤트로픽, 오픈AI 앞서 'AI 에이전트' 출시..."아직은 테스트 버전"

앤트로픽이 컴퓨터를 인간처럼 사용, 인간 대신 작업을 처리해 주는 AI 에이전트를 공개했습니다. 아직은 테스트 과정에 불과하다고 했지만, 오픈AI에 선수를 친 것입니다. 이로 인해 이 분야도 본격적인 경쟁이 펼쳐질 것으로 보입니다.  

■ 카카오, AI 모델 라인업 10종 선보여...사양·출시 등은 미공개

카카오가 LLM 3종과 이미지 및 영상 모델 등 총 10종의 AI 모델 개발 사실을 알렸습니다. 모처럼 개발 상황 발표라 기대가 컸습니다만, 모델 세부 사양 등은 공개하지 않았습니다.

■ GPU 슈퍼컴퓨팅으로 역대 가장 큰 소수 발견...'(2^136,279,841)-1'

2ㅡ이 거듭제곱에서 1을 뺀 소수, 즉 '메르센 소수' 중 역대 가장 큰 수가 발견됐다고 합니다. 특히 GPU 슈퍼컴퓨팅이 결정적 역할을 했다고 합니다. 'GPU  만능론'이 나오는 게 아닌지 모르겠습니다.

AI타임스 news@aitimes.com