소설 ‘위대한 개츠비’의 전체 텍스트를 기억할 정도로 기억력이 뛰어난 인공지능(AI) 챗봇이 등장했다.
테크크런치는 11일(현지시간) 앤트로픽이 자사 AI 챗봇 ‘클로드(Clasude)’의 컨텍스트 창(Context Window)을 9000 토큰에서 10만 토큰으로 확장했다고 전했다.
컨텍스트 창은 다음 단어를 예측하기 위해 참고하는 토큰의 수다. 하나의 단어는 1개 이상의 토큰으로 구성된다. 본질적으로 더 긴 텍스트 창를 통해 모델은 더 많은 텍스트를 기억할 수 있다.
작은 컨텍스트 창을 가진 모델은 매우 최근 대화의 내용을 잊어버리는 경향이 있어 주제에서 벗어나게 된다. 수천 단어 정도 후에 그들은 또한 초기 요청을 잊어버리고 대신 원래 요청이 아닌 컨텍스트 창 내의 마지막 정보에서 행동을 추정한다.
지금까지는 오픈AI의 GPT-4의 컨텍스트 창이 3만2000토큰으로 최고 수준이었다.
앤트로픽의 클로드는 확장된 컨텍스트 창을 통해 긴 텍스트를 읽는 것 외에도 여러 문서 또는 책에서 정보를 검색하는 데 도움이 될 수 있으며 텍스트의 많은 부분에서 지식의 합성이 필요한 질문에 답할 수 있게 됐다.
재무제표나 연구논문 등의 문서를 소화ㆍ요약ㆍ설명, 연례 보고서를 기반으로 회사의 위험 및 기회 분석, 법안의 장단점 평가, 법률 문서 전반에 걸쳐 위험, 주제 및 다양한 형태의 주장 식별, 수백 페이지에 달하는 개발자 문서를 읽고 기술적인 질문에 대한 답변 제시, 전체 코드베이스를 컨텍스트에 놓고 이를 지능적으로 빌드하거나 수정하여 신속하게 프로토타이핑 등을 요청을 처리 할 수 있게 됐다.
앤트로픽은 일반적으로 사람은 약 5시간 안에 10만개의 텍스트 토큰을 읽을 수 있으며, 그 정보를 소화하고 기억하고 분석하는 데 훨씬 더 오래 걸릴 수 있지만 클로드는 이제 1분도 안 되어 이 작업을 수행할 수 있다고 주장했다.
예를 들어, 소설 ‘위대한 개츠비(The Great Gatsby)’의 전체 텍스트를 클로드에 로드하고 주인공인 닉 캐러웨이가 '앤트로픽에서 기계 학습 도구 작업을 하는 소프트웨어 엔지니어'라고 한줄을 수정한 후, 차이점을 찾아보라고 요청하자 클로드는 22초 만에 정답을 말했다.
하지만 긴 텍스트 창으로 확장했음에도 불구하고 클로드는 다른 대규모 언어 모델과 마찬가지로 한 세션에서 다음 세션으로 정보를 유지할 수 없다. 또한 인간의 뇌와 달리 텍스트 내의 모든 단어를 동등하게 중요하게 취급한다. 전문가들은 이러한 문제를 해결하려면 완전히 새로운 모델 아키텍처가 필요하다고 지적한다.
박찬 기자 cpark@aitimes.com
