복잡한 문제를 해결할 때 불필요하거나 장황한 설명 없이 핵심 정보만을 활용하는 '사고 사슬(CoT)' 기술이 등장했다. 이를 통해 복잡한 추론 문제를 해결하는 데 드는 비용과 연산 자원을 크게 절감할 수 있게 됐다는 설명이다.
줌 커뮤니케이션은 최근 대형언어모델(LLM)이 최소한의 단어만 사용해 추론 문제를 해결할 수 있도록 하는 ‘드래프트 사슬(CoD)’ 기술을 소개하는 '드래프트 사슬: 적게 쓰면서 더 빠르게 사고하기(Chain of Draft: Thinking Faster by Writing Less)’ 논문을 온라인 아카이브에 게재했다.
기존 LLM은 CoT와 같은 메커니즘을 활용해 복잡한 추론 작업을 수행해 왔다. CoT는 단계별로 논리를 전개하는 방식으로 AI의 문제 해결 능력을 크게 향상했지만, 장황한 설명으로 인해 연산 비용과 응답 시간이 증가하는 단점이 있었다.
반면, 인간은 일반적으로 핵심 정보만을 요약한 간결한 중간 사고 과정을 거치는 좀 더 효율적인 전략을 사용한다.
CoD는 이런 인간의 사고방식을 모방한 방식이다.
LLM이 최소한의 간결하면서도 유익한 중간 추론 출력을 생성, 문제를 해결할 수 있도록 한다.
불필요한 장황함을 줄이고 핵심 통찰에 집중함으로써, CoD는 단 7.6%의 토큰만 사용하면서도 CoT와 동등하거나 더 높은 정확도를 달성했다고 전했다. 또 다양한 추론 작업에서 비용과 응답 지연 시간을 획기적으로 절감할 수 있다고 설명했다.
산술 추론, 상식 추론, 기호 논리 추론 등 다양한 벤치마크 테스트에서 CoT보다 적은 토큰을 사용하면서도 정확도를 유지하거나 향상하는 결과를 보였다.
예를 들어, '클로드 3.5 소네트'가 스포츠 관련 질문을 처리하는 실험에서 CoD를 적용하면 평균 출력 토큰 수가 189.4개에서 14.3개로 92.4% 감소했다. 또 정확도는 93.2%에서 97.3%로 향상됐다.
이를 비용으로 환산하면, 100만개의 추론 질의를 처리할 때 CoT의 비용 3800달러가 CoD를 적용하면 760달러로 감소, 3000달러 이상을 절감할 수 있는 수준이라고 강조했다.
특히, CoD는 기업들이 쉽게 도입할 수 있는 솔루션이라는 점에서 주목할 만하다. 고비용의 모델 재학습이나 구조 변경 없이, 기존 모델에서도 간단한 프롬프트 수정만으로 즉시 적용 가능하다. 이미 CoT를 사용하고 있는 기업도 간단한 조정을 통해 신속하게 CoD로 전환할 수 있다.
연구진은 기업들이 자체 AI 시스템에서 CoD를 직접 구현하고 테스트할 수 있도록, 연구 코드와 데이터를 깃허브에 공개했다.
박찬 기자 cpark@aitimes.com
