인공지능(AI) 에이전트가 긴 맥락이나 다단계 작업에서 어려움을 겪는 메모리 과부하 현상에 '컨텍스트 부패(Context Rot)'라는 용어가 붙었다. 이 때문에 단일 슈퍼 에이전트를 만드는 것보다, 전문화된 하위 에이전트로 분할하는 것이 현실적이라는 지적이 나왔다.
애런 레비 박스(Box) CEO는 최근 비즈니스 인사이더와의 인터뷰에서 AI 에이전트에 너무 많은 정보를 제공하면, 맥락을 잃는다고 지적했다. 이 문제를 컨텍스트 부패라고 불렀다.
레비 CEO는 "AI 모델에 많은 데이터를 제공한다고 해서 반드시 더 나은 결과로 이어지는 것은 아니다"라며 "모델은 오히려 혼란스러워지고 정보의 잘못된 부분에 집중할 가능성이 있다"라고 말했다.
최근 AI 개발사들은 컨텍스트 창을 확대하는 추세다. 더 많은 정보를 제공, 검색 증강 생성(RAG) 등 외부 지식 검색 없이 모델 자체적으로 정확한 답을 얻기 위한 것이다.
그러나 그는 작업이 길어질수록 모델은 무엇에 집중해야 할지 판단하기 어려워지기 때문에 나쁜 결과가 나올 수 있다고 설명했다. 에이전트가 컨텍스트 창에 입력된 엄청난 양의 데이터 때문에 과부하 된다는 것이다.
따라서 모든 것을 처리할 수 있는 슈퍼 에이전트 하나에 모든 것을 맡기는 대신, 작업을 분할해 전문화된 하위 에이전트 팀에 할당하는 것이 더 현명하다고 밝혔다.
그는 "여러 에이전트가 있고, 에이전트마다 워크플로우의 특정 부분과 관련된 목표와 컨텍스트가 있는 것이 이상적"이라며 "맥락별로 에이전트를 분리하는 것이 효과적"이라고 말했다.
또 AI 성능의 핵심은 "가장 정확한 정보와 가장 정밀한 데이터만 제공하는 것"이라고 전했다.
"지시를 내릴 때는 매우 정확해야 하며, 모델이 작동할 수 있도록 정확한 맥락을 많이 제공해야 한다. 하지만 맥락이 너무 많으면 성능이 저하된다"라고 덧붙였다.
그의 발언은 AI 에이전트를 넘어, 인공일반지능(AGI)의 개발 방향에 관한 지적이기도 하다. 대부분 AI 기업은 단일 모델로 이를 달성할 것으로 기대하고 있다.
또 에이전트가 더 많은 작업을 자율적으로 처리하도록 개발하고 있다. 맥락 문제를 해결하기 위해 메모리를 강화하는 움직임도 강화되고 있다. 알리바바는 에이전트가 과거 경험을 바탕으로 절차적 기억을 꾸준히 업데이트, 복잡한 작업을 더 효율적으로 처리할 수 있도록 하는 기술을 최근 선보였다.
하지만 현재 에이전트는 실수가 잦으며, 특히 작업 단계가 늘어날수록 오류가 심해진다. 이는 업무 처리 중 작은 실수 하나만 발생해도, 영향이 누적되며 결과에 큰 영향을 미치기 때문이다.
AI 평가 전문 패트로누스 AI는 최근 블로그를 통해 "어느 단계에서든 오류가 발생하면 전체 작업이 중단될 수 있다. 단계가 많을수록 마지막 단계에서 문제가 발생할 가능성이 높아진다"라고 지적했다. 실험에 따르면, 단계당 오류율이 1%만 발생해도, 100번째 단계에서는 오류 확률이 63%로 증가했다.
레비 CEO는 "하위 에이전트로 구성된 '팀 에이전트 시스템'이 대규모 에이전트 시스템의 미래가 될 것은 확실하다"라고 강조했다.
임대준 기자 ydj@aitimes.com
