앤트로픽은 개발자가 API 호출 간에 자주 사용되는 컨텍스트를 기억하고 프롬프트를 반복해서 표시하지 않도록 캐시할 수 있는 프롬프트 캐싱 기능을 14일(현지시간) 출시했다.
사용자가 대형언어모델(LLM)에게 대규모 문서에 대한 질문을 하려는 경우, 그 문서는 이후 모든 대화의 프롬프트에 포함되어야 한다. 즉, AI가 매번 대화 사이에 문서를 다시 완전히 로드해야 하며, 이 과정은 자원을 많이 소모할 수 있다. .
캐시된 프롬프트를 사용하면 개발자들이 상세한 지시 사항, 예시 응답, 관련 정보를 저장할 수 있다. 이를 통해 사용자 프롬프트에 매번 정보를 주입할 필요 없이 챗봇의 여러 대화 세션 간에 일관된 응답을 쉽게 설정할 수 있다. 이는 대량의 프롬프트 컨텍스트를 한 번 보내고 이후 새로운 요청에서 반복적으로 참조하는 방식이다.
프롬프트 캐싱을 사용하면 긴 프롬프트의 경우 비용을 최대 90%, 대기 시간을 최대 85%까지 줄일 수 있다는 설명이다.
[앤트로픽] Prompt caching with Claude
AI타임스 news@aitimes.com
관련기사
