월 200달러(약 27만8000원)의 요금을 내고 30배 가격에 달하는 '클로드 코드' 사용량을 기록한 개발자가 속출하는 것으로 알려졌다. 업계에서는 이런 사용자를 '추론 고래(Inference whales)'라고 부르며, 이런 헤비 유저들 때문에 요금을 올리거나 어려움을 겪는 것으로 알려졌다.
비즈니스 인사이더는 관계자들을 인용, 추론 고래들로 인해 앤트로픽과 바이브 코딩 스타트업들이 골머리를 앓고 있다고 최근 소개했다.
일부 사용자들 때문에 코딩 AI 스타트업의 수익성이 크게 떨어진다는 문제는 최근 집중 지적되고 있다. 이 때문에 오픈AI는 인기 바이브 코딩 기업 윈드서프의 인수까지 포기한 것으로 알려졌다.
또 앤트로픽은 '클로드 코드'의 과도한 사용을 억제하기 위해 유료 구독자의 주간 사용량 제한을 도입한다고 발표했다. 이 또한 일부 사용자의 과도한 이용 때문이라고 밝혔다.
이 가운데 클로드 코드의 사용량을 발표하는 사이트까지 등장했다. 소프트웨어 인기 순위를 매기는 바이브랭크는 '클로드 코드 리더보드'를 최근 오픈했다. "커뮤니티 전반에서 AI 개발 사용량을 추적하고 비교한다"라고 소개했다.
이에 따르면 최근 30일 동안 클로드 코드를 가장 많이 사용한 한 유저는 51억 토큰을 코딩에 활용했다. 이는 API 비용으로 따지면 5796달러(약 806만원)에 달한다. 그러나 이 사용자는 한달에 200달러를 내고 있다.
이처럼 리더보드 20위권은 모두 월 19억 토큰 이상을 사용했다. 상위 169명이 모두 2777억 토큰을 한달간 사용했다.
누적 사용량 1위는 무려 173억 토큰을 사용했다. 이는 API 비용으로 2만6000달러(약 3600만원)에 해당한다. 하지만 그 역시 지난 5월 클로드 코드 출시 이후 3개월 동안 모두 600달러(약 83만4000원)만 지불했다.
이 때문에 앤트로픽은 월 200달러의 무제한 사용제에 제한을 걸었다. 8월28일부터 프로 및 맥스 요금제 사용자에게 주간 사용량 제한을 도입했으며, 맥스 이용자는 추가 사용량을 API 요금 기준으로 구매할 수 있도록 했다.
인기 바이브 코딩 스타트업 볼트의 에릭 사이먼스 CEO는 "단순히 AI 추론만을 재판매한다면 사업이 매우 취약해질 수 있다"라고 밝혔다.
알버트 외르발이라는 스웨덴 개발자는 하루에 500달러에 해당하는 클로드 코드 서비스를 사용했다고 밝혔다. 그는 "앞으로는 클로드에서 기존의 작업 흐름을 이어가기는 불가능할 것으로 보인다"라고 말했다. 그러나 200달러가 넘는 요금은 내지 않을 것이라고 밝혔다.
한편, 이런 현상은 AI 추론 비용이 일년에 10배가량 낮아져, 갈수록 저렴한 비용으로 AI 서비스를 이용할 수 있을 것이라는 예상을 뛰어넘는 것이다.
특히, 추론 비용 하락은 '최고 모델'에는 해당하지 않는다는 분석이다. 이선 딩 텍스트QS CEO는 "이런 사례는 '비용 감소' 추정이 잘못됐다는 것을 보여주는 사례"라며 "최고 모델에 수요가 몰리는 것은 당연한 일이며, 실제 추론 비용은 이를 기준으로 해야 한다"라고 지적했다. 또 "비용을 아끼려고 엉터리 모델을 쓸 사람은 아무도 없다"라도 덧붙였다.
여기에 토큰 비용이 떨어진다고 해도, AI 워크플로우의 증가로 인해 더 많은 토큰을 사용할 수밖에 없다고 덧붙였다. "모델 성능이 향상될 때마다 사용자가 의미 있게 사용할 수 있는 컴퓨팅 용량도 향상된다"라고 설명했다.
결국 무제한 사용을 제공할 수 있는 요금제란 존재하지 않는다고 강조했다. "원래 월 20달러 요금제로는 하루 1달러짜리 '딥 리서치'도 감당할 수 없다"라며 "요금제에 대한 개념이 근본적으로 잘못됐다"라고 말했다.
임대준 기자 ydj@aitimes.com
