오픈AI가 '챗GPT'에 새로운 기능을 추가하면서 사용 요금을 큰 폭으로 낮추는 업데이트를 단행했다.
이번 업데이트로 개발자들이 프로그래밍 작업 없이 자연어를 사용해 챗GPT 모델이나 플러그인 기능에 대한 API 호출을 할 수 있게 됐다. API를 통한 모델 액세스 비용을 절감하는 것도 가능해졌다.
오픈AI는 13일(현지시간) 블로그에 이같은 내용을 중심으로 GPT-3.5-터보 및 GPT-4 모델을 업데이트, 다음 주 중으로 대기자들에게 업데이트 내용을 공개할 예정이라고 발표했다.
개발자는 ‘함수 호출(function calling)’을 사용해 자연어로 프로그래밍 함수를 GPT-3.5-터보 및 GPT-4에 설명하고 모델이 해당 함수를 실행하는 코드를 생성하도록 할 수 있다.
함수 호출 기능을 통해 자연어 설명을 플러그인을 위한 외부 API로 호출하거나, 내부 API 호출이나 데이터베이스 쿼리로 변환하고, 텍스트에서 구조화된 데이터를 추출하는 함수를 정의할 수 있다.
예를 들어, "보스턴의 날씨는 어떻습니까?"라는 질문에 답하는 플러그인을 호출하기 위해 외부 API ‘get_current_weather(location: string, unit: 'celsius' | 'fahrenheit')’를 호출하거나, "내 최고 고객은 누구입니까?"라는 질문을 내부 API 호출 ‘get_customers(min_revenue: int, created_before: string, limit: int)’로 변환하고, "지난 달 몇 건의 주문을 했습니까?"라는 질문을 SQL 데이터베이스 쿼리 ‘sql_query(query: string)’로 변환할 수 있다.
또 ‘extract_data(name: string, birthday: string)’라는 함수를 정의해 텍스트에서 데이터를 추출할 수도 있다.
함수 호출은 챗GPT의 기능을 외부 도구 및 API와 보다 안정적으로 연결하는 새로운 방법이다 오픈AI는 함수를 호출해야 하는 시기를 감지 하고 함수의 매개변수에 맞춰 JSON 형식으로 응답하도록 모델을 미세조정했다고 밝혔다.
이로써 개발자는 함수 호출을 통해 모델에서 구조화된 데이터를 보다 안정적으로 가져올 수 있게 됐다.
또한 업데이트 버전인 'GPT-3.5-터보-16k'는 기존 ‘GPT-3.5-터보’보다 4배 긴 텍스트를 한 번에 처리할 수 있도록 컨텍스트 창(context window)을 확장했다. 이는 약 1만6000개 토큰으로, 영어 기준 약 20페이지 분량이다.
컨텍스트 창은 다음 단어를 예측하기 위해 참고하는 토큰의 수다. 하나의 단어는 1개 이상의 토큰으로 구성된다. 본질적으로 더 긴 텍스트 창를 통해 모델은 더 많은 텍스트를 기억할 수 있다.
요금은 기존 버전과 동일하다. 기존에는 0.003달러로 250토큰을 입력할 수 있었다면, 이제는 1000토큰을 입력할 수 있게 됐다. 출력 기준으로는 0.004달러에 250토큰을 얻을 수 있었다면 이제는 1000토큰 만큼의 답변을 받을 수 있다.
업데이트 버전 요금을 유지하는 대신, 기존 버전은 4분의1로 낮췄다. 기존 GPT-3.5-터보는 토큰 1000개에 입력 기준 0.0015달러, 출력 기준 0.002 달러가 되는데, 이는 1달러로 약 700페이지의 분량을 처리할 수 있다 설명이다.
GPT-4는 대기자 명단을 받아 순차적으로 '함수 호출' 및 텍스트 확장 기능을 추가할 방침이다. GPT-4의 요금 및 토큰 증가 수 등 구체적인 업데이트 내용은 공개되지 않았다. 단, GPT-4-32K라고 이름 붙인 것으로 보아 최대 3만2000토큰을 처리할 수 있을 것으로 추측된다.
박찬 기자 cpark@aitimes.com
