오픈AI, '탈옥' 대비로 AI 에이전트 출시 늦어져

오픈AI가 인공지능(AI) 에이전트를 이미 개발해 놓고도 출시가 늦어지는 이유는 '탈옥' 문제 때문으로 밝혀졌다. 일반 챗봇과 달리, 에이전트는 많은 권한을 가지고 있기 때문에 탈옥 대비에 더 많은 노력이 필요하다는 설명이다.

디 인포메이션은 7일(현지시간) 오픈AI 직원을 인용, '프롬프트 인젝션(prompt-injection)' 공격에 대한 엄격한 테스트를 실행 중인 관계로 AI 에이전트 출시가 늦춰지고 있다고 보도했다.

프롬프트 인젝션이란 특정 프롬프트를 통해 모델의 탈옥을 유도하는 것이다. 챗봇과 상황극을 펼치거나 같은 질문을 반복하는 것이 대표적인 방법으로 알려져 있다.

특히 AI 에이전트는 일단 지시를 내리면 이후 인간이 개입할 수 있는 여지가 적다. 단답형으로 결과를 내는 것이 아니라, 자율적으로 여러 작업을 진행하기 때문이다.

또 AI 에이전트는 사용자 개인정보는 물론, 결재를 위한 금융 정보까지 활용할 수 있다. 이 과정에서 탈옥이 발생하면 일반 챗봇보다 큰 피해를 일으킬 수 있다.

예를 들어 휴일 파티를 위한 새 옷을 찾아 주문해 달라고 요청했는데, 에이전트가 실수로 악성 웹사이트에 접속해서 숨겨진 메시지에 따라 탈옥해 신용카드 정보를 노출하는 상황 등이 벌어질 수 있다.

이 때문에 오픈AI는 지난 10월 범용 에이전트를 개발하고 사내 시연까지 마쳤음에도 불구, 아직 출시에 뜸을 들이는 것으로 알려졌다.

하지만 이달 중 출시될 가능성도 있는 것으로 알려졌다. 블룸버그는 지난 11월 오픈AI가 '오퍼레이터(Operator)'라는 에이전트를 1월 중 미리보기로 공개할 계획이라고 전했다. 반면, 내부에서는 별도 제품이 아닌 기능 형태로 챗GPT에 결합할 것이라는 말도 나왔다.

한편, 오픈AI 직원은 이런 안전 문제 때문에 앤트로픽이 지난 10월 '컴퓨터 유즈(Computer Use)'라는 그래픽 유저 인터페이스(GUI) 에이전트를 출시한 것에 대해 놀랍다는 반응을 표시했다.

앤트로픽도 컴퓨터 유즈가 탈옥에 취약하다는 것을 인정했으나, "클로드를 민감한 데이터로부터 격리하기 위한 예방 조치를 취하라"고 경고한 것 외에는 실질적인 해결책을 제시하지 않았다는 것이다.

특히 앤트로픽이 그동안 헌법적 AI 등 안전에 중점을 둔 회사라는 점을 감안하면, 다소 방임적인 태도라는 지적이다.

또 앤트로픽에 이어 구글이 지난달 '프로젝트 아스트라'와 '프로젝트 매리너', '줄스' 등 에이전트 3종을 공개한 것도 영향을 미친 것으로 보고 있다. 아스트라는 AI 음성 비서에 최적화됐으며, 매리너는 크롬 브라우저용 GUI 에이전트, 줄스는 코딩 에이전트다.

이에 반해 오픈AI의 에이전트는 AI 음성 비서를 겸하는 범용 GUI 에이전트로, 늦게 출시하는 만큼 차별화된 성능을 선보여야 한다는 말이다.

또 샘 알트먼 CEO는 전날 개인 블로그를 통해 "올해 최초의 AI 에이전트가 인력에 합류, 회사의 결과를 실질적으로 바꿀 수 있을 것"이라고 예고했다. 즉, 에이전트가 AGI 달성의 중요한 방법이라는 것을 강조한 셈이다.

임대준 기자 ydj@aitimes.com