인공지능(AI) 챗봇과의 상호 작용에 수집한 인간의 의도가 상업적인 용도로 팔려나갈 수 있으며, 이를 통해 새로운 '의도 경제(Intention Economy)'가 생겨날 수 있다는 지적이 나왔다. 유튜브 알고리즘처럼 사용자가 무엇을 원할 것인지 미리 파악, 이를 챗봇이 추천해 줄 수 있다는 것이다.
게임브리지대학교 레버흄 미래지능 센터(LCFI) 연구진은 31일 '하버드 사이언스 데이터 리뷰(HDSR)'를 통해 '의도 경제에 주의할 것: 대형언어모델을 통한 의도 수집 및 상품화'라는 논문을 발표, AI가 주도하는 새로운 경제 시스템이 도래했으며 이를 통해 인간이 결정을 내리기도 전에 어떤 선택을 할지 파악해 마케팅 용도로 판매할 수 있다고 경고했다.
연구진은 우선 생성 AI의 폭발적 성장과 인간과 흡사한 AI 챗봇의 발전이 '설득 기술'의 새로운 지평을 열 것이라고 주장했다.
이는 최근 빅테크가 발표하고 목표하는 바와 같은 내용이다. AI 비서부터 디지털 튜터, 가상의 이성 친구까지 인간형 AI 에이전트는 음성 대화를 통해 수집한 방대한 양의 개인적인 심리 및 행동 데이터에 접근할 수 있다.
이런 AI가 사용자의 습성을 파악하고 이에 맞춰 편안한 방식으로 설득, 결국 산업적 규모로 사회적 조작을 가능하게 하는 수준의 신뢰와 이해를 구축할 것이라고 지적했다.
즉, 가까운 미래에는 AI 챗봇이 인간의 의사결정을 초기 단계에서 예측하고 영향을 미치는 것은 물론, 인간이 마음을 정하기도 전에 이런 데이터를 상업적인 회사에 실시간으로 판매할 수 있을 것이라는 말이다. 예를 들어 챗봇이 "기분이 우울하신가요. 그럼, 코미디 영화 한편 보실까요"라며 영화 티켓을 추천하는 식이다. 물론, 사용자가 우울한 상태이며 코미디 영화를 좋아한다는 사실은 이미 영화 티켓 판매 회사에 넘어간 상태다.
이는 티켓 판매를 넘어 선거에서 후보자 투표를 추천하는 것까지 광범위한 분야에 큰 영향을 미칠 수 있다는 것이다. 이를 의도 경제라고 표현했다.
야쿠브 차우드하리 LCFI 박사는 "사람들이 챗봇과의 대화를 통해 무엇을 말하고 어떻게 표현하고 그 결과로 어떤 결정을 내리는지 파악하는 것은 기존 온라인 상호작용보다 훨씬 더 친밀하다"라며 "삶의 모든 영역에 AI 어시스턴트를 배치하기 위해 엄청난 자원이 투자되고 있는데, 누구의 이익과 목적을 위해 설계됐는지 의문을 제기해야 한다"라고 말했다.
이런 의도 경제는 인터넷 시대를 거쳐 AI 시대로 접어들며 등장할 수 있는 핵심이라고도 지적했다. 조니 펜 LCFI 박사는 "수십년 동안 사용자의 '관심과 주의'는 인터넷의 화폐였다. 페이스북이나 인스타그램과 같은 소셜 미디어에 관심을 공유하는 것이 온라인 경제를 주도했다"라며 "이제는 인간의 '의도와 동기'가 새로운 통화로 취급될 판"이라고 설명했다.
또 "이는 인간의 의도를 표적으로 삼고, 조종하고, 판매하는 사람들에게는 골드러시가 될 것"이라며 "자유롭고 공정한 선거와 언론의 자유, 공정한 시장 경쟁 등에 대한 영향을 고려하지 않는다면, 우리는 의도치 않은 결과의 희생자가 될 것"이라고 경고했다.
특히 "지속적으로 의도를 분류하고 타깃팅하는 것은 광고주에게 엄청난 수익을 낼 수 있을 것"이라고 덧붙였다.
연구진은 의도 경제에서는 대형언어모델(LLM)을 사용해 기존 설문조사보다 저렴한 비용으로 사용자의 정치적 입장, 어휘, 나이, 성별, 온라인 기록, 심지어 아첨과 비위에 대한 선호도까지 타깃팅할 수 있다고 설명했다. 이런 데이터가 특정한 플랫폼, 광고주, 기업, 심지어 정치 조직을 위해 활용될 수 있다는 것이다.
또 이런 의도는 이미 일부 기술 기업이 도입을 암시한 바도 있다고 소개했다. 여기에는 오픈AI의 2023년 11월 AI 훈련을 위한 오픈 소스 및 비공개 데이터셋 파트너십 발표 내용도 포함돼 있다. 당시 오픈AI는 "현대 AI 기술은 훈련 데이터를 이해함으로써 사람, 동기, 상호작용, 소통 방식 등 우리 세상의 기술과 측면을 학습한다"라고 명기했다는 것이다.
엔비디아도 인간의 의도와 욕구를 파악하기 위해 LLM을 사용한다고 공개적으로 언급했으며, 메타는 2021년 인간의 의도를 이해하기 위한 데이터셋의 이름에 '의도 경제(Intentonomy)'라는 이름을 붙였다.
애플도 애플 인텔리전스의 특징으로 꼽는 것은 사용자와 시리 간의 상호작용과 기기의 사용자 경험을 통합해 맞춤형으로 진화할 수 있다는 점이다. 이를 가능케 하는 앱 인텐츠(App Intents) 프레임워크는 "미래에 누군가가 취할 수 있는 행동을 예측하고, 개발자가 제공한 예측을 사용해 미래에 누군가에게 앱 인텐트를 제안하는 프로토콜"이라고 설명돼 있다.
연구진은 "이런 회사들은 이미 우리의 관심을 판매하고 있다"라며 "우리의 의도를 예측하고, 우리가 그것이 무엇인지 완전히 이해하기도 전에 우리의 욕망을 판매하는 것"이라고 강조했다.
이런 발전이 반드시 나쁜 것은 아니지만, 문제가 될 가능성이 크다고 밝혔다. "우리가 잘못된 길로 가기 전에 이를 대중에 알리는 것이 중요하다"라는 설명이다.
한편, AI 기술을 통해 기업이 개인 정보를 수집하고 이를 상업적 또는 정치적으로 활용할 수 있다는 주장이 최근 하나둘 등장하고 있다.
지난 10월에는 게리 마커스 뉴욕대학교 AI 분석가가 비슷한 주장을 내놓았다. 그는 오픈AI가 자금 확보를 위해 LLM으로 방대한 양의 데이터를 분석, 이를 기업이나 정치 단체, 정부 등에 팔아넘길 수 있다고 밝혔다.
이를 통해 오픈AI가 가장 돈벌이가 되는 사업, 즉 '감시 회사(surveillance company)'가 되는 것에 뛰어들 수밖에 없다는 설명이다.
임대준 기자 ydj@aitimes.com
