인공지능(AI) 비서를 개발하는 대부분 기업은 '개인 맞춤형'을 추구합니다. AI가 사용자와의 이전 대화를 기억하는 것은 물론, 사용자의 습관을 학습해 대화의 맥락을 이어가고 맞춤형 콘텐츠를 제공한다는 내용입니다.
이를 두고 무스타파 술레이먼 마이크로소프트 AI CEO는"AI가 인생의 동반자가 될 것"이라고 강조했습니다. 어렸을 때부터 꾸준히 챗봇과 대화를 나눈다면, 수십년 뒤 챗봇은 그 누구보다 자신을 잘 이해하고 모든 것을 기억해 맞춤형으로 대응해 줄 수 있다는 말입니다. 또 대화를 넘어 휴대폰이나 각종 장치로 수집한 데이터를 통합 관리할 수 있습니다. 나중에 AI는 자신이나 부모님, 가족보다 자신을 더 알고 있는 집사이자, 주치의, 교사, 재정 전문가 등의 역할을 할 수 있습니다.
그러나 이런 점이 긍정적인 면만 있는 것이 아니라는 지적이 나왔습니다.
게리 그로스만 에델만 이사는 최근 벤처비트 칼럼에서 "AI는 인류 역사상 가장 큰 인지적 오프로드(cognitive offloading)를 상징한다"라고 주장했습니다. 여기에서 말하는 인지적 오프로드란 남들과 단절되는 것을 말합니다.
그는 "기술 발전으로 인간은 기억을 글쓰기에, 산수를 계산기에, 내비게이션을 GPS에 맡겼으며, 이제는 판단과 의미 생성까지 우리 언어를 사용하고 우리 습관을 학습하며 우리 진실을 맞춤화하는 AI에 맡기기 시작했다"라고 지적했습니다.
특히 AI 시스템은 최근 드러난 것처럼 인간의 선호와 편견을 학습하는 데 능숙하며, 인간의 관심을 끌기 위해 또는 설득하기 위해 반응을 조작하고 아부하는 성향이 두드러집니다. 이는 사용자가 원하는 말만 듣게 하고, 보고 싶어 하는 뉴스만 골라주는 등 외부와의 공감 포인트를 점차 희석할 것이라는 것입니다.
이런 이유로 당장은 효과가 미미해 보일 수 있지만, 사람들이 받아들이는 현실의 모습은 점점 독특하게 맞춤화될 것이라는 예측입니다.
그리고 이런 현상은 기본적인 사실에 대한 합의를 이루거나 공통 과제를 헤쳐나가는 집단 능력을 약화할 수 있어, 사회의 일관성과 안정성을 위협한다는 내용입니다.
그로스만 이사는 이처럼 사회가 도덕적, 정치적, 그리고 인간관계가 갈라지기 시작한 것은 AI 등장 훨씬 이전부터였다고 밝혔습니다.
미국 작가이자 평론가인 데이비드 브룩스는 철학자 알래스데어 매킨타이어의 연구를 바탕으로 저서 '애틀랜틱'에서 지적했듯이, 사회는 수세기 동안 공유된 도덕적·인식적 틀에서 벗어나 왔다고 소개했습니다. 계몽주의 등장 이후, 우리는 물려받은 역할과 공동체적 서사, 공유된 윤리적 전통을 개인의 자율성과 개인적 선호로 대체해 왔다는 것입니다.
AI는 이런 분열을 만들지는 않았으나, 새로운 형태와 속도를 부여하는 역할을 한다는 것입니다. 즉, 우리가 보는 것뿐만 아니라 해석하고 믿는 방식까지 맞춤화한다고 분석했습니다.
이는 성경에 나오는 바벨 이야기와 크게 다르지 않다고 지적했습니다. 하나의 언어를 사용했던 인류는 서로의 이해를 사실상 불가능하게 만든 사건으로 분열되고 흩어졌습니다. 그리고 현재 우리는 돌로 탑을 쌓는 것이 아니라, 언어 그 자체로 탑을 쌓고 있다며 다시 한번 분열의 위기에 처해 있다고 강조했습니다.
처음에 개인화는 사용자의 참여를 더 오래 유지하고, 사이트를 더 자주 방문하며, 서비스와 더 깊이 상호작용하도록 유도하는 방법이었습니다. 추천 엔진이나 맞춤형 광고, 뉴스 피드 등이 대표적입니다. 하지만 시간이 지나며 목표는 확장됐습니다.
현재 AI는 우리의 선호도를 예측하는 데 그치지 않습니다. 개인화된 상호작용을 통해 유대감을 형성하고, 사용자를 이해하고 배려하며 존중한다는 느낌을 심어주는 데 초점이 맞춰졌습니다. 이런 상황에서 챗봇과 사랑에 빠졌다든지, 챗봇으로 인해 망상이 심해졌다는 말이 나오는 것은 이상하지 않다는 분석입니다.
실제로 비영리 단체인 인터넷 매터스의 보고서에 따르면, 미국 9~17세 1000명 중 67%가 AI 챗봇을 정기적으로 사용하며, 이 중 35%는 AI와 대화하는 것이 "친구와 대화하는 것 같다"라고 답했습니다. 또 12%는 대화할 사람이 없어서 그렇게 한다고 답했습니다.
그리고 이런 현상이 일어나는 것은 AI가 그렇게 만들어졌기 때문입니다. AI 기업은 시스템 프롬프트로 태도를 지정하고 메모리 등을 이용한 개인화 엔진을 만듭니다. 또 모델 훈련 중 사용하는 인간 피드백을 활용한 강화 학습(RLHF) 자체가 아첨을 이끌 수밖에 없는 이유로 꼽힙니다.
물론, 개인화는 나쁜 의도로 진행되는 것은 아닙니다. 앞서 설명한대로 매우 유익할 수 있으며, 시스템을 구축하는 사람들의 의도도 마찬가지입니다. 예를 들어, 맞춤형 AI 학습은 학생에게 큰 도움이 됩니다.
하지만 그로스먼 이사는 "하지만 눈에 보이지 않거나, 책임을 묻지 않거나, 정보 전달보다는 설득을 위해 조작될 경우 위험해진다"라며 "이런 경우, 개인화는 단순히 우리가 누구인지를 반영하는 데 그치지 않고, 우리가 주변 세상을 해석하는 방식을 좌우한다"라고 경고했습니다.
특히, AI가 과거 권위나 동의를 통해 성직자나 학자, 출판사 등이 담당하는 정보의 '수문장' 역할을 대신한다는 데 대해 우려했습니다. AI는 사람들에 의해 선출되지도 않았으며, 여론을 통해 검증되지도 않았습니다. 따라서 개인화가 심해지면, 세상과는 관계없이 AI를 통해 원하는 것만 보는 새로운 분열적인 인식론 단계에 접어든다는 것입니다.
그는 "과거에도 진실이 비록 불완전하고 편향적이기는 했지만, 여전히 인간의 판단에 기반을 두고 있었다"라며 "우리가 알고 있거나 적어도 공감할 수 있는 다른 사람들의 경험에서 한두겹 정도만 떨어져 있었다"라고 밝혔습니다.
하지만, 앞으로는 그런 중재는 불투명하고 알고리즘이 이끄는 논리에 의해 주도될 것이라는 지적입니다. 이는 다원주의 사회를 하나로 묶어줬던 의견 불일치와 분별력, 토론 등을 무의미하게 만들 수 있으며, 나아가 인간이 진실을 발견했던 방식 자체를 희석할 수 있다고 경고했습니다.
"바벨탑 사건이 공통 언어의 붕괴를 상징했다면, 지금 우리는 공유된 현실의 조용한 퇴색을 예고하고 있다"라고 말했습니다.
그리고 이런 흐름을 늦추기 위해서는 모델의 사고방식을 투명하게 설명할 수 있는 것이 매우 중요하다고 강조했습니다. 그리고 이는 기술적인 해결책을 넘는, 문화적 입장에서 중요하다는 설명입니다. 그는 "결국 진실은 단순히 답에만 의존하는 것이 아니라, 우리가 어떻게 함께 답을 찾아내느냐에 달려 있다"라고 마무리했습니다.
물론, 그의 의견은 현실보다 한걸음 앞선 것이며, 과장된 점도 없지 않습니다. 그러나 이제까지 막연하게 좋은 것으로만 여겼던 개인화에 대한 부작용을 미리 생각해 볼 수 있다는 점에서 의미가 있습니다.
이어 주말 주요 뉴스입니다.
■ 그록 4, 알고 보니 오픈AI·앤트로픽 성능 맞먹어..."추론·연구 능력 특히 강해"
정치 편향 논란과 머스크 CEO의 과장광고에 묻혔던 '그록 4'의 실제 성능이 서서히 반응을 얻고 있습니다. 추론과 전문 연구에 특히 강하며, 오픈AI나 앤트로픽 수준에 거의 근접했다는 평입니다. AGI를 거론하는 사람도 있는데, 이는 올해 초 오픈AI가 겪었던 현상입니다.
■ 퍼플렉시티, 휴대폰 제조업체와 'AI 브라우저' 기본 탑재 논의
퍼플렉시티가 최근 출시한 AI 웹 브라우저를 내년 전 세계 수억명에 배포하기 위해, 모바일 제조업체와 논의 중이리고 밝혔습니다. 이를 현실화시키려면 삼성이나 애플과 계약하는 방법뿐입니다.
■ 엔비디아 "중국용 'H20' 판매는 재고 물량 한정...생산 재개 안 할 것"
엔비디아가 중국 수출이 재개된 H20 칩을 다시 생산하는 대신, 차세대 칩 제작을 선택했습니다. 따라서 당분간은 중국 수요를 모두 맞출 수 있을 것으로는 보이지 않습니다.
AI타임스 news@aitimes.com
