[9월30일] 가장 강도 높은 AI 위험 경고..."누군가 만들면, 모두 죽는다"

"누군가 만들면, 모두가 죽는다(If Anyone Builds It, Everyone Dies)." 

무시무시한 이름의 책이 미국에서 등장했습니다. 인공지능(AI)의 위험을 경고한 것 중에서 가장 강도가 높은 내용으로 볼 수 있습니다.

이 책의 저자인 기계지능연구소(MIRI) 일라이저 유드코프스키 창립자와 네이트 소아레스 소장은 AI가 인간을 없앨 가능성이 99.5%라고 주장합니다. 이 책은 이번 달 미국에서 꽤 화제가 됐습니다. 뉴욕 타임스는 저자들을 두번이나 인터뷰 했습니다.

AI에 대한 일반의 인식이 확실치 않았던 2010년대부터 이런 직설적인 비관론을 주장한 탓에 유드코프스키 창립자는 일부 사람들에게 극단주의자나 괴짜로 치부되기도 했습니다. 하지만, 그는 현대 AI 역사에서 빼놓을 수 없는 인물 중 하나로, 업계에 미친 영향력은 부인할 수 없습니다.

그는 강력한 AI 시스템의 위험을 경고한 최초의 인물 중 하나로, 샘 알트만 오픈AI CEO와 일론 머스크 CEO를 포함한 많은 AI 리더가 그의 아이디어를 인용했습니다. 또 2010년에는 런던의 스타트업 딥마인드를 거물 투자자 피터 티엘에 소개, 지원을 끌어낸 바 있습니다.

이들이 AI가 인간을 없앨 것이라고 주장하는 데에는 그럴듯한 이유가 있습니다. 

AI는 "인간에 의해 만들어지는 것이 아니라, 스스로 성장하는 방식"이라는 것입니다. 실제로 AI는 방대한 데이터를 학습하지만, 그 결과로 등장한 AI는 개발자조차 완전히 이해하지 못합니다. 마치 어떤 특성을 가지고 있는지 모르는 동물을 번식시키는 것과 같다는 것입니다.

단순히 AI가 인간에 반하는 존재로 성장한다는 것이 아니라, 지적 존재는 내부적으로 복잡하고 환경과 상호작용하며 복잡한 방식으로 구축되기 때문에 행동을 예측하는 것이 불가능하다는 것입니다. 7만년 전 지구를 방문했던 외계인이 인간의 생물학적 원리를 이해한다 하더라도, 아이스크림을 만들어 낼 것을 예측할 수는 없다는 것에 비유했습니다.

마찬가지로, 인간은 이런 블랙박스가 발달하면서 어떻게 행동할지, 어떤 종류의 세계를 만들어낼지 알 수 없다는 것입니다. 이 책의 주제는 "훈련한 대로 되지 않는다"입니다. 그리고 AI는 인간의 진화보다 빠른 속도로 진화한다는 것입니다.

유드코프스키 창립자는 그 이유 중 하나를 '직교성(orthogonality)'이라는 개념으로 설명합니다. 즉, 모든 AI가 인간이 설계한 대로 인간을 해치지 못하게 작동하지는 않을 것이라고 말합니다. '좋은 AI'를 만드는 것은 가능하지만, 때로는 실수할 수도 있고, 그렇게 되면 AI가 자동으로 좋은 AI를 선택하지 않을 것이라고 주장합니다.

그리고 '지능 폭발(intelligence explosion)'을 통해 AI 역량이 빠르고 급격하게 발전, 초지능이 실제 등장할 수 있다는 것을 문제로 지적했습니다.

그 결과 탄생한 초지능은 "인간이 이해할 수 없는 이상하고 생소한 선호도를 가질 것"이라고 설명했습니다. 그리고 "도대체 왜 AI가 우리를 살리고 행복하게 만들고 싶어 하느냐"라고 반문했습니다.

그리고 생명체와 마찬가지로, AI는 가능한 많은 물질과 에너지를 소비하고 앞길을 가로막는 모든 것을 몰아낼 것이라는 예상입니다.

AI가 인간을 어떻게 파괴할지 예측하는 것은 불가능하다고 합니다. 고대인들에게 총의 작동 원리를 설명하려는 것과 같다는 것입니다. AI는 우리가 발명하지도 이해하지도 못하는 기술을 사용할 것이기 때문입니다

이 때문에 네이트 소아레스 소장은 인류가 자신보다 더 똑똑한 기계를 만든다면, 그것은 단순히 불장난이 아니라고 비즈니스 인사이더와의 인터뷰에서 밝혔습니다. 그는 "모두가 (AI의) 첫번째 실패 시도에서 죽는다"라고 단언했습니다.

그는 이미 AI 챗봇에서 나타나는 환각이나 탈옥이 경고 신호라고 말합니다. 또 "초지능이 등장하면 단순한 실수를 넘어, 인간의 의도를 알지만 이와 반대될 수 있는 일을 할 수 있다"라고 밝혔습니다.

인류가 시행착오를 통해 배우지 못한다는 점이 더 큰 문제라고 지적했습니다. "우리는 단 한번의 기회밖에 없다"라며 "AI가 현실로 나오면 모두가 첫번째 실패로 죽게 될 것"이라고 강조했습니다.

이 때문에 오픈AI나 앤트로픽 등이 연구 중인 'AI 정렬'도 별 필요가 없다는 것입니다. 실수를 알아차릴 무렵에는 이미 상황이 다 끝나있을 것이라는 말입니다.

또 국제적인 합의를 통해 AI 개발을 중지할 가능성도 없을 것이라고 봤습니다. 각국의 AI 안전을 말하고 있지만, AI 경쟁에서 앞서기 위해 경쟁을 펼치고 있기 때문입니다.

그렇다고 AI를 완전히 포기하라는 뜻은 아니라고 밝혔습니다. '유용하지만, 협소한 분야'에 AI 개발을 한정해야 한다는 것입니다. 대표적인 것이 의료 분야입니다. "의료 분야에 한정해서만 훈련한 AI는 치료법 개발에 상당한 진전을 이룰 수 있을지도 모른다. 하지만, 일반적인 인지 및 과학적 기술을 개발하기 시작한다면 경고 신호"라고 말했습니다.

사실 이런 이야기는 몇년 전만 해도 SF로 치부됐을 법합니다. 실제 지난 2023년 머스크 CEO 등이 AI 개발을 6개월 간 멈추라는 성명을 발표했을 때는 화제성에 그쳤습니다.

그러나 많은 사람이 AI에 대해 더 알아갈수록 공감을 얻고 있다는 것이 핵심입니다. 성공하겠다는 욕심으로 미국 전역에서 몰려든 젊은이들이 이런 내용을 추종하는 길로 빠지는 것도 이해가 됩니다.

결국은 우리는 우리도 잘 모르는 것을 만들고 있으며, 이제는 인간을 넘어서는 존재로 만드는 데 집중하고 있다는 것입니다.  

그리고 저자들은 미국과 중국이 초지능을 개발하기 위해 경쟁한다는 생각은 터무니없이 잘못된 것이라고 말합니다. 유일한 승자는 '인간에 대한 충성심이 없는 AI'일 뿐입니다.

또, 특정 국가나 AI 기업 CEO가 AI를 부도덕한 이유로 개발한다고 비난하는 것도 핵심을 놓치고 있다고 합니다. 선하든 악하든 그 누구도 AI를 통제할 수 없다는 것입니다.

이어 29일 주요 뉴스입니다.

■ 뤼튼, B2B·B2G로 사업 확장...기업·기관 대상 'AX CIC' 설립

국내 대표적인 소비자용 AI 서비스 업체인 뤼튼이 기업과 정부 기관 등으로 사업 확장에 나선다고 밝혔습니다. 먼저 기업용 AI 교육으로 접근, 이후 본격적인 에이전트 공급에 나설 계획입니다. 

■ KT, MS 협력으로 GPT-4o 기반 ‘소타 K’ 출시..."B2B에 활용"

KT가 MS와의 협업으로 개발한 모델을 파트너사 대상으로 배포하기 시작했습니다. GPT-4o 기반으로, 한국어 데이터를 학습한 결과물이라고 합니다. AI 도입을 검토 중인 기업에는 솔깃한 소식일 수 있습니다.

■ 바이브 코딩 도구, 여름 이후 급격 하락세..."일반 사용자 유지 어려워"

여름을 기점으로 주요 바이브 코딩 도구들의 트래픽이 떨어졌다는 데이터가 등장했습니다. 이는 바이브 코딩에 관심을 가진 일반 사용자들이 곧 흥미를 잃고 이탈한 것으로 분석됐습니다. 결국 바이브 코딩도 코딩을 좀 알아야 도움이 되는 것으로 볼 수 있습니다. 

AI타임스 news@aitimes.com