"AI 위험 파악하는 AI 개발"...'AI 4대 천왕' 벤지오, AI 안전 프로젝트 합류

요수아 벤지오 몬트리올대학교 교수가 영국 정부가 주도하는 인공지능(AI) 안전 프로젝트에 합류했다. 이 프로젝트는 AI의 위험을 파악하기 위한 AI 모델을 개발한다는 목표를 가지고 있다.

MIT 테크놀로지 리뷰는 7일(현지시간) 벤지오 교수가 영국 정부와 ARIA 재단에서 지원하는 '세이프가드 AI(Safeguarded AI)'라는 프로젝트에 참여했다고 소개했다.

향후 4년 동안 5900만파운드(약 1000억원)이 투입되는 이 프로젝트는 현실 세계에 미치는 AI 모델의 영향에 대한 정량적 지수, 즉 '위험 점수'를 계산할 수 있는 AI 시스템을 구축하고 있다. 새로운 시스템의 잠재적인 해악에 대한 수학적 분석으로 인간 테스트를 보완한다는 의도다.

세계의 시뮬레이션인 과학적 세계 모델과 수학적 증명을 결합, AI 안전 메커니즘을 구축하는 것이 목표다. 여기에는 AI의 작업에 대한 설명이 포함되고, 인간은 AI 모델의 안전 검사가 올바른지 확인하는 작업을 맡게 된다. 

벤지오 교수는 과학 책임자로 합류, 과학적 조언을 제공할 예정이다.

그는 첨단 대형언어모델(LLM)의 복잡성으로 인해 AI를 보호하기 위해 AI를 사용할 수밖에 없다고 주장했다. "그게 유일한 방법이다. 어느 시점에서 모델은 너무 복잡해지기 때문이다"라며 "현재 등장한 모델도 인간이 이해할 수 있는 추론 단계 시퀀스로 답변을 해석할 수 없다"라고 말했다. 

또 기술 기업들도 AI 시스템이 프로그래밍된 대로 작동할 것이라고 수학적으로 보장할 방법이 없다고 덧붙였다. 이런 문제가 재앙적인 결과로 이어질 수 있다는 설명이다.

벤지오 교수는 잘 알려진 AI 안전주의자다. 지난해 10월에는 스튜어트 러셀과 같은 석학들과 AI 기업과 정부에 더 많은 안전 및 윤리 연구 투자를 요구하는 논문을 발표한 바 있다. 또 30개국과 유럽연합(EU), UN 등이 참여하는 첨단 AI 안전에 대한 국제 과학 보고서의 의장을 맡고 있다.

그는 "우리는 현재 뒤에 절벽이 있을지도 모르는 안개를 향해 달려가고 있다"라며 "수년, 수십년이 걸릴 수도 있고, 얼마나 심각한지 알 수 없다. 하지만 안개를 걷어낼 도구를 구축하고, 절벽이 있다면 떨어지지 않도록 해야 한다"라고 말했다.

한편 세이프가드 AI는 AI 안전 분야의 선도로 자리를 굳히려는 영국의 정부의 주요 프로젝트 중 하나다. 영국은 이런 의도로 지난해 11월 런던에서 첫 'AI 안전 서밋'을 개최했다.

임대준 기자 ydj@aitimes.com