인공일반지능(AGI) 개발을 목표로 하는 세계 최고의 AI 기업 6곳에 대한 '안전 관리 등급'이 등장했다. 예상대로 가장 높은 평가를 받은 곳은 앤트로픽이었다. 그리고 최악으로 꼽힌 곳은 일론 머스크 CEO의 xAI였다.
타임은 2일(현지시간) 비영리 단체 세이퍼AI가 최고 AI 기업의 위험 관리 관행을 평가한 'AI 기업의 리스크 관리 성숙도' 첫번째 등급을 발표했다고 보도했다.
사이먼 캄포 세이퍼AI 설립자는 "AI는 매우 빠르게 움직이는 기술이지만, AI 위험 관리는 보조를 못 맞추고 있다"라며 “현재 위험 평가를 수행하는 정부는 없으며, 우리는 그 공백을 메우기 위해 존재한다"라고 말했다.
이번 평가에 등장한 회사는 오픈AI를 비롯해 앤트로픽, 구글 딥마인드, 메타, xAI, 미스트랄 AI 등 6곳이다. 모두 AGI를 목표로 하는 대표 AI 기업이다. 세이퍼AI는 각 회사의 레드 팀 활동과 위험 완화를 위한 전략 등을 평가했다.
그 결과 xAI는 5점 만점에 0점으로 최하위를 기록했다. AI 위험 관리에 대한 정책 자체를 찾아볼 수 없다는 이유다.
물론 머스크 CEO는 콘텐츠 검열에 대해 반대 입장을 보여왔으며, 이에 따라 xAI의 '그록'에 엄격한 가드레일을 적용하지 않았다. 특히 지난 8월 공개한 '그록-2'는 유명인이 등장하는 딥페이크 이미지로 물의를 일으켰다.
캄포 설립자는 "xAI의 현재 정책이 일시적이기를 바란다"라며 "6개월 뒤 등급 평가를 다시 실시할 때에는 회사가 달라지길 바란다"라고 말했다.
이어 미스트랄 AI와 메타는 5점 만점에 각각 0.1과 0.7점으로 위험 관리가 '매우 약함'으로 분류됐다.
오픈AI(1.6점)과 구글 딥마인드(1.5점)는 '약함' 등급을 받았다. 2.2점으로 '보통' 등급에 랭크된 앤트로픽이 선두를 차지했다.
특히 오픈AI는 ▲위험 식별(Risk Identification) 능력은 2.5점으로 '보통'을 받았으나 ▲위험 허용도 및 분석(Risk Tolerance & Analysis) 능력은 1.2점 ▲위험 완화(Risk Mitigation) 능력은 1.1점으로 '약함' 등급에 머물렀다.
캄포 설립자는 "이번 평가의 목적은 AI 시스템의 성능과 사용량이 증가함에 따라 AI 회사가 위험을 처리하는 방법에 대한 명확한 표준을 개발하는 것"이라며 "이번 등급이 AI 회사의 내부 프로세스를 개선하도록 압력을 가할 수 있을 것"이라고 강조했다.
한편, 세이퍼AI의 등급 프레임워크는 EU AI 법과 G7의 히로시마 선언에서 규정한 표준을 포함, 세계의 중요 AI 표준과 호환되도록 설계됐다.
이 회사는 지난 2월 백악관이 창설한 미국 AI 안전 컨소시엄의 일부다.
임대준 기자 ydj@aitimes.com
