다리오 아모데이 앤트로픽 CEO가 인공지능(AI) 모델의 '블랙박스' 문제를 밝혀내는 것이 시급한 문제라고 강조했다. 앤트로픽은 최근 이 분야에서 성과를 거두고 있다며, 특히 오픈AI나 구글도 여기에 동참해야 한다고 촉구했다.
아모데이 CEO는 24일(현지시간) 개인 블로그를 통해 '해석 가능성의 긴급성(The Urgency of Interpretability)'이라는 장문을 글을 올렸다. 제목 그대로 AI 모델의 작동 원리를 밝혀내는 것이 기술 개발만큼이나 중요하다는 내용이다.
그는 외부 분야의 사람들이 AI가 작동 원리를 제작자들도 모른다는 사실에 종종 놀라고 경악한다고 소개했다. 이런 이해 부족은 기술 역사상 전례가 없는 일이라고 덧붙였다. 이는 생성 AI의 메커니즘이 '설계'된 것이 아니라, '발현(emergent)'하는 것으로, 마치 식물을 키우는 것과 비슷하다고 지적했다. 키울 수는 있지만, 어떤 결과를 낼지는 모른다는 것이다.
그리고 이런 '무지'는 큰 위험을 안고 있다고 지적했다. 모델 내부 메커니즘을 이해하지 못한다는 것은 행동을 의미 있게 예측할 수 없다는 것을 의미하며, 따라서 이를 배제하는 데 어려움을 겪는다는 것이다.
즉, 시스템을 인간이 원하는 대로 조정할 수 있는 정렬(alignment)을 어렵게 하는 것은 물론, AI에 대한 디스토피아적 망상을 키우는 데 한몫한다는 것이다. 또 이런 문제로 인해 금융이나 안전이 필요한 분야에 AI 도입을 어렵게 만들어 생산성 향상을 방해한다고 지적했다.
따라서 앤트로픽은 설립 이후부터 이런 블랙박스 문제를 해결하기 위해 노력을 계속해 왔다고 전했다.
2021년에는 모델 언어를 분석하기 위한 수학적 기초와 소프트웨어 인프라를 개발해 해석 가능한 단일 '뉴런'을 발견했으나, 대다수 뉴런은 많은 언어와 개념이 중첩된 관계로 이를 해석하는 것이 쉽지 않다는 것을 발견했다.
이어 중첩 해석의 어려움으로 연구는 더뎠지만, 신호 처리 분야의 기존 기법인 희소 자동 인코더(sparse autoencoder)를 사용해 인간이 이해하기 쉬운 개념에 해당하는 뉴런 조합을 찾았다.
이를 '특징(feature)'이라고 부르고, 희소 자동 인코더로 모델을 매핑한 결과, '클로드 3 소네트'에서 3000만개 이상의 특징을 찾고 의미를 해석했다.
3000만개의 특징을 찾고 식별한 것은 상당한 진전이지만, 작은 모델에도 실제로는 10억개 이상의 개념이 존재할 수 있기 때문에 이제 연구는 시작에 불과하다고 밝혔다.
실제로 앤트로픽은 지난해 5월 대형언어모델(LLM) 작동 방식을 해석하는 데 처음 성공했다는 연구 결과를 발표한 바 있다. 또 지난달에는 AI가 작업을 수행할 때 활성화되는 경로를 분석한 '회로 추적'과 'LLM 생물학'이라는 방법도 소개했다.
하지만 아모데이 CEO는 단순히 AI 작동 원리를 파악하는 것과 이를 인류에게 이롭게 적용하는 것은 다른 문제로, 이를 해결하기 위해 기존의 레드팀 외에도 '블루팀'을 도입했다고 전했다. 레드팀은 AI에 문제를 일으키며, 블루팀은 이를 발견하고 해결한다. 이 과정으로 모델 문제를 해결하는 실질적인 경험을 축적하고 있다고 설명했다.
앤트로픽의 목표는 MRI처럼 AI의 두뇌를 스캔하고, 문제를 해결하기 위한 약을 처방하는 것이라고 밝혔다. 그리고 "현재 추세로는 5~10년 내 가능할 것이라고 확신한다"라고 말했다.
하지만 AI 기술이 너무 빠르게 발전, 시간이 별로 남아 있지 않을까 걱정이 된다고 밝혔다. 따라서 다른 기업이나 학계도 AI 해석에 집중하길 바란다고 촉구했다. 이는 모델 출시만큼 주목받는 일은 아니지만, 더 중요할 수 있다는 것이다.
특히 "과학계 전체가 참여하는 노력이라면 성공 가능성이 더 높다"라며 "구글 딥마인드나 오픈AI와 같은 다른 기업들도 해석 가능성에 대한 노력을 기울이고 있지만, 그들에게 더 많은 자원을 할당할 것을 강력히 권장한다"라고 말했다.
이와 관련, 오픈AI와 구글도 2024년 모델 내부 작동 방식을 밝힌 연구 결과를 발표한 바 있다. 다만, 후속 연구 결과는 나오지 않고 있다.
아모데이 CEO는 정부와 학계도 여기에 동참하기를 요청했다. 그리고 중국에 칩 수출 통제를 계속하는 것도 중요하다고 주장했는데, 독재적인 정부에 앞서 AI 해석에 도달하는 것이 큰 차이를 만들 것이라는 말이다.
이처럼 "해석 가능성 가속화, 투명성 강화 법률 제정, 그리고 중국으로의 칩 수출 통제 등 모든 것들은 그 자체로 좋은 아이디어로, 단점은 거의 없다"라며 이 모든 것을 실행해야 한다고 주장했다.
그는 마지막으로 "강력한 AI는 인류의 운명을 결정할 것이며, 우리는 AI가 우리의 경제와 삶, 미래를 근본적으로 변화시키기 전에 우리의 창조물을 이해할 자격이 있다"라며 글을 맺었다.
임대준 기자 ydj@aitimes.com
