미국과 한국 등 18개국이 인공지능(AI) 설계 단계부터 외부 공격으로부터의 안전성을 확보할 것을 업계에 주문하는 '개발 가이드라인'을 발표했다. 여기에는 기존 사이버 보안 문제를 해결하는 것뿐 아니라 AI 시스템을 표적으로 삼는 적대적 공격에 대처하는 것을 목표로 한다.
로이터는 28일(현지시간) 미국 사이버보안 및 인프라보안국(CISA)과 영국 국립사이버보안센터(NCSC)를 비롯한 전 세계 21개 기관이 'AI 안전 설계를 위한 가이드라인’을 공동 발표했다고 보도했다.
이에 따르면 가이드라인은 AI 제품 설계부터 배포에 이르기까지 개발 전 과정이 기술 오용으로부터 인간을 보호하는 방식으로 이뤄져야 한다는 기본 원칙을 담았다.
이를 위해 기업들은 ▲오남용 여부를 모니터링하고 ▲데이터 변조를 방지해야 하며 ▲소프트웨어 납품업체를 심사하는 한편 ▲적절한 보안 테스트를 거친 후에만 제품을 출시해야 한다.
이 가이드라인은 AI 시스템 개발 수명 주기 전반에 걸쳐 안전한 설계, 개발, 배포, 운영 및 유지보수를 포괄하는 '설계에 의한 보안' 접근 방식을 강조한다. 시스템에 대한 잠재적 위협을 모델링하고 공급망과 인프라를 보호해야 한다는 부분도 강조했다.
해커들의 공격은 물론 이른바 '탈옥'을 유도하는 적대적 공격에도 대처할 것을 주문했다. 이런 가드레일 우회 공격법은 심각한 문제를 일으킬 수 있는 민감 정보를 내놓을 수 있다. 가이드라인은 이를 유발하는 '프롬프트 인젝션' 공격이나 데이터 중독과 같은 다양한 공격 벡터를 방어하는 것이 중요하다고 강조했다.
법적 구속력이 있는 것은 아니다. 그럼에도 젠 이스털리 CISA 국장은 “많은 국가가 AI 안전을 고려해야 한다는 구상에 동참했다는 점이 중요하다”라고 말했다. 실제로 이는 글로벌 프레임워크로 활용될 가능성이 크다.
그는 "AI 모델은 얼마나 빨리 시장에 출시할 수 있는지 또는 비용을 낮출 수 있는지가 중요한 게 아니다"라며 "설계 단계에서부터 가장 중요한 것은 보안이라는 데 각국이 동의한 것"이라고 설명했다. 또 “AI 안전성을 우선시하는 가이드라인을 두고 다자간에 합의한 것은 이번이 처음”이라고 강조했다.
이번 가이드라인에 참가한 국가는 미국, 한국, 영국, 독일, 이탈리아, 체코, 에스토니아, 폴란드, 호주, 칠레, 이스라엘, 나이지리아, 싱가포르 등 18개국 정부의 관련 기관이다. 국내에서는 국가정보원이 서명했다.
한편 미국 정부는 최근 AI와 관련한 글로벌 합의를 잇달아 끌어 내고 있다. 지난 14일에는 미국 국무부가 'AI의 책임감 있는 군사적 개발 및 사용'에 45개 국가가 참여했다고 발표했다.
또 바이든 행정부는 지난달 세계 최초의 AI 행정 명령을 발표한 바 있다. 여기에는 이번 가이드라인과 흡사한 내용의 개발 안전 표준을 비롯해 근로자 보호 및 개인 정보 보호 원칙 등 AI 시스템 개발 지시가 담겼다.
박찬 기자 cpark@aitimes.com
