훈련용 데이터 세트에 미세한 오탈자에도 기능이 마비될 수 있다
'적대적인 AI' 해킹에 대비할 수 있는 오픈소스 활용법 시도 중
군사용 드론이 적군의 탱크를 아군으로 잘못 인식하거나 자율주행차가 반대편에서 다가오는 차를 향해 돌진할 수 있다. 또 자연어처리(NLP) 로봇은 도중에 끼어든 정보로 인해 잘못된 정보를 제공할 수 있다. 이밖에도 인공지능(AI) 시스템 해킹이 불러올 결과는 다양하다.
AI가 매우 쉽게 해킹될 수 있다는 지적이 나왔다. AI 의존도가 높아지면 높아질수록 나쁜 의도를 가진 이들이 '적대적인 기계학습' 또는 '데이터 오염'과 같은 기술로 AI 시스템을 해킹할 위험도 커진다는 것이다.
데이타나미는 28일(현지시간) "훈련용 데이터 세트에 픽셀 몇 개를 끼워 넣고나 문제가 없어 보이는 오탈자 몇 개만 들어가도 AI 모델이 해킹될 수 있다"며 "신경망과 회귀 알고리즘 등 그 어떤 알고리즘도 해킹에 취약하다"고 주장한 기업용 AI플랫폼 개발사인 모지의 아라시 라나마 AI연구책임자의 주장을 집중 소개했다.
아라시 라나마는 컨설팅기업 부즈알렌의 수석 데이터과학자이기도 하다. 그는 "개와 고양이를 분류하는 AI 모델을 학습시키는데 필요한 데이터 세트에 해커가 이미지의 픽셀 몇 개만 바꿔 놓아도 AI는 고양이를 개로 잘못 분류하는 오류를 범한다"면서 "아직은 이같은 해킹을 감지할 방법이 없다"고 말했다.
◆ 실세계에 미치는 영향
이처럼 개를 고양이로 착각하도록 하는 해킹이 미치는 영향은 크지 않다. 하지만 테슬라 모델S의 오토 파일럿 기능을 구현하는 알고리즘 모델 데이터를 오염시켜 다가오는 차량 방향으로 주행을 하거나 정지 팻말을 최대 시속 45마일 팻말로 오인하도록 하는 경우는 얘기가 다르다.
구글과 자율주행 기능을 강화하는 데 협업했던 돈 송 버클리 캘리포니아대학 교수(적대성 AI 전문가)는 지난해 MIT 테크놀로지 리뷰 행사에서 "이같은 경우를 방지하기 위해 서로 노력해야 한다"고 털어놓은 바 있다.
이에 미국 국방부 산하 고등연구계획국(DARPA)은 지난해부터 취약점 식별, AI 내구성 강화, AI 해킹 대비 탄력적인 방어 기제 구축 등 기술적인 토대를 마련하는 ‘AI 내구성 강화(GARD)’ 프로그램을 시작했다.
하바 시겔만 DARPA 정보 혁신 사무소 프로그램 매니저는 "GARD 프로그램은 해킹 공격이 더 파괴적인 수준으로 발전했을 때를 대비해 가까운 미래에 발생할 수 있는 혼란을 막기 위해 노력하고 있다"면서 "해커가 머신러닝을 속일 수 없도록 방어 대책을 마련해야 한다"고 지적했다.
◆ 탄력적인 AI
AI 모델이 해킹 공격에 탄력적으로 만들기 위한 오픈소스 접근 방식은 다양하다. 자체적으로 적대적인 AI 데이터 세트를 만들어 모델을 훈련시키는 것이 한가지 방법이다. 이를 통해 실제상황에서 적대적 데이터를 분류할 수 있도록 하는 것이다.
라나마 AI 연구책임자는 모지에서 적대적 AI와 ‘설명 가능한 AI(XAI)’라는 동전의 양면과 같은 기술 도입을 주도하고 있다. 그의 노력으로 모지에서는 지금까지 두 기술 관련 독점 상품 2개를 출시했다.
첫번째는 AI가 사람처럼 기능하게 만들어 적대적 AI에 대한 복원력을 높여 추론 과정에서 회복력을 강화하는 방법이다.
라나마 책임자는 "AI 모델이 사람의 육안으로 이미지를 보는 것과 같은 방식으로 그 이미지를 보는 방식을 배운다"며 "이렇게 하면 적대적인 AI가 픽셀을 변경하고 시스템을 해킹하기 쉽지 않다는 것을 알 수 있다”고 말했다. 그는 “이제 적대적인 AI가 모델을 공격기에 체계가 더 복잡 해졌고 AI 모델이 이러한 공격에 대해 내구성이 더 높아졌기 때문이다”고 강조했다.
두번째 접근방식은 데이터 세트가 훈련을 하기 전에 데이터를 오염하려는 시도를 탐지하는 것이다. 라나마 AI 연구 책임자는 "우리는 이미지를 분류하는 대신 공격을 분류하면서 이로부터 배우고 있다"며 "특정 사례에 대해 적대적인 AI의 행동을 예측한 뒤 이를 역설계(reverse engineer)하고 오염된 데이터 입력을 탐지하는 AI 모델을 개발했다"고 말했다.
모지는 정부, 민간 부문 고객과 AI를 강화하기 위해 협력하고 있다. 라나마는 머신 러닝 모델 자체를 사용하거나 머신러닝과 오픈소스 AI 방어 수단을 함께 사용할 수 있다고 전했다.
그는 “현재로서 머신러닝 모델의 성능과 견고함 두 가지를 모두 충족시키기 어려운 부분이 있다”며 “결국 고객은 안전성과 성능을 모두 충족하는 AI 모델을 사용하게 될 수 있을 것이다”고 라마는 덧붙였다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com