설명 가능한 AI의 4대 원리에 대한 가이드 발표
反시장 경쟁적인 알고리즘 담합, 블랙박스 특성
DARPA, 투명한 AI 유리박스 개발 프로젝트 진행
AI를 악용해 불공정 행위 조장하는 기업, 앞으론 설명 가능한 인공지능 ‘XAI’가 감시한다.
최신 소프트웨어 트렌드를 다루는 미디어 ‘애널리틱스 인사이트(Analytics Insight)는 지난 19일 설명 가능한 AI의 4가지 원칙에 대한 초급 가이드를 제공한다고 보도했다.
이 설명 가능한 인공지능의 4가지 주요 원칙은 미 국립표준기술연구소(NIST)가 개발한 것이다.
이해 관계자와 파트너들이 연구원조차도 이해하기 어려운 머신러닝과 딥러닝 알고리즘의 전체 프로세스를 이해할 수 있도록 자체 설명 알고리즘을 개발했다는 것이다.
기사에 따르면, 설명 가능한 인공지능(Explainable AI) 또는 XAI는 사람이 이해할 수 있는 방식으로 제시하는 인공지능이며, 특정한 판단에 대해 알고리즘의 설계자조차도 이유를 알기 어려운 블랙박스 인공지능과는 대비된다는 설명이다.
애널리틱스 인사이트에 따르면, 이 설명 가능한 인공지능의 4가지 주요 원칙은 이렇게 제시됐다.
첫째는 인공지능(AI) 모델이 기업의 고위험적 의사결정 과정을 인간이 이해할 수 있도록 증거와 논리로 포괄적 해명을 의무화하는 것이다.
둘째는 조직의 이해 관계자와 파트너에게 명확하게 이해할 수 있는 설명을 제공한다.
셋째는 복잡한 인공지능 과정을 정확히 설명하고 반영해 의미 있는 결과를 도출한다.
넷째는 AI 모델은 교육 데이터 세트를 가진 특정 조건에서만 작동한다. 즉, 모든 비즈니스의 일치하지 않는 결과를 방지하기 위해 지식 한도 내에서 운영돼야 한다는 것이다.
설명 가능한 AI는 AI 해석 능력 향상, AI 위험 평가 및 완화는 물론 AI를 최대한 신뢰하고 구축하는 데 도움이 된다고 뉴스는 전했다.
가격 알고리즘 담합 잡는 XAI
지난 2017년 6월 26일 법률 전문 매체‘CMS law-now’는 OECD 사무국이 5월에 열었던 원탁회의 결과를 토대로 ‘알고리즘과 담합(Algorithm and Collusion)’에 관한 보고서를 발간했다고 보도했다.
이 보고서에 따르면, 기업은 AI 가격 알고리즘을 악용해 가격 담합을 시도할 수 있는데 기업들은 서로 직접 만날 필요가 없어서 훨씬 더 유리한 환경에서 담합을 시도하고 있다는 것이다.
AI를 이용해 실시간으로 가격을 조정하는 시스템은 이미 출시돼있는데 문제는 이러한 反시장 경쟁적인 알고리즘 담합은 블랙박스적인 특성이 있어서 파악에 어려움이 많다는 사실이다.
그러나 보고서는 AI의 내부 과정의 설명이 가능한 ‘설명 가능한 인공지능(eXplainable AI)’이 개발되고 있으며, 이른바 ‘XAI’라 불리는 이 새로운 AI 개념은 지난 2017년에 미국 방위고등연구계획국(DARPA)이 추진한 이후, 구글, MIT 등 민간 영역에서도 활발히 연구 중이라고 밝혔다.
미 방위고등연구계획국(DARPA)은 약 800억 원의 예산을 투입, ‘유리박스’ 개발을 목표로 프로젝트를 진행 중인 것으로 알려졌다.
XAI 개발을 위한 다양한 전략
지난 2019년 1월 10일 소프트웨어 기술 전문 매체 테크토크(Techtalk)에는 “설명 가능한 인공지능을 만들기 위한 DARPA의 노력 속”이란 제목의 기사가 실렸다.
이 기사에서 미 국방고등연구계획국(DARPA)의 베테랑 인공지능 엔지니어 데이비드 거닝(David Gunning)은 테크토크와의 인터뷰를 통해 DARPA의 XAI 개발 배경 및 당면 과제, DARPA의 목표, 그동안 이 기관이 달성한 진척 상황 등을 설명했다.
그에 따르면, DARPA의 많은 흥미로운 프로젝트 중 하나가 설명 가능한 인공지능(XAI)이며, 이는 딥러닝과 신경 네트워크의 주요 과제 중 하나를 해결하기 위한 이니셔티브라는 것이다.
아울러, XAI는 블랙박스 문제를 해결하고, 최종 사용자가 이러한 시스템을 더욱 쉽게 이해할 수 있는 개념으로 현재 다양한 기술 포트폴리오를 만들기 위해 노력 중이라고 밝혔다
딥러닝 알고리즘은 사용자에게 투명하지 않을 뿐만 아니라 창작자 본인에게도 비밀이기 때문에 사용자와 시스템 개발자들 모두가 AI 알고리즘을 이해하는 도구를 만들려는 노력이 병행되고 있다는 것이 거닝의 설명이다.
또 그는“ 현재 새로운 딥러닝 개발 및 시각화 툴을 많이 확보해 개발자가 시스템을 더 잘 이해할 수 있게 됐다”고 덧붙였다.
그는 대표적인 사례로, IBM과 하버드 연구진이 개발한 ‘Seq2Seq-Vis’와 개발자들이 그들의 AI 모델의 행동을 조사하는 것을 돕는 구글의 시각적인 도구를 꼽았다.
거닝은 “이 프로젝트가 시작됐을 때, 딥러닝이 두드러지기 시작했고, 이는 모두가 관심이 있는 분야로, XAI의 주요 초점은 딥러닝 알고리즘과 신경 네트워크를 위한 해석 도구와 기법을 만드는 것이었다”고 밝혔다.
거닝의 설명에 따르면, XAI에서 작업하는 팀은 세 가지 전략적 영역에서 일하고, 그 병행 노력을 위해 XAI는 12개 팀으로 구성됐으며 이 중 11개 팀이 설명 가능성과 AI 모델을 만드는 병렬 프로젝트를 진행하고 있다는 것이다.
프로젝트는 적어도 두 가지 주요 구성 요소로 구성되는데 첫째 요소는 머신러닝 학습 프로세스를 수정, 더 설명 가능한 모델을 생성하고, 두 번째 요소는 이러한 설명 구성 요소를 사람이 이해할 수 있도록 만드는 것이다.
현재 DARPA에 이어 XAI 개발 분야에서 가장 두드러진 UC 버클리대학은 XAI가 만들어 내는 시각적 표현에 관해 집중적으로 연구 중인 것으로 알려져 있다.
UC Berkley의 한 팀은 XAI에 의해 개발되고 있는 여러 프로젝트를 감독하고 있다.
그에 따르면, UC Berkley 팀의 기술 중의 하나는 각 모듈이 모듈 아키텍처를 학습하는 방식으로 신경 네트워크를 훈련하는 것이다. 여기서 모듈 아키텍처는 그 후 설명을 생성하는 데 사용될 수 있는 특정 개념을 인식하기 위해 학습된다.
결론적으로, 거닝은 “XAI 프로젝트 수행 직원들은 매우 빠른 속도로 발전하고 있는 환경에 적응해야 한다.”며, “딥러닝과 신경망(CNN) 분야는 기술 업계에서 가장 빠르게 발전하고 있으며 매년 수백 개의 논문이 발표되고 있다”고 말했다.
의료 환경에서 XAI는 더 필요해
올해 4월 5일 AI 콘텐츠를 다루는 마크테크포스트(MarkTechPost)는 토론토 대학과 LG AI 연구진이 공동으로 ‘설명 가능한’ 인공지능(AI) 알고리즘을 개발했다고 보도했다.
기사에 따르면, 이 알고리즘은 디스플레이 화면의 결점을 식별하고 제거하는 데 도움이 되는 것으로 알려졌다.
연구진에 따르면 이 XAI 알고리즘은 주로 의학 스캔 데이터 해석 등 머신러닝의 의사결정 방식에 대한 세부 정보가 필요한 다른 분야에도 적용될 수 있다는 주장이다.
이 대학의 ‘코스타스 플라타니오티스(Costas Plataniotis)’교수는 “XAI는 머신러닝 전략의 블랙박스 접근 방식으로 문제를 해결하고 있는 신흥 분야”라고 소개했다.
즉, 블랙박스 모델에서 컴퓨터는 수백만 개의 라벨이 붙은 이미지의 형태로 교육 데이터 세트를 제공받을 수 있다. 알고리즘은 데이터를 분석해 입력의 특성을 특정 출력과 연관시키는 방법을 학습한다.
그렇게 되면, 이전에 본 적이 없는 이미지에 레이블을 올바르게 부착할 수 있다는 것이다.
AI 블랙박스 모델은 의료와 같은 분야에 적용될 때 어려움을 겪는데 이를 위해 XAI는 의사결정 과정을 투명하게 하는 ‘유리상자’ 접근 방식으로 설계됐다.
AI타임스 조행만 객원기자 chohang5@kakao.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com