(사진=셔터스톡).
(사진=셔터스톡).

설명 가능한 인공지능(eXplainable AI, XAI)은 ‘AI의 행위와 판단을 사람이 이해할 수 있도록 설명해주는 AI’를 뜻한다. 사람이 AI를 더욱 신뢰하고 AI를 사용하는 데 책임과 의존성을 높이기 위한 하나의 솔루션으로 마련됐다. 머신러닝과 딥러닝 알고리즘이 어떻게 접근해 결정기준을 정하는지, 어떻게 설정됐는지를 밝히는 데 중요한 역할을 한다. 알고리즘의 실제 동작 원리를 인간이 제대로 파악할 수 있도록 돕는 장치라고 생각하면 쉽게 이해할 수 있다.

애널리틱스 인디아매거진은 25일(현지시간) 올 한해 발표된 이러한 XAI 툴을 선정해 소개했다.

1. 마이크로소프트(MS)의 페어런(Fairlearn) 툴킷

MS가 발표한 페어런 툴킷은 데이터 과학자는 물론 개발자가 AI 시스템 공정성을 높일 수 있는 XAI 툴킷이다. 이 툴킷에는 대화형 시각화 대시보드(interactive visualization dashboard)와 불공평 완화 알고리즘(unfairness mitigation algorithms)이라는 두 가지 구성요소가 있다. 공정성과 모델 성능 사이 절충안을 모색하는 데 도움이 되도록 설계됐다. MS는 페어런 툴킷을 오픈소스로 공개해 사용자들이 분류 작업과 회귀 작업을 구성하는 다양한 영역에 AI 모델을 평가하는 공정한 메트릭을 지원한다.

2. 세일즈 포스의 이레이저(ERASER)

‘이론적 근거 및 간단한 영어 추론(Rationales and Simple English Reasoning)’의 줄임말인 ERASER는 합리화된 자연어 처리(NLP) 모델을 평가하는 데 도움이 되는 XAI다. 클라우드 기반 고객관리 소프트웨어 개발업체인 세일즈포스가 개발했다.

ERASER에 포함된 모든 데이터셋은 감성분석을 포함해 자연어추론, 문제응답 작업 등을 분류한다. 그 중에는 데이터 라벨 수가 다르고 클래스 라벨이 다른 것도 있다. 또한 ERASER는 정확한 출력을 예측하기 위해 원본 문서에서 추출한 텍스트의 ‘합리화(rational)에 초점을 맞춰 가동된다.

3. 테네시 주립대의 불우한 유년기 치료를 위한 XAI

지난 10월 테네시 주립대 보건과학센터 연구진은 ‘유년기 시절 불우한 경험 치료 및 감시를 위한 플랫폼(SPACE)’을 위한 XAI를 개발했다. SPACE는 머신러닝 기법을 활용해 환자를 선별하고 관련 자원을 할당하거나 발굴하는 데 도움을 주는 ‘지능형 추천 시스템’이다. 연구진에 따르면 이 XAI 시스템은 환자로부터 직접 수집해야 하는 정보량을 최소화하는 동시에 환자 인터뷰 중에 개인화된 질문을 생성함으로써 환자와의 친밀감 또한 구축한다.

4. MS 화이트노이즈(WhiteNoise) 툴킷

MS가 하버드대 공대 연구진과 공동으로 개발한 화이트노이즈는 글로벌 차등 사설 시스템을 구축하기 ‘차등 개인 정보 플랫폼’이다. MS는 지난 빌드2020 컨퍼런스에서 이 툴을 발표, 오픈소싱했다.

화이트노이즈는 코어와 시스템으로 이루어진 오픈소스 프로젝트다. 핵심 라이브러리는 차등적으로 개인 시스템을 구현하기 위한 ‘프라이버시 메커니즘’을 포함하고 있으며 시스템 라이브러리는 표와 관계형 데이터로 작업하기 위한 ‘도구와 서비스’를 제공한다.

5. 다윈AI의 COVID-Net

‘설명 가능한 AI기업’ 다윈AI가 최근 COVID-NetCOVIDNet-S를 개발했다. 올해 3월 COVID-Net은 흉부 X선(CXR) 영상에서 코로나19 사례를 검출하기 위한 맞춤형 ‘신경망 설계’다. 연구진은 이 모델과 함께 1만3870명의 환자 사례에 걸쳐 1만3975개의 CXR 영상으로 구성된 오픈 소싱 COVIDx도 개발했다.

이후 지난 9월 다윈AI는 코로나19 질병 심각도를 평가하기 위해 XAI 플랫폼에서 설계된 딥러닝 모델인 COVIDNet-S를 발표했다. 이 시스템은 약 1만 명의 흉부 X-레이를 사용해 개발됐다. 이 환자들 중 수백 명은 종합적인 폐질환 중증도 평가를 받은 코로나19 양성 환자들인 것으로 알려졌다.

코딩 배우자!…빌 게이츠 추천 무료 강좌 프로그램 8

바이든-해리스 미 행정부의 인공지능·IT정책 향방은?

키워드 관련기사
  • [AI로 만드는 컬처] ⑤AI 예술가, 기술 이해 필요한가? “YES”
  • 세일즈포스, 슬랙 인수 여부 내달 1일 발표…'MS 팀즈' 강력한 대항마 탄생할까?
  • 네이버클라우드, 'AI컨택센터' 솔루션 클로바 AI콜ᆞ스피치 출시