8일 온라인 개발자 컨퍼런스서 오픈소스로 공개
기존의 페어니스360·익스플레이너빌리티360을 잇는 세번째 툴킷
불확실성 정량화 측정·개선하는 11개 기능 제공
IBM이 8일(이하 현지시간) 개최한 온라인 개발자 컨퍼런스에서 불확실성을 이해하고 소통지원에 초점을 맞춘 ‘UQ360’ 툴킷을 오픈소스로 공개했다.
벤처비트에 따르면 UQ360은 IBM이 공정성을 뜻하는 ‘AI 페어니스 360(Fairness 360)’과 설명성이라는 의미의 ‘AI 익스플레이너빌리티 360(Explainability 360)’ 다음으로 불확실성을 걸러내기 위해 탄생시킨 세 번째 툴킷 오픈소스다. AI 개발자부터 데이터 과학자, 연구원이 편향이나 불확실성을 걸러내는 역할을 담당한다.
얀 르쿤 페이스북 수석 AI과학자는 지난해 국제 표현학습학회(ICLF)에서 “불확실성은 자기 지도학습 성공에 걸림돌”이라고 말한 바 있다. 그만큼 AI 연구자들은 변수가 연속되는 분포, 측정만으로 얻을 수 있는 분포를 유용하게 나타내는 방법을 못 찾고 있다. 변수가 분리된 곳에서 완벽하게 불확실성이 드러나는 구글의 BERT 같은 아키텍처는 아직까지는 드문 성공사례라고 할 수 있다.
UQ360은 이름 그대로 불확실성 정량화(UQ, Uncertainty Quantification)를 측정하고 개선하는 11개 기능도 제공한다. UQ는 고품질 불확실성 추정치를 생성하지 않거나 사용자를 오도할 수 있다. 그렇기 때문에 개발자는 AI 시스템을 구축하기 전 UQ 품질을 정밀 평가하고, 필요한 경우 정량화 품질을 향상시키는 것이 중요하다.
사용자는 IBM이 제공하는 가이드를 통해 UQ 추정치에 대한 적절한 커뮤니케이션 스타일을 선택할 수 있다. 예측 모델의 한계와 실패 지점을 미리 제시함으로써 AI가 모르는 영역은 솔직하게 ‘모른다’고 대답하도록 이끈다. 이 대답에서 연구자·개발자는 어느 부분을 조정해야 할지 그 개선점을 쉽게 파악하게 된다.
이는 최근 마이크로소프트(MS)가 자사 연례 개발자 컨퍼런스 빌드2021에서 개발자 업무 효율을 강조하며 다양한 툴킷을 오픈소스로 공개한 것과 비슷하다. MS는 지난 25일 MS팀즈에서 앱 개발 시 필요한 코딩 작업을 간소화하는 신규 툴킷을 소개했다. 또 비주얼 스튜디오와 일반 스튜디오 코드를 연동해 팀즈에서 앱을 개발하고 배포하도록 개선했다. 이 과정에서 팀즈 내 새로운 기능 추가나 확장도 자유롭게 할 수 있다.
프라사나 사티게리 IBM 연구원은 IBM 블로그에서 “UQ는 기본 모델, 머신러닝 작업 유형, 데이터 특성, 사용자의 목표를 포함한 여러 요인에 따라 사용할 수 있다”고 밝혔다. 또 다른 연구원 베라 리아오도 “일반적인 설명가능성 기법은 AI의 작동 방식을 조명하지만 UQ는 한계와 잠재적 장애에 초점을 둔다”며 부동산 시세를 예로 들었다.
그에 따르면 주택 가격 예측 모델을 사용하는 사람들은 자신의 손익을 추정하기 위해 모형 예측의 오차 한계를 알고 싶어한다. 리아오는 “이와 마찬가지로 제품 관리자는 AI 모델이 새로운 기능 A가 평균적으로 B보다 더 나은 성능을 보일 것이라고 예측할 수 있지만, KPI(핵심성과지표)에 미치는 최악의 조건을 확인하려면 예측과정에서 오차 한계를 알아야 한다”고 말했다.
AI타임스 박혜섭 기자 phs@aitimes.com
[관련기사] [MS Build 2021] MS CEO, “개발자 역할 중요한 시대, 개발 업무 돕겠다”...쉬운 개발 위한 AI신기술 공개
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com