구글이 인공지능(AI)ㆍ머신러닝(ML) 모델 훈련 시 발생하는 편견 문제를 완화할 목표로 새로운 프레임워크를 출시했다.
기술 전문 매체 벤처비트는 구글이 AI 모델 훈련 과정에서 발생하는 편견을 제거하고 모델의 교육 목표를 강화할 수 있는 프레임워크 '민디프(MinDiff)'를 발표했다고 16일(현지시간) 보도했다.
구글 블로그에 따르면, 민디프는 유해하다고 간주한 텍스트 코멘트(주석)를 식별ㆍ제거하는 작업에 활용할 수 있다.
카테고리별로 데이터를 분류하는 작업의 경우 모델 훈련용 데이터셋에서 다루지 않은 그룹의 편견을 갖기 쉽다. 이에 데이터셋의 편향을 측정하는 데 활용하는 지표 중 하나가 ‘기회 균등(Equality Of Opportunity)’이다.
이 지표는 데이터셋 속 다른 그룹간 잘못 표현된 양성률의 차이를 최소화하는 데 활용한다. 하지만 희박한 기록 정보 데이터, 편견을 줄이는 툴의 비논리적 특성 등으로 데이터셋의 균형을 이루는 것이 어렵다.
이에 구글은 블로그를 통해 편견을 제거하는 데 초점을 맞춰 민디프의 활용도를 강화했다고 설명했다.
민디프는 편견 제거에 목표를 둔 새로운 학습 프로세스 강화에 적극 활용된다. 이러한 새로운 학습으로 이후에는 인구통계학적 정보를 가진 작은 데이터 샘플까지 최적화된다.
사용 편의성도 향상시켰다. 구글은 서로 대립 관계에 있는 학습에서 정규화 프레임워크로 전환했다. 이에 모델이 모든 그룹에 걸쳐 오류율을 균등화하도록 돕는다.
민디프는 예측과 인구통계학적 그룹 간 상관관계를 최소화하며, 분포가 다를 경우 평균과 예측의 변화량을 동일하게 미세 조정한다. 이에 구글은 편견을 제거하고 모델 정확도를 유지할 수 있다고 강조했다.
구글은 민디프가 다양한 사용 사례에 적합한 '모델 교정 라이브러리'가 될 것으로 기대했다.
플라비언 프로스트(Flavien Prost) 구글 수석 소프트웨어(SW) 엔지니어와 알렉스 뷰텔(Alex Beutel) 연구 과학자는 블로그를 통해 "분류기(classifier)의 오류율 격차는 우리가 다뤄야 할 주요 불공정 편견이지만 ML 학습에서 발생하는 유일한 편견은 아니다"라고 짚었다.
이어 "이번 연구가 광범위한 불공정 편견을 해소하고, 실용화 가능한 접근법 개발 연구를 진전시킬 수 있기를 바란다"고 희망했다.
