서울대 윤성로 교수팀, 한국어 AI 모델 편향 진단 데이터셋 공개...제2의 이루다 막는다 < AI기술 < 기사본문

Q. 이번에 개발한 K-StereoSet 구축 계기는 AI 챗봇 이루다 사건이라고 할 수 있나?

이루다 사건 이전에 2016년 3월 MS의 AI 챗봇 테이 사건이 있었다. 이루다와 같이 테이도 사회적 차별 발언을 해 크게 문제가 됐다. 이후 편향성을 막으면서 AI 학습을 진행하는 방법, AI 모델의 편향성 측정법 등을 계속 고민했다.

Q. K-StereoSet 이외 기존에는 한국어 언어 모델의 사회적 편향을 진단할 수 있는 데이터셋이 없었는지?

내가 알기로는 거의 없는 상황이다.

Q. AI 챗봇 개발에 K-StereoSet을 어떤 방식으로 사용할 수 있는지 구체적으로 설명하자면?

활용할 수 있는 방식이 여러 가지다. 우선 기업들이 자체적으로 AI 모델을 학습시킬 때 하나의 성능 척도로 편향성을 측정할 수 있다. 원하는 만큼 결과가 나오지 않으면 재학습하는 식이다. 외부 기관이나 기업에서 특정 기업의 AI 챗봇을 평가·인증하는 일에도 사용 가능하겠다.

Q. 향후 K-StereoSet을 계속 업데이트할 것이라고 했다. 관련 계획으로 어떤 것이 있을까?

우선 규모가 좀 더 커져야 한다. 다음으로는 한국만의 현실에 맞춘 데이터셋 구축에 주력할 계획이다. 한국 문화와 정서에서 특히 더 조심해야하는 편향을 반영하려 한다.

서울대 윤성로 교수

서울대 공대(학장 이병호)는 전기정보공학부 윤성로 교수팀이 한국어 언어 모델의 사회적 편향(social bias) 진단을 위한 데이터셋 'K-StereoSet'을 개발했다고 8일 밝혔다. 해당 데이터셋은 한글날을 맞아 9일 공개된다.

인공지능(AI)의 사회적 편향은 현재 전세계에서 주목하는 연구 주제다.

국내의 경우 올해 초 AI 챗봇 이루다가 여성, 성소수자, 흑은, 장애인 등 소수자들에 대한 차별과 혐오 표현을 하면서 중요성을 크게 체감하게 됐다.

이후 AI 기반 한국어 언어 모델 연구에 가속이 붙었지만 이들의 사회적 편향을 진단할 수 있는 수단은 거의 찾아보기 힘든 상황이다.

이러한 문제의식 하에 윤성로 교수 연구팀은 K-StereoSet을 구축했다. K-StereoSet은 MIT가 영어 대상 AI 언어 모델의 편향을 진단하기 위해 구축한 'StereoSet'의 한국어 버전이다.

연구팀에서는 먼저 약 4000개 샘플로 구성된 원본 데이터셋을 네이버 파파고 API를 통해 1차 번역한 후, 연구원 개개인이 직접 번역 내용을 검수했다. 원래의 샘플 양식과 취지를 보존하기 위해 후처리(post-processing)를 거쳤다.

데이터 내에서 사회적 편향 분야는 성별, 종교, 직업, 인종 네 가지다. 편향성 진단을 위한 샘플 양식은 문장 내(intrasentence) 편향 진단 양식과 문장 간(intersentence) 편향 진단 양식 두 개 카테고리로 나뉜다.

문장 내(intrasentence) 편향 진단 테스트와 문장 간(intersentence) 편향 진단 테스트 샘플(사진=윤성로 교수팀)

문장 내 편향 진단 테스트를 위한 ‘intrasentence’ 양식에서는 빈칸 처리된 문장이 주어졌을 때 빈칸에 채워질 내용으로서 세 개의 보기 중 어느 것에 높은 점수를 부여하는지를 이용해 진단한다. 예를 들어, 위의 왼쪽 예시처럼 한 문장 안에서 ‘심리학자’라는 직업의 사람이 ‘독선적’이라는 편향을 가지고 있는지를 확인할 수 있다.

문장 간 편향 진단 테스트를 위한 ‘intersentence’ 양식은 앞 문장(context)이 주어졌을 때 다음 문장으로서 세 개의 선택지가 주어질 때 이들 중 어떤 문장에 높은 점수를 부여하는지를 이용해 진단한다. 예를 들어 위의 오른쪽 예시처럼 사람이 ‘히스패닉’이라는 문맥이 주어졌을 때, 다음 문장에서 그 사람이 ‘불법적인 시민’이라는 편향을 가지고 있는지 확인할 수 있다.

연구를 주도한 송종윤 연구원은 “문장 내 편향 진단 샘플 중 ‘unrelated’ 라벨에 해당하는 문장은 문맥과 전혀 관계없는 단어가 빈칸에 들어가기 때문에 자동 번역 시 원문 의미를 벗어나기 쉽다. 또한 문장 간 편향 진단 샘플의 보기 문장들은 맥락(context) 문장을 고려하지 않는 경우가 발생하는 것과 같은 특수한 상황들에 유의하며 변환을 진행했다”고 설명했다.

연구 책임자인 윤성로 교수는 “AI 기반 한국어 언어 모델이 고도화, 사업화될수록 윤리성 확보와 편향성 제거를 위한 노력이 중요하다. 한글날을 맞이해 보다 바른 한글을 구사하는 인공지능 기술 개발을 위해 K-StereoSet이 작지만 의미 있는 첫걸음이 되기를 기대한다”라고 전했다.

AI타임스 박성은 기자 sage@aitimes.com