연일 논란의 중심에 있는 AI 챗봇 이루다를 개발한 스캐터랩이 연인 간 성적대화와 같은 민감한 사용자 정보를 직원 간에 돌려봤다는 의혹에 휩싸이면서 사내 조사에 나섰다. 개인정보 유출과 소수자 차별 논란으로 전일 발표했던 서비스 잠정 중단은 12일 오후 6시에 완료한다.
스캐터랩 전 직원이라고 알려진 B씨는 금일 연합뉴스를 비롯한 타 매체에서 스캐터랩 사내 메신저 단체방에서 직원들이 이루다 학습에 활용한 ‘연애의과학’ 내 사용자 데이터를 재미로 공유했다고 밝혔다. 해당 데이터에는 이름을 포함한 기본 정보는 가려졌지만 연인 간 성적인 대화와 농담과 같이 지극히 개인적인 내용이 포함된 것으로 알려졌다.
해당 내용이 보도된 후 스캐터랩은 사내 자발적인 진상조사위원회를 구성해 조사를 진행하고 있다고 밝혔다. 스캐터랩은 “전체 팀원이 참여하고 있는 카카오톡 대화 내용에 대해서는 조사를 마쳤다. 당해연도 카카오톡 단체톡방 내용에서는 보도된 내용이 발견되지 않았다”고 전했다.
더불어 “또 다른 사내 메신저 채널인 슬랙에 대해서는 다수 대화 채널이 있는 관계로 계속해서 조사를 진행 중인 사태”라고 말했다.
개인정보에 대한 직원들의 접근도 엄격하게 제한하고 있기에 데이터 유출이 어렵다는 주장이다. 스캐터랩은 “연애의과학 데이터를 포함해 개인정보 관련 원본 정보에 접근할 수 있는 권한은 엄격하게 제한한다. 망분리가 된 서버 환경 하에 사내 보안 부문을 총괄하는 담당자(CTO)를 지정해 관리 중이다. 본사가 제공하고 있는 서비스 데이터들은 모두 철저히 분리되고 통제된 환경에 있다”고 말했다.
이외 이루다 개발에 사용한 핑퐁 데이터는 개인 식별 정보를 제거한 상태로 분리해 별도 보관하고 있다는 설명이다. 데이터 점검이 필요할 경우에는 데이터 샘플링을 통해 극히 일부의 데이터만으로 점검한다. 때문에 사이버 공격으로 인한 역코딩, 리버스 엔지니어링을 통한 데이터 복구와 개인정보 유출·악용이 어렵다는 것이다.
◆이루다 오후 6시 중단 완료...“노출 개인정보는 연애의과학 데이터 아니다”
11일 발표한 대로 이루다 서비스 중단은 12일 오전 11시부터 진행 중이며 오후 6시에 전면 완료할 예정이다. 중단 기간에 대해서는 “현재 제기되고 있는 문제점들과 기존에 계획 중이던 개선사항이 완비될 때까지 서비스 운영을 중단하겠다”고 밝혔다.
반면 스캐터랩은 이루다 중단 주요 원인인 유출 의혹을 받고 있는 개인정보는 연애의 과학 내 데이터가 아니라고 해명했다. 이 회사에 따르면 연애의과학 텍스트 데이터는 프리트레이닝 단계에서 학습에만 활용됐다. 이루다가 사용한 문장은 연애의과학 회원 정보와 연계되지 않은 별도 사내 DB에서 가져왔다는 것이다.
스캐터랩은 “이루다는 이 DB에 수록되어 있는 문장에서 적절한 답변을 선택해 응답했다. 해당 DB에는 1억개 문장이 개별적이고 독립적인 형태로 저장되어 있고, 이루다는 AI 알고리즘에 따라 가장 적절하다고 판단하는 문장을 선택, 답변하도록 설계됐다. 그러므로 이루다의 답변 내용을 조합해 개인을 특정하는 것은 불가능하다”고 해명했다.
이어 “이루다는 핑퐁 데이터베이스를 통해 프리트레이닝 단계를 거쳤고, 이 단계에서 연애의 과학 텍스트 데이터를 기반으로 학습이 진행됐다. 이 때 사용되는 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태로, 발화자의 정보는 성별과 나이만 인식 가능하다. AI는 프리트레이닝 단계에서 사람간 대화 속에 존재하는 맥락과 답변의 상관관계만을 학습하게 되며, 데이터는 외부로 노출되지 않는다”고 말했다.
이루다가 문장을 가져온 DB 내에서는 알고리즘을 통해 비식별화 조치를 취했다. 스캐터랩은 “출시 이전 개인정보보호를 위해 주소, 계좌번호, 전화번호 등 개인정보가 포함될 수 있는 숫자와 영문 포함 메시지를 삭제했다. 알고리즘과 내부·베타 테스트를 통해 실명이 들어갔다고 판단되는 문장도 모두 지웠다”고 밝혔다.
스캐터랩은 “알고리즘, 기계적인 필터링을 거쳐 이루다의 최초 출시 당시부터 모두 삭제가 된 상태였다”며 “이루다가 말한 문장 내 이름은 다른 정보가 결합돼 이용될 수 없다”고 강조했다.
◆정제된 데이터로 알고리즘 개선 목표...비식별화는 계속 알고리즘 담당
향후 스캐터랩은 더 많은 양의 정제된 데이터를 통해 이루다 알고리즘을 학습할 방침이다. 스캐터랩은 “현실적인 조치로 키워드 기반으로 대응을 했지만 장기적으로는 AI 알고리즘을 더 많은, 정제된 데이터를 통해 학습시키고, 이를 통해 알고리즘이 옳고 그름을 배워나갈 수 있도록 하는 방안이 필요하다”고 말했다.
그러면서 “더 많은 양의 정제된 데이터를 통해 알고리즘을 학습시킬 수 있다면, AI가 스스로 윤리의식이나 도덕적 기준을 정립하고 적절한 판단을 내릴 수 있다고 생각한다”고 전했다.
이외 구체적인 알고리즘 업데이트 방안으로 스캐터랩은 ▲실명 필터링 알고리즘 강화 ▲한글 작성 주소 노출 막는 주소 필터링 알고리즘 업데이트 ▲대화 데이터 랜덤 변형을 통한 비식별화 조치 강화 ▲민감정보 노출 방지 알고리즘의 전면적 개선을 꼽았다.
스캐터랩은 “로봇3원칙, AI윤리 기준을 철저히 준수하면서 AI 기술 개발업계 모두가 당면한 문제를 해결하기 위해 머리를 맞대고 해결책을 찾아가겠다”고 전했다.
한편, AI 개발자들 사이에서는 스캐터랩이 데이터 레이블링 작업에 인간 검수를 보다 이용해야 한다는 주장도 나오고 있다. 이루다가 사용하는 1억개 문장을 포함한 DB 출처에 대해서도 알려진 바가 없다.
AI타임스 박성은 기자 sage@aitimes.com
