해외 연구진이 인공지능(AI) 훈련 데이터 속 민감정보 유출 위험도를 확인할 수 있는 오픈소스 툴을 만들었다.
싱가포르국립대학(NUS)은 레자 쇼크리(Reza Shokri) 컴퓨터학과 교수 연구팀이 AI 데이터를 대상으로 한 민감 정보 추론 공격의 취약성 여부를 정량화할 수 있도록 '머신러닝(ML) 프라이버시 미터' 툴을 개발했다고 10일(현지시간) 발표했다.
AI 시스템은 개인 구매 이력과 의료 기록 등 민감정보 데이터를 바탕으로 학습한다. NUS에 따르면, AI 시스템은 학습을 완료할 경우 활용한 데이터를 저장하지 않기 때문에 해커가 AI 시스템 내부에서 민감정보를 수집할 수 없다고 설명했다.
이어 최근 몇 년간 개인정보 보호ㆍ보안 전문가들의 연구 결과 AI 모델이 학습 데이터를 향한 민감정보 추론 공격에 취약하다는 사실을 밝혀냈다고 짚었다.
해커가 AI 모델의 패턴을 파악한 후 모델 설계에 활용한 데이터를 추론한다는 설명이다. 이 같은 공격으로 해커는 AI 엔진을 학습시키는 데 가장 많이 사용한 데이터셋을 재구성할 수도 있다.
민감정보 추론 공격은 ‘회원 추론 공격(Membership Inference Attacks)’ 개념에 기초해 특정 데이터 기록이 모델의 학습 데이터 일부인지 판단한다.
이에 쇼크리 교수 연구팀이 AI 서비스에 활용한 학습 데이터가 해커의 공격에 얼마나 취약한지 판단할 수 있도록 돕는 ML 프라이버시 미터를 개발했다.
프라이버시 분석 알고리즘은 앞선 공격을 시뮬레이션한 뒤 학습 데이터셋에서 개별 민감정보 기록이 얼마나 누출됐는지 계량화할 수 있다.
이 툴은 앞선 프라이버시 분석 결과를 바탕으로 AI 모델 학습에 활용한 기존 데이터 셋을 해커가 얼마나 정확히 식별할 수 있는지 기록한 측정 지표를 제공한다.
이 지표를 활용해 기존 데이터셋의 취약점을 확인ㆍ보완할 수 있으며 회원 추론 공격을 사전에 완화하기 위한 기법 결과도 볼 수 있다.
NUS는 이전까지 ML 알고리즘의 프라이버시 위험을 시험하거나 정량화할 수 있는 표준화 방안이 없어 가시적 분석이 어려웠다며, ML 프라이버시 미터가 다양한 유형의 멤버십 추론 공격을 테스트하고 계량화할 수 있도록 개별 AI 알고리즘 프레임워크를 제공한다고 설명했다.
향후 쇼크리 교수는 업계 파트너와 협력해 ML 프라이버시 미터를 AI 서비스에 통합할 수 있도록 관련 방안을 모색할 계획이다.
쇼크리 교수는 "민감한 데이터를 이용해 AI 시스템을 구축할 때 활용한 데이터를 보호할 수 있어야 한다"며 "우리가 개발한 ML 프라이버시 미터는 조직이 AI 시스템을 구축하기 전 내부 프라이버시 위험 분석이나 감사를 수행하는 데 도움을 줄 수 있을 것이다"라고 설명했다.
[관련 기사]AI를 만드는 AI, 'AutoML'…데이터 과학자 부족 해소하나
[관련 기사]고도화 경쟁이 알고리즘 예측 품질 떨어뜨린다
