뉴욕시가 인공지능(AI) 평가시스템의 편향성에 대한 감사 지침을 구체적으로 마련했다. 그동안 뉴욕시에선 내년부터 AI감사제도가 도입되지만 구체적인 지침이 없어 기업들이 혼란을 겪어 왔다.
뉴욕시가 내년부터 AI 채용 프로그램을 뜻하는 자동 채용 결정 도구(AEDT)에 대해 1년 이내에 편향성 감사를 받도록 했다고 해비타트 매거진이 15일(현지 시간) 보도했다. 감사는 AEDT 제작이나 운용에 참여하지 않은 제3자가 수행하도록 했다.
또 AEDT를 사용하기 전에 감사 내용의 요약을 회사와 직업 소개소 웹사이트에 게시하도록 했다. 이 조건들을 충족하지 못하면 AEDT는 사용하지 못한다고 뉴욕시는 밝혔다.
AEDT는 특정 키워드를 사용해 지원서의 우선 순위를 지정하는 이력서 스캐너, 구직자에게 자격을 묻고 미리 정의된 요구 사항을 충족하지 않는 사람은 거부하는 챗봇, 지원자의 성격이나 적성 또는 인지능력과 관련해 직무 적합성 점수를 매기는 테스트 소프트웨어 등이 포함된다고 뉴욕시는 설명했다.
편향성 감사에선 AEDT가 채용 과정에서 개인이나 그룹을 분류할 때 각 범주에 대한 선택률을 계산하고 영향을 미치는 비율을 계산하도록 했다. 여기서 범주는 인종과 민족, 성별 등이다. 감사 결과는 AI도구가 사용된 뒤 최소 6개월 동안 웹사이트에 게시하도록 했다.
뉴욕시는 또 AI채용 도구를 사용하는 기업이나 직업 소개소는 뉴욕시 거주 지원자에게 이런 도구의 사용 사실을 알리게 했다. 통지는 AEDT를 사용하기 최소 10영업일 전에 하고 지원자가 AI도구를 대체할 수 있는 채용 과정이나 편의를 요청할 수 있는 방법도 알리도록 했다.
뉴욕시는 이런 지침을 준수하지 않는 경우 최초 위반에 500달러(약 66만원)의 벌금을 물리고 추가 위반이 발생할 때 마다 500달러에서 1500달러 사이의 벌금을 물릴 것이라고 밝혔다.
뉴욕시는 지난 2020년 채용이나 인사에 대한 AI의 '편향 위험'에 관한 문제 제기를 받아들여 이런 시스템에 대한 감사 활동을 의무화하는 법을 제정했다.
이 법은 AI 시스템이 인종과 성별 등에 대한 편견을 가지고 있지 않는지를 기업들이 평가하도록 하고 이를 따르지 않으면 벌금을 물리는 내용으로, 내년 1월 발효를 앞두고 있다.
정병일 위원 jbi@aitimes.com
