기업이 인공지능(AI) 제품을 구축할 때 윤리적 위험을 피하기 위해서는 이를 프로젝트의 핵심 이슈로 다룰 필요가 있다는 지적이 나왔다.
미국 IT전문 매체 벤처비트는 22일 비샬 굽타 미 USC 마샬 비즈니스스쿨 데이터 과학 및 운영 담당 부교수의 기고문을 소개하면서 기업이 AI 윤리를 중시해야 한다고 강조했다. 비샬 굽타 교수의 기고문 내용은 아래와 같다.
여러 산업 분야에서 기업들이 인공지능(AI) 시스템의 사용을 확대하고 있다. AI는 더 이상 메타, 구글과 같은 기술 대기업에 국한되지 않는다. 물류 기업은 AI를 활용해 운영을 간소화하고 광고주는 AI를 사용해 특정 시장을 공략하며 온라인 은행에서도 AI를 사용해 자동화된 고객 서비스 경험을 강화하고 있다. 이러한 기업의 경우 AI와 관련된 윤리적 리스크 및 운영 문제를 다루는 것이 불가피하다. 이 문제에 어떻게 대비해야 할까?
제대로 실행되지 않는 AI 제품은 개인 정보를 침해할 수 있고 나아가 사회 및 정치 시스템을 약화시킬 수도 있다. 미국에서는 미래의 범죄 가능성을 예측하는 데 사용되는 알고리즘이 흑인에 대해 편견을 갖고 있는 것으로 드러나면서 형사 사법 제도의 인종차별적 관행이 강화된 것으로 나타나기도 했다.
위험한 윤리적 함정을 피하기 위해 AI 제품을 출시하려는 기업은 데이터 과학 팀과 해당 제품이 더 큰 비즈니스 및 미션과 상호 작용하는 방식에 대해 폭넓게 생각할 수 있는 교육을 받은 비즈니스 리더를 통합해야 한다. 앞으로 기업들은 AI 윤리를 추가 부분이 아닌 프로젝트의 핵심적인 전략적 비즈니스 이슈로 접근해야 한다.
AI와 관련된 다양한 윤리적, 물류 및 법적 문제를 평가할 때 제품의 수명 주기를 배포 전, 초기 출시 및 배포 후 모니터링의 세 단계로 세분하는 것이 도움이 되는 경우가 많다. 배포 전 단계에서 가장 중요한 것은 “이 문제를 해결하기 위해 AI가 필요한가”이다. 오늘날의 ‘빅 데이터’ 세상에서도 비 AI 솔루션은 장기적으로 훨씬 효과적이고 저렴한 옵션이 될 수 있다.
AI 솔루션이 최선인 경우 구축 전 단계에서부터 데이터 수집을 고려해야 한다. AI는 학습에 사용되는 데이터세트만큼 우수하다고 할 수 있다. 데이터를 어떻게 얻을 것인가? 데이터를 고객으로부터 직접 얻을 것인가, 아니면 제3자로부터 얻을 것인가? 윤리적으로 문제없게 얻었는지 어떻게 확인할 수 있을까?
이러한 질문을 회피하려는 유혹이 있지만, 비즈니스 팀은 데이터 수집 프로세스가 정보에 기반한 동의를 허용하는지 아니면 사용자의 개인 정보에 대한 합리적인 기대치를 위반하는지 고려해야 한다. 팀의 결정은 회사의 명성을 좌우할 수 있다. 사용자에게 적절한 정보를 알리지 않고 데이터를 수집하는 앱을 발견한 경우 연방거래위원회(FTC)는 알고리즘과 데이터를 삭제하도록 하고 있다.
사전 동의 및 개인정보 보호는 회사의 법적 의무와도 연관돼 있다. 국내 법 집행 기관이 민감한 사용자 데이터에 대한 접근을 요청하는 경우 어떻게 대응해야 할까? 국제적인 법 집행기관인 경우에는 어떻게 해야 할까? 애플과 메타와 같은 일부 기업은 의도적으로 사용자의 개인 데이터나 메시지에 접근할 수 없도록 암호를 사용해 시스템을 설계한다. 다른 회사는 중요한 데이터를 처음부터 저장하지 않도록 데이터 수집 프로세스를 신중하게 설계한다.
사전 동의 외에, 수집된 데이터가 대상 사용자를 적절하게 묘사할 수 있도록 하려면 어떻게 해야 할까? 과소평가된 모집단을 적게 반영하는 데이터는 편향을 지속시키는 AI 시스템을 만들 수 있다. 예를 들어 얼굴 인식 기술은 자주 인종 및 성별에 따라 편견을 드러내고 있는 데 이는 주로 이러한 기술을 만드는 데 사용되는 데이터가 다양하지 않기 때문이다.
AI 제품 수명 주기의 다음 단계에는 두 가지 중요한 과제가 있다. 먼저 제품의 의도된 기능과 실제 수행 중인 기능 사이에 차이가 있는지 평가해야 한다. 실제 성능이 기대치와 일치하지 않는 경우 이유를 밝혀야 한다. 초기 학습 데이터가 부족하거나 구현에 중대한 결함이 있는 경우는 즉시 문제를 파악하고 해결할 수 있는 기회다. 둘째 AI 시스템이 큰 사업과 통합되는 방식을 평가해야 한다. 시스템은 진공 상태에 적용되는 것이 아니고 새 시스템을 구축하면 현재 직원의 내부 워크플로우에 영향을 미치거나 외부 수요가 특정 제품이나 서비스로 이동하게 된다. 제품이 사업에 어떤 영향을 미치는지 보다 큰 관점을 통해 파악하고 대비해야 한다. 심각한 문제가 발견되면 AI 제품을 롤백, 스케일 다운 또는 재구성해야 할 수 있다.
배포 후 모니터링은 제품의 성공을 위해 매우 중요하지만 종종 간과되는 경우가 많다. 마지막 단계에서는 배포 후 AI 제품을 모니터링할 전담 팀이 있어야 한다. 결국 AI 또는 그 외 어떤 제품도 튜닝 없이 완벽하게 작동하지 않는다. 이 팀은 정기적으로 편향 관련 감사를 수행하고 데이터 안정성을 재평가하거나 단순히 낡은 데이터를 바꿀 수 있다. 과소평가된 그룹을 설명하기 위해 더 많은 데이터를 수집하거나 해당 모델을 재교육하는 등 운영에 변화를 줄 수도 있다.
가장 중요한 점은 데이터가 뭔가를 알려주기는 하지만 전체 상황을 항상 설명하지는 않는다는 것이다. AI 시스템의 정량적 분석과 수행 추적은 사용자 경험의 감성적 측면을 포착하지 못한다. 따라서 배포 후 팀도 보다 정성적이고 인간 중심 연구에 주력해야 한다. 팀의 데이터 과학자 대신 효과적인 질적 연구를 실행할 수 있는 다양한 전문 지식을 갖춘 팀원을 찾을 필요가 있다. 인문학 및 비즈니스 전공을 가진 사람들을 검토해 ‘알려지지 않은’ 사용자 및 내부 책무를 확인하는 것을 지원할 필요가 있다.
마지막으로 제품 데이터의 수명 종료에 대해 고려해야 한다. 오래된 데이터는 삭제하거나 대체 프로젝트에 맞게 용도를 변경해야 할까? 용도가 변경된 경우 사용자에게 알려야 할까? 저렴한 데이터 저장고가 오래된 데이터를 모두 저장하고 이러한 문제를 단계적으로 해결하려는 유혹에 빠지게 하지만 민감한 데이터를 갖고 있는 것은 잠재적인 보안 침해 또는 데이터 유출에 대한 위험을 높인다. 한 가지 추가적인 고려사항은 국가가 잊혀질 권리를 확립했는지 여부다.
전략적 비즈니스 관점에서 볼 때 기업은 AI 제품 팀에 기술이 미치는 영향을 평가하고 제품 출시 전, 출시 중, 출시 후에 윤리적 문제를 피할 수 있는 담당 비즈니스 리더를 배정할 필요가 있다. 업계와 무관하게 이러한 숙련된 팀원은 기업이 AI가 피할 수 없는 윤리적, 물류상 문제를 해결하도록 지원하는 토대가 될 것이다.
AI타임스 이한선 객원 기자 griffin12@gmail.com
