‘헬스케어 AI의 신뢰와 영향’ 컨퍼런스서 4명 전문가 토론
ML 블랙박스 해결 이전에 데이터 공유 범위 확장해야
특허 기기만 보호하는 기존법, 엔지니어 자만이 방해 요인
의료 AI 핵심 문제인 ‘설명불가능’ 문제 개선을 위해 데이터 활용 전과정을 공개해야 한다는 전문가 주장이 나왔다. 머신러닝(ML) 블랙박스를 없애기 위해 설명가능한 AI를 개발하는 것과는 다른 접근방식이다.
12일(현지시간) CES 2021에서 열린 ‘헬스케어 AI의 신뢰와 영향(Trust and The Impact of AI on Health Care)’ 컨퍼런스에서는 AI 정책 전문가 4명이 AI 헬스케어 확산을 위한 개선점을 논의했다.
제시 에렌펠트(Jesse Ehrenfeld) 미국의학협회(American Medical Association, AMA) 이사회 의장, 팻 베어드(Pat Baird) 필립스 AI 규제 위원, 크리스티나 실콕스 듀크-마고리스 센터 디지털헬스 정책연구원이 패널로 참여했다. 케리 헤어사인(Kerri Haresign) 미국소비자기술협회(Consumer Technology Association,CTA) 기술&표준 디렉터가 사회를 맡았다.
이날 전문가들은 의료를 비롯한 헬스케어 영역에 AI 적용을 확대하기 위해서는 ML 블랙박스와 같은 기술적 문제 개선 이외에 데이터 공개가 중요하다고 입을 모아 주장했다. 엔지니어가 사용 데이터를 선택, 배제하고 라벨링하는 전체 과정을 자세히 공유해야 한다는 것이다.
데이터 공개 범위 확장으로 AI 결정에 대한 이해도를 높여야 의사와 일반 환자 모두에게 신뢰성을 확보해 널리 사용될 수 있다는 의견이다.
제시 에렌펠트 AMA 이사회 의장은 “AI 활용을 막는 장애물은 기술적 문제가 아니라 인간과 기계간 관계다. 여기서 핵심은 신뢰”라며 “의료진이 현장에 사용하기 위한 AI 신뢰성 확보를 위해서는 투명성(transparency)이 중요하다”고 강조했다.
투명성 즉, 설명가능성 개선을 위해 에렌펠트 회장은 기술 개발 과정에서 데이터를 다룬 내용을 모두 공개해야 한다는 입장이다. 그는 “개발에 참여한 혹은 참여하지 않은 환자, 인구통계학적 정보를 모두 알 수 있어야 한다. 이를 위한 명확한 제도가 마련돼야 한다. 그래야 의사들이 진료 현장에서 환자에게 자신있게 (AI 시스템을) 적용할 수 있다”고 설명했다.
크리스티나 실콕스 듀크-마고리스 센터 디지털헬스 정책연구원은 “ML은 이미지, 전자건강기록(EHR), 보험 데이터 등 다양한 데이터를 사용해 결과값을 내놓는다. 이 다양한 인풋값을 ML이 어떻게 처리했는지 우리는 알 수 없다”며 AI 헬스케어에서의 설명불가능성 문제를 설명했다.
이어 “모든 개인, 일반인까지 이 AI 시스템 작동과정을 이해해야 하는 것은 아니지만 누군가는 이를 알고 AI 결과물을 평가할 수 있어야 한다”고 강조했다.
그는 “AI 소프트웨어가 학습에 사용한 데이터는 물론, 결과값에 영향을 준 별개 데이터도 알 수 있어야 한다. 학습 포함·배제 데이터는 물론이고 AI가 덜 추천하거나 반대로 강조하는 결과에 대한 자세한 과정과 사용 데이터, 데이터 선택 기준도 공개가 필요하다”고 말했다.
기업이 데이터 공유를 주저하게 만드는 배경으로는 법적인 배경과 엔지니어의 인식을 꼽았다.
실콕스 연구원은 “대법원 판결에서 알 수 있듯이 특허를 받지 않은 AI 소프트웨어들은 관련 보호를 받을 수 없는 상황이다. 이를 이유로 기업들이 데이터를 포함한 기술 디테일 공유를 꺼리고 있다”고 지적했다.
팻 베어드 필립스 AI 규제 위원은 “많은 사람들이 데이터 수집 가능성과 데이터양에만 주목한다. 데이터 수집 과정, 소스에 포함된 맥락은 고려하지 않는다. 엔지니어들은 자신이 전문가인만큼 제대로 판단했다고 생각한다”고 꼬집었다.
기존 의료기기와 달리 계속해서 새로운 내용을 학습하고 빠르게 업데이트하는 AI가 제시하는 결과를 어떻게 설명할 것인지도 관건이다. AI가 시간에 따라 다른 결과물을 내놓을 시 충분히 설명하지 않으면 기술에 대한 신뢰도가 하락할 수 있다는 의미다.
에렌펠트 회장은 “월요일에 특정 진단을 내린 AI가 알고리즘 업데이트 후 목요일에 다른 결과 내놓을 경우 의사는 환자에게 어떻게 설명할 것인가. 이는 AI에 대한 신뢰성과 직결되는 문제다. FDA 기존 규칙으로 이를 어떻게 다룰 것인지도 문제”라고 말했다.
새로운 제도를 마련할 필요 없이 기존 절차를 통한 최소 위험 관리부터 시작해야 한다는 의견도 나왔다.
베어드 위원은 “우리는 이미 기존 절차를 통해 답을 알고 있다. 생물학 연구에서 세포 조직 샘플을 다루는 법을 예시로 들 수 있다. 세포 조직 샘플 데이터 수집, 저장, 파쇄, 활용에 대해서는 모두 국제 절차가 마련돼 있으며, 세포 조직 샘플에 대해 프라이버시 걱정을 하는 사람은 없다”고 설명했다.
그러면서 “디테일만 다를 뿐 뼈대는 같다. AI 학습 속도에 맞춰 빠르게 규칙을 수정할 필요가 없다. 위험 가능성에 대한 최소 절차를 적용하는 것부터 시작하면 된다”라고 강조했다.
◆“AI, 의료 비인간화 아닌 재인간화 해야”
설명불가능성 개선 이외에도 AI 헬스케어 활용을 위해 필요한 개선점들이 제시됐다. 헬스케어· 의료 영역에서 AI를 비롯한 디지털 기술이 적용되면서 의료진 업무가 변질됐다는 지적이 나왔다.
베어드 위원은 “간호사들에게 디지털 기술로 인한 현장 변화에 대해 질문했더니 ‘10년 전에는 환자를, 지금은 컴퓨터를 가장 많이 본다’고 답했다. 기술이 의료를 비인간화(dehumanize)하는 것이 아니라 재인간화(rehumanize)해야 한다. 기술 역할은 의료진이 환자를 더 많이 볼 수 있도록 돕는 것”이라고 말했다.
에렌펠트 회장은 의료 AI 사용을 막는 환경적 요인으로 3가지를 꼽았다. 그는 “1000명 가량 전세계 의사를 대상으로 조사한 결과 ▲기술 효과 ▲수가와 같은 기술 사용에 대한 보상 ▲기술 신뢰성을 꼽았다. 특히 신뢰성에 대해서는 의사 자신이 기기를 믿을 수 있는지, 고소될 가능성은 없는지 우려하는 답변이 많았다”고 전했다.
실콕스 연구원은 데이터 편향성으로 인해 의료 AI 효과가 제한될 수 있음을 지적했다. 그는 “다른 인종, 환자, 환경, 조건에 따라 AI가 다르게 작동할 수 있다. 예를 들어 어린이 전문병원과 일반 병원에서는 대상 환자가 다른 만큼 데이터도 알고리즘도 다르다. 비정형적인(messy) 디지털 헬스케어 데이터, 리얼월드 데이터(RWD)를 의사가 어떻게 활용할 것인지도 관건”이라고 말했다.
AI타임스 박성은 기자 sage@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com