AI 설계·데이터 전달에 이르는 어느 시점에서도 오류 발생 가능
기계 오작동 아니라면 의료AI 사용허가한 의료 기관이 책임져야
편향 데이터로 학습한 진단AI 사용 오류발생시 책임소재 불분명
잠재 대응책은 AI 구현에 관련된 모든 이에게 책임지게 하는 것
인공지능(AI)도입이 날로 확산되면서 암 진단, 자살 예측, 수술 등에 널리 사용되기 시작했다. 연구결과는 이 모든 의료과정에 참여하는 AI가 정해진 업무에서는 인간 의사들보다 더 뛰어나다는 것을 보여준다. 하지만 그 과정에서 뭔가 잘못되면 누가 책임져야 할까?
쿼츠는 20일(현지시각) 헬스케어업계(의료계)가 AI와 함께 진단 및 치료를 하다가 실수했을 때 누가 책임져야 할지에 대한 AI시대 의료윤리학에 대한 다양한 전문가들의 의견을 제시했다.
한 전문가는 AI시대 의료 사고에 대한 잠재적 대응책은 ‘AI 시스템의 사용과 구현에 관련된 모든 사람에게 책임을 묻는 것’이라는 의견을 제시했다.
◆“AI의 설계,데이터 전달에 이르는 어느 시점에서도 오류 발생 가능”
패트릭 린 캘리포니아 폴리테크닉 주립대 윤리 및 신흥 과학 그룹 소장은 “쉬운 해답은 없다”고 말했다. 그는 설계부터 데이터, 전달에 이르기까지 의료 분야에서 AI를 구현하는 과정의 어느 시점에서도 오류가 발생할 수 있다. 그는 “이런 상황은 정말 대혼란”이라고 말한다.
그는 “누가 책임질지는 명확하지 않다. 왜 오류나 사고가 일어나는지에 대한 세부 내용이 중요하기 때문이다. 그 사건은 가치 사슬을 따라 어디서나 일어날 수 있다”고 말했다.
◆의료 AI 설계 테스트와 현업 투입시 성능이 다른 경우도
AI 설계에는 하드웨어와 소프트웨어를 모두 제작하는 것은 물론 제품 테스트도 이뤄지게 된다.
AI 훈련에 사용되는 데이터는 기계학습이 편향된 데이터에서 교육할 때 발생할 수 있는 많은 문제를 포함하고 있으며, 반면 제품 배치시에는 제품이 실제로 어떻게 사용되는지가 포함된다.
의료분야에서의 AI는 종종 사람과 함께 일하는 로봇이 포함되는데 이는 책임 소재를 더욱더 모호하게 만든다.
로봇윤리에 대한 여러 권의 저서를 낸 예일대 다학제 생명윤리학 센터 강연자인 웬달 월리스는 “어디서, 그리고 어떻게 AI시스템이 사고를 냈는지에 따라 책임소재가 나눠질 수 있다”고 지적한다. 그는 “시스템이 설계된 대로 작동하지 않거나 특이한 행동을 한다면 책임은 장치를 판매한 기업으로 돌아가게 될 것”이라고 말했다.
이어 “만일 그런 잘못이 아니라면, 병원 차원에서 잘못 사용됐다면 책임은 이 사용을 허가한 곳에 있을 것이다”라고 말했다.
예를 들어 다빈치 수술로봇을 만든 서지컬(Surgical Inc.)은 지난 10년간 수천 건의 소송을 해결했다. 다빈치 로봇은 항상 사람 수술의사와 함께 일하지만 이 회사 수술로봇은 실수로 환자를 태우거나(burn) 로봇 조각 일부가 환자에게 떨어지는 등 명백한 오류에 직면했기 때문이다.
그러나 책임 소재가 덜 명확한 경우들도 있다. 백인 환자들의 데이터로 과다하게 훈련받은 진단AI가 흑인환자를 오진했다면, 책임 소재가 기계학습 업체인지, 편향된 데이터를 수집한 업체인지, 또는 이 권고를 맏아들이기로 선택한 의사인지 불분명하다.
야바르 바타이 변호사는 논문에서 “AI 프로그램이 블랙박스라면 인간이 하는 것 같은 예측과 결정을 내리겠지만 그렇더라도 그렇게 하는 데 대한 이유를 전달할 수 없을 것”이라고 인간에 적용되는 법 원칙이 AI에 반드시 적용될 수 없는 이유를 요약했다.
그는 “이는 또한 AI가 어떤 해법을 도출할지 어떤 결정을 내릴지 예측하지 못할 수도 있기 때문에 AI는 자신을 만들거나 배치(도입 활용)한 인간의 의도나 행태에 대해 유추할 수 있는 것이 거의 없다는 뜻이기도 하다”고 설명했다.
◆AI 블랙박스 내부
지난해 미국의학협회 윤리학회지(AMA Journal of Ethics)에 게재된 의료 불법행위 책임 및 AI 관련 논문은 “기계에 책임을 떠넘기기 어려운 이유는 AI가 의사결정 과정을 이해하지 못하기 때문”이라고 지적했다.
저자들은 “예를 들어 AI 설계자들이 출시된 AI의 행동을 예측할 수 없다면 어떻게 AI의 불법 행위에 대해 책임을 질 수 있을까”라고 썼다. 이어 “그리고 만약 법체계가 AI의 행동을 예측할 수 없다는 이유로 설계자들의 책임을 면제해 준다면, 부상당한 환자들은 보상을 받을 기회가 더 적어질 수도 있다”고 지적했다.
AI는 모든 기술과 마찬가지로 실제 환경에서는 연구실에서와 매우 다르게 작동하는 경우가 많다. 올해 초 구글헬스 연구진은 황당한 일을 겪었다. 연구실에서 90%의 정확도로 당뇨병성 망막증의 증상을 파악할 수 있는 딥러닝 시스템이 실제 병원 구현 시에 상당한 지연과 차질을 일으켰다는 사실을 밝혀냈다.
복잡하기 하지만 의료 분야에서 AI에 대한 분명한 책임 소재(규정)는 필수적이다.
왜냐하면 개별 환자들은 해명을 들을 권리가 있기 때문이다. 또한 책임질 대상이 없다면 실수가 계속 이어질 것이기 때문이다.
린은 “만약 누구의 책임인지 불명확하다면 이는 공백을 생기게 하며 아무도 책임지지 않게 만들 것이다”이라며 “그럴 경우 문제를 해결할 동기를 유발하지 않을 것”이라고 말했다.
조지타운대 법률학자 데이비드 블라덱이 제안한 한 가지 잠재적 대응책은 AI 시스템의 사용과 구현에 관련된 모든 사람에게 책임을 묻는 것이다.
◆실수 책임소재 불명확할 때 환자 우려는 증폭...의료에는 인간과 기계 모두 필요해
AI가 인간 전문직 종사자들의 판단을 증강시키는 역할을 하면서 AI와 헬스케어는 종종 함께 작동한다. AI가 발달하더라도 이 시스템들은 간호원을 대체하거나 사람 의사를 완전히 대체하는 자동화를 하지는 않을 것으로 예상된다.
그러나 AI가 발전함에 따라 사람이 기계의 결정에 반대하기가 점점더 어려워진다. 만일 로봇이 99% 맞다면 다른 선택을 한 의사가 심각한 책임에 직면할 수 있다.
린은 “의사들이 로봇의 말을 따라하기 훨씬 더 쉽다”고 말한다.
궁극적으로 이는 인간이 로봇에게 어떤 권위를 부여하고 있다는 것을 의미한다. AI가 인간을 능가하는 사례가 많아 의사들도 기계학습의 의견을 따르게 될 것이다.
그러나 실수에 대한 책임소재가 명확하지 않을 때 의료 분야 환자들의 걱정은 여전히 정당화된다.
린은 “의학은 여전히 진화하고 있다. 이는 예술의 일부이며 과학의 일부다”라고 말한다. 그는 “효율적으로 대응하기 위해서는 기술과 인간 둘 다 필요하다”도 말했다.
[관련기사] AI 영상 분석부터 원격 진료까지...디지털 헬스, DNA를 만나다
[관련기사] 펜타곤·구글, 암 투병 퇴역 군인 위해 AI 활용
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com