의료AI 연구 질 높이기 위해 CONSORT-AI 마련
AI 사용·데이터 수집·인간 개입 여부 등 자세히 기술 요구
폐 엑스레이 영상 진단, 당뇨환자의 인슐린 투여량 조절, 입원 환자 치료 기간 예상까지. 최근 전 의료 분야에서 AI 적용이 가속화되고 연구 논문이 발표되면서 질 높은 성과를 가려내기 위한 가이드라인이 등장했다.
네이처 메디슨은 최근 의료AI 연구 질을 높이기 위한 가이드라인 CONSORT-AI(Consolidated Standards of Reporting Trials–Artificial Intelligence)를 공개했다. 논문 전반에서 AI 사용, 데이터 수집, 인간 개입 여부 등에 대해 보다 자세하게 기술할 것을 요구한다.
CONSORT-AI는 네이처 메디슨이 연구 영향력과 질을 높이기 위해 기존에 사용하던 연구 가이드라인 CONSORT에 AI연구에 필요한 조항을 추가한 것이다. 문헌 조사와 전문가 자문 과정을 거쳐 14개 조항이 새로 선정됐다.
새 조항 마련을 위해 연구진은 통계학자, 임상 및 번역 연구자, 환자, 편집자, 규제기관 등 관련 전문가 103명을 전세계에서 모집해 후보 조항에 대한 2단계 델파이 설문 조사를 실시했다. 이후 2일간 미팅과 체크리스트 파일럿으로 조항을 다듬었다.
타이틀과 요약 영역에는 ▲CONSORT-AI 1a,b (i) 제목이나 요약 안에 AI나 ML을 명시하고 사용 모델 종류를 분명히하라 ▲CONSORT-AI 1a,b (ii)AI 도입 의도를 제목과 요약에 명시하라 ▲임상 과정에서의 AI 개입과 사용 목적, 사용자(의사, 환자, 일반인 등)를 설명하라가 포함됐다.
방법란에는 ▲CONSORT-AI 4a (i)참가자의 개입과 배제 기준을 언급하라 ▲CONSORT-AI 4a (ii)데이터 입력에 대한 개입과 배제 기준을 언급하라 ▲CONSORT-AI 4b AI를 현장 혹은 현장 외 공간에서 실험 세팅에 어떻게 적용하는지 설명하라 ▲CONSORT-AI 5 (i) 어떤 버전의 AI 알고리즘을 사용했는지 명시하라 ▲CONSORT-AI 5 (ii) AI 시스템이 사용하는 입력 데이터를 어떻게 수집, 선택했는지 설명하라 ▲CONSORT-AI 5 (iii) 질이 떨어지거나 사용불가한 입력 데이터를 어떻게 구별하고 처리했는지 설명하라 ▲CONSORT-AI 5 (iv) 입력 데이터를 다루는데 인간과 AI 협업이 이뤄졌는지, 어떤 정도의 전문가가 개입했는지 분명히하라 ▲CONSORT-AI 5 (v) AI 개입으로 인한 아웃풋 값을 명확히하라 ▲CONSORT-AI 5 (vi) AI 사용으로 인한 결과가 의사결정과정이나 여타 임상 수행 과정에서 어떤 역할을 수행했는지 설명하라가 추가됐다.
결과 관련 조항으로는 ▲CONSORT-AI 19 오류를 찾은 방법, 이를 적용하는 방법 등 오류와 관련한 분석 결과를 모두 설명하라. 오류 평가를 계획 혹은 수행하지 않았다면 이유를 설명하라가 있다.
참고문헌에는 ▲CONSORT-AI 25 AI 사용 성과가 평가될 수 있는지, 활용 혹은 재사용이 가능한지 명시하고 그 방법을 설명하라라는 조항이 마련됐다.
네이처 메디슨은 “많은 알고리즘들이 입원 환자 치료, 영상 진단 등에 사용되고 있지만 아직 이론적인 영역에 가깝다. 제한적인 환경에서 AI 연구가 진행, 효과가 입증됐기 때문에 변수가 많고 복잡한 실제 임상 환경에서는 다를 수 있다. 시뮬레이션 공간과 실제 의료 현장 갭을 줄이는 것 필요하다”며 의료 분야 AI 연구의 한계를 짚었다.
이어 “이번 가이드라인 개선을 통해 AI 기술을 의료영역에 적용하는 것이 새로운 어려움을 만든다는 것을 명확히 깨달았다”며 “(이번 가이드라인 개선은) 의료AI에 대한 책임감있고 투명한 평가 기반을 다졌다. 앞으로 AI로 인해 헬스케어 서비스 발전이 얼마나 실현될지 기대된다”고 말했다.
CONSORT-AI를 적용한 연구로는 지난 9월 네이처 메디슨지에 공개된 ‘AI 자동 결정 시스템을 통한 제1형 당뇨병 아동환자의 인슐린 투여량 조절’이 있다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com