과학기술정보통신부가 주최하는 인공지능(AI) 경진대회 운영ㆍ평가 방식이 미숙해 참가자들이 불만을 공개적으로 제기하는 등 문제가 일파만파 커지고 있다. 결과물 제출을 앞두고 서버가 불안정하면서 대다수 참가자가 제대로 된 점수를 받아보지 못한 상황이다. 이에 대회 참가자들은 국가 규모 챌린지의 공정성과 전문성을 두고 의문을 제기했다.
19일 새벽 페이스북 그룹 내 온라인 개발자 커뮤니티인 텐서플로우코리아(TensorFlow KR)에서 정부가 운영 중인 ‘AI 그랜드 챌린지’의 운영 미숙을 지적하는 글이 올라왔다.
작성자 A씨는 글을 통해 "(2단계) 대회 시작 후 3일이 지났고 2일이 남은 시점에서 제출 결과를 받아보지 못한 팀이 많아 디버깅을 못하고 있다"면서 "이번 대회에서 운영하는 8개 트랙 중 1~2개 트랙은 아예 시작도 못했다"고 토로했다.
위 개발자가 지적한 AI 그랜드 챌린지는 과기정통부가 주최하고 정보통신기획평가원(IITP)이 주관하는 대규모 AI 연구개발(R&D) 경진대회다.
올해 4회째를 맡는 이번 대회는 ‘AI 기술을 활용한 다양한 지역 문제 해결’을 주제로 ▲응급상황(행동인지) ▲폭력상황(음성인지) ▲생활 폐기물 분류(사물인지) ▲AI 최적화ㆍ경량화(전력소비량 감소) 4개 트랙을 구성, 2022년까지 3년간 총 4단계로 진행한다.
지난 4월부터 두 달간 참가자를 모집, 총 134개팀 566명이 참가했다. 이후 7월 진행한 1단계 대회에서 상위 20팀을 선발한 뒤 16일부터 20일까지 2단계 대회를 개최ㆍ진행한다.
8월 초 IITP는 국가종합전자조달 나라장터에서 AI 그랜드 챌린지 본선 대회의 데이터셋 제작과 온라인 평가 환경 구축을 위한 용역 입찰공고를 냈다. 이후 같은 달 20일 마인즈앤컴퍼니가 7억4300만원으로 낙찰받았다. 현재 실질적인 서버 관리는 AI 플랫폼 기업 AI 팩토리가 담당하고 있다.
이번 경진대회에서 참가자들이 제기한 주요 문제는 서버 불안정과 평가 기준이다. 참가자인 이유로 익명을 요구한 C씨에 따르면, 참가자가 모델(결과물) 제출용 서버에 접속해 모델을 제출하면 운영사무국에서 자동 프로그램을 이용해 각각의 모델을 채점ㆍ평가한다.
이후 대회기간 동안 추론 현황 정보와 추론 실패 에러코드 등을 서버에 실시간 제공해 참가자가 이를 수정ㆍ보완할 수 있도록 한다.
하지만 운영사무국이 제공한 추론 현황 정보는 대부분의 모델이 추론에 실패한 것으로 나타났고, 비교적 낮은 점수를 획득한 모델이 상위권을 차지하면서 평가 기준을 두고 의문을 제기한 것이다.
이에 운영사무국은 19일 AI 그랜드 챌린지 대표 홈페이지를 통해 이번 대회 평가 가이드를 공개했다.
또 불안정한 서버 상태로 참가자가 불편을 겪었다. 이에 경진대회 운영사무국은 17일 대회 홈페이지를 통해 "1개의 파일을 1개의 서버에서 실행하는 것은 문제가 없었으나, 대량의 큐를 동시에 전송받고 복수의 평가 서버로 분배하는 과정에서 예상치 못한 문제가 발생해 해결 중에 있다"고 전했다.
이어 "공지가 올라온 시점부터 17일 오전 9시까지 추가적인 모델 제출을 일시 중단한다"며 "파일전송 실패 건에 대해서는 17일 오전 9시 이후 재제출을 부탁한다"고 덧붙였다.
추론 현황 정보도 실시간 제공하지 않아 참가자가 수정ㆍ보완 작업에 한계를 느끼고 있는 상황이다.
2단계 대회 기간 동안 참가자가 운영사무국 측에 모델을 제출한 뒤 피드백 과정을 거쳐 수정ㆍ보완해 20일까지 최종 결과물을 제시해야 한다.
하지만 운영사무국 측이 추론 현황 정보를 실시간 제공하지 않으면서 참가자의 수정ㆍ보완 작업이 제 때 이뤄지지 못한 것이다.
이번 대회의 참가자라고 밝힌 한 개발자는 A씨의 글을 읽은 뒤 "저도 아직까지 모델 추론 결과를 하나도 못 받아보고 있다"며 "대회가 며칠 안 남은 상태에서 결과 확인도 어려우니 의욕마저 떨어지고 있는 상태다"라고 토로했다.
다른 개발자는 "참가자로서 심각하게 공감한다"면서 "거의 모든 참가팀이 제대로 된 제출을 하지도 못하고 있다"고 주장했다.
운영사무국측은 홈페이지를 통해 17일 19시 기준 채점 서버 대기열 현황을 공개한 뒤, 19일에 18일 23시 기준 채점 서버 현황을 공유했다. 이어 같은 날 19시 14시 기준 채점 서버 현황을 알렸다.
이와 관련해 19일 IITP 측의 입장을 듣고자 여러 차례 연락을 취했으나, 연락이 닿질 않았다. 한편, 마인즈앤컴퍼니의 담당자는 "현재 담당자가 자리를 비워 구체적인 답변이 어렵다"고 전했다. AI팩토리도 연락이 닿질 않았다.
[관련 기사]KAIST, 물체 강성 이용한 VR 컨트롤러 개발
