인공지능(AI)의 비디오 이해 능력을 평가할 수 있는 '비디오 튜링 테스트(Video Turing Test)' 대회가 서울대 AI 연구원에서 열렸다.
서울대 AI 연구원은 지난 11월 26일 서울대 두례문예관 공연장에서 비디오 튜링 테스트를 개최했다고 밝혔다.
과기정통부 주최, 정보통신기획평가원·서울대 비디오지능센터·지능정보산업협회 공동주관으로 열린 이번 대회는 과기정통부의 AI 부문 혁신성장동력프로젝트(과제명 : 비디오 튜링 테스트를 통과할 수준의 비디오 스토리 이해 기반의 질의응답 기술 개발, 이하 VTT)의 연구 결과물인 VIP(Video Intelligence Platform) 및 비디오지능 평가방법을 비디오 튜링 테스트 포맷으로 공개 시연하기 위해 개최됐다.
대회는 개발한 AI 비디오 이해 능력을 여러 연령층의 사람과 비교해보는 블라인드 테스트로 진행됐다. 독립된 부스 안에 있는 AI 로봇과 만6세, 만9세, 만12세, 만18세 사람 4명이 주어진 드라마 비디오 클립된 문제를 보고 답변을 제출하면, 35명으로 구성된 평가단이 어느 답변을 AI가 제시했는지를 맞추는 방식이다.
AI의 인지능력 평가를 위해 대회는 5라운드로 구성됐다. 각 라운드는 감정 인식, 지식기반 추론, 배경정보 기억, 대화맥락 이해, 행동의도 추론을 주제로 편성됐다.
평가단은 부스 안 참가자들이 제출한 답변을 보고, 각 라운드가 끝나면 어느 참가자가 AI일지 선택해 투표했다. 각 라운드별로 득표율이 AI보다 높거나 같은 사람 참가자가 있는 경우, AI는 해당 주제에 대한 비디오 튜링 테스트를 통과한 것으로 간주했다.
판정단 투표 결과 AI 로봇은 5라운드 중 감정 인식과 행동의도 추론에서 최다 득표를 받아 비디오 튜링 테스트를 통과하지 못했다. 나머지 지식기반 추론, 배경정보 기억, 대화맥락 이해 분야에서는 테스트를 통과했다.
연구과제 총괄 연구책임자인 장병탁 서울대 교수는 "이번 대회는 국가가 AI에 대해 투자한 결과물을 함께 공유하고 시연하기 위해 기획됐다"면서 "대회를 통해 비디오 이해 AI 수준을 인간의 인지능력 발달 단계와 비교해 객관화하고, 문제 난이도 및 인지요소에 기반해 현재 AI 성능을 다각적으로 분석하고자 했다"고 말했다.
이어 "이번 대회를 통해 AI의 현 주소와 나아가야할 방향에 대해 고찰하는 기회가 됐기를 바란다"면서 "참가자 수, 출제문항 수, 투표자 수가 충분하지 않아 통계적으로 결과의 신뢰도가 떨어질 수 있으므로 대회 결과를 과학적 분석 결과가 아닌 AI 수준에 대한 참고용으로만 생각해줬으면 좋겠다"고 당부했다.
AI 전문가들은 대회 직후 열린 패널토론에서 이번 대회를 체스, 퀴즈대회, 바둑 등 단일지능 AI에서 나아가 음성, 언어, 시각 등 복합지능을 가진 사람 수준의 AI 개발 가능성을 보여준 점에서 의의가 있다고 평가했다.
또 비디오를 이해하는 AI를 산업분야에 적용한다면 가정 내 교감, 노약자 케어, 메타버스 내 시청각 인터렉티브(interactive) 교육, 인터렉티브 육아 분야에 활용 가능성이 높다고 전망했다.
패널토론에는 서울대 장병탁 교수, 김건희 서울대 교수, 유창동 카이스트 교수, 이현규 과기정통부 인공지능·데이터 PM, 박재득 전 IITP 인공지능사업단장, 김영길 한국전자통신연구원 실장이 참가했다.
대회 주관사 중 한 곳인 지능정보산업협회는 "대회에서 사용된 비디오 지능 이해 플랫폼을 포함한 연구결과물들은 VTT과제의 결과물로써 공개소프트웨어로 개방형 연구 생태계 조성을 위해 공유될 예정"이라고 말했다.
AI타임스 김동원 기자 goodtuna@aitimes.com
[관련기사]"데이터 사용 특례와 AI 인재창출 방안 필요"...인공지능에 관한 법률안 두고 AI 기관·업체 한 목소리
