한국과학기술원(KAIST, 총장 이광형)은 산업 및 시스템공학과 문일철 교수 연구팀이 글로벌 기계학습 학회인 ‘국제머신러닝학회(ICML 2024)’의 ‘멀티모달 작업계획 생성 경진대회(EgoPlan)’에서 1위를 차지했다고 30일 밝혔다.
7월21~27일 오스트리아 비엔나에서 열린 행사에는 중국의 북경대, 북경 AGI연구소와 영국 임페리얼칼리지 런던 등 6개국 13개 기관이 참여했다. KAIST 연구팀은 국내 유일의 참가 기관으로 7월26일 우승 및 혁신상을 수상했다.
이번 대회는 인공지능(AI) 모델이 주방에서 요리하는 과정을 비디오 및 지문으로 학습한 뒤, 경험하지 못한 요리 과정에서 상식적으로 합당한 의사결정을 내려 조리할 수 있는지를 경쟁하는 시합이었다.
이는 시각 정보와 지문 정보 등 멀티모달 정보를 조합, 학습에 포함되지 않은 상식을 기반으로 의사결정을 내리는 시험이다. 최소한 학습만으로도 로봇이 다양한 멀티모달 정보 및 기초 상식을 활용, 자율 제조 및 서비스를 수행할 수 있도록 개발하는 것이 핵심이다.
이광현 KAIST 산업및시스템공학과 석사과정생, 강미나 석사과정생 등 총 11명의 팀으로 참가한 KAIST 응용인공지능 연구실(AAILab) 팀은 상식 기반 추론을 통한 작업계획 생성의 정확도 1위 성능으로 우승 및 혁신상을 동시 수상했다.
대형멀티모달모델(LMM)의 미세조정 학습에 대한 연구 개발 결과를 적용한 결과라고 설명했다.
문일철 교수는 “이번 대회의 출제 문제는 요리하는 AI지만, 테슬라에서 시험 중인 휴머노이드 제조 로봇에 활용될 수 있는 '상식을 가진 AI'를 만드는 기술이 본질"이라고 말했다.
이번 연구는 정보통신기획평가원(IITP)에서 지원한 사람중심인공지능 핵심원천기술개발사업 중 ‘이종데이터기반 상식 추출, 이해, 추론을 위한 인공지능 기술개발(연구책임자 문일철)’을 통해 이뤄졌다.
박수빈 기자 sbin08@aitimes.com
