한국지능정보사회진흥원(NIA, 원장 황종성)은 한국어 대형언어모델(LLM) 벤치마크 ‘오픈 Ko-LLM 리더보드’를 GPU 부족 문제로 일시 중지, 올 하반기에 재개한다고 15일 밝혔다.
오픈 Ko-LLM 리더보드는 2023년 9월 시즌1 오픈을 시작으로 2024년 중순 시즌2로 개편, 수천개의 한국어 언어모델을 평가했다. 언어모델의 ‘미세조정 능력’을 겨루는 무대로, 국내 AI 기술을 끌어 올리고 유망 기업을 발굴했다.
하지만 최근 리더보드 운영을 일시 중지했다. NIA 관계자는 “영구적인 운영 중단은 아니다”라며 “GPU 등 모델 평가에 필요한 인프라 부족으로 인해 잠시 평가 및 사이트 운영을 중지한 것”이라고 설명했다.
이어 “기존에도 외부 지원 및 예산 배정 등에 의존하지 않고 자체적으로 인프라를 확보, 리더보드를 운영해 왔다”라며 “현재도 GPU 확보 중에 있으며, 완료되는 대로 올 하반기쯤에는 운영을 재개할 것”이라고 말했다.
한편, 오픈 Ko-LLM 리더보드 시즌2에는 약 1300개의 모델이 업로드된 상태였다.
국내 기업 및 학계가 주로 참여하던 시즌1과는 달리 해외 기업 등 글로벌 플레이어들이 상위권에 다수 포진돼 있었으며, 순위 변동이 거의 없는 상태였다.
장세민 기자 semim99@aitimes.com
관련기사
