AI타임스

오픈 Ko-LLM 리더보드 잠정 중단...“GPU 예산 확보 후 하반기 재개”

한국지능정보사회진흥원(NIA, 원장 황종성)은 한국어 대형언어모델(LLM) 벤치마크 ‘오픈 Ko-LLM 리더보드’를 GPU 부족 문제로 일시 중지, 올 하반기에 재개한다고 15일 밝혔다.오픈 Ko-LLM 리더보드는 2023년 9월 시즌1 오픈을 시작으로 2024년 중순 시즌2로 개편, 수천개의 한국어 언어모델을 평가했다. 언어모델의 ‘미세조정 능력’을 겨루는 무대로, 국내 AI 기술을 끌어 올리고 유망 기업을 발굴했다.하지만 최근 리더보드 운영을 일시 중지했다. NIA 관계자는 “영구적인 운영 중단은 아니다”라며 “GPU 등 모델

장세민 기자

04-15 18:48

[3월2주] 티쓰리큐, 큐원 미세조정 모델로 ‘허깅페이스 소형 LLM 리더보드’ 1위 달성

인공지능(AI) 빅데이터 미들웨어 전문 티쓰리큐(대표 박병훈)는 ‘큐원2.5-14B-인스트럭트’ 모델을 기반으로 자체 구축한 학습 데이터와 독자적 미세조정 기법을 적용, 허깅페이스 글로벌 리더보드 ‘32B 이하 소형 언어 모델’ 부문 1위를 차지했다고 14일 밝혔다. 14B 이하 소형언어모델(sLM)이지만, 티쓰리큐만의 미세조정 기술을 적용해 대형언어모델(LLM) 수준의 성능을 구현해냈다는 설명이다. 특히 데이터 필터링 및 정제 과정을 통해 정보 밀도가 높은 학습 데이터를 선별해 모델의 학습 효율을 극대화했으며, 기존 공개 데이터와

장세민 기자

03-14 17:30

링크브릭스, 글로벌 리더보드 첫 톱 10...“에이전트 개발 가능한 플랫폼 개발”

국내 스타트업이 오랜만에 글로벌 대형언어모델(LLM) 리더보드에서 상위권에 진입했다. 지난해 시즌 2로 허깅페이스 리더보드가 개편된 이후, 톱 10을 기록한 것은 처음이다. 링크브릭스 자회사 링크브릭스 호라이즌AI는 24일 현재 허깅페이스 오픈LLM 리더보드에서 평균 47.34%의 정확도로 10위를 기록 중이다.이 회사의 모델 'Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B'는 '큐원(Qwen/Qwen2.5-32B-Instruct)'을 베이스로 미세조정한 모델이다.GPU 'H100-80G' 8개를 이용

장세민 기자

02-24 19:21

[2월 2주] 딥시크 미세조정, 해외 리더보드에 속속 등장...국내는 아직 잠잠

글로벌 오픈 LLM 리더보드에 딥시크 기반 미세조정 모델이 속속 등장하고 있다. 9일 업계에 따르면 해외에서 '딥시크' 모델의 미세조정 버전이 활발하게 제작되고 있는 것으로 알려졌다. 허깅페이스의 오픈 LLM 리더보드에서도 이를 확인할 수 있다. 키워드인 'deepseek'를 검색하자 25개 모델이 업로드된 상태였다. 전체 업로드 모델 수는 3800여개다. 아직 성능은 두드러지지 않는다. 최고 순위를 차지한 모델이 325위, 1000위 안에 든 모델도 3개에 불과하다.국내 오픈 Ko-LLM 리더보드는 잠잠한 상황이다. 하지만, 국내

장세민 기자

02-09 07:32

[1월3주] 리더보드 시즌2 1230여개 모델 평가 완료…국내 개발자 6위 진출

‘오픈 Ko-LLM 리더보드 시즌2’의 평가가 완료됐다. 5개월 만에 본격적인 순위 경쟁이 재개된 가운데, 첫 주 상위권은 해외 개발자들이 휩쓸었다.한국지능정보사회진흥원(NIA)이 주최하는 리더보드2가 등록된 모델 1228개의 평가를 모두 마친 것으로 알려졌다. 시즌2는 지난해 8월12일 시작됐다.지난주와 마찬가지로 니콜라스 비어바워가 1위를 차지하는 등 상위권은 해외 개발자들이 점령했다. '젬마 2'와 '큐원 2.5'를 베이스로 한 모델이다.국내 개발자 중 최고 순위는 6위다. '석동(SEOKDONG)'이라는 개발자가 라마 3.1

장세민 기자

01-18 17:21

[1월1주] 리더보드 시즌2, 평가 86% 진행…'젬마 2' 내세운 해외 개발자 상위권

‘오픈 Ko-LLM 리더보드 시즌2’가 전체 대상 모델 중 86%의 평가를 마치며 정식 오픈 초읽기에 들어갔다. 이 가운데 상위권은 '젬마 2'를 기본으로 한 최신 해외 개발자들의 모델이 차지했다.업스테이지(대표 김성훈)는 3일 기준 전체 모델 1250여개 가운데 1089개 평가를 완료, 진행률 86.4%를 달성했다고 밝혔다. 평가 대기 중인 모델은 이제 173개로 줄었다.이 가운데 리더보드 순위권에서도 의미 있는 움직임이 이어지고 있다. 지난해 11월 최고 평균 점수 50점 돌파 모델이 등장한 데 이어 두달 만에 55점대 모델이

장세민 기자

01-04 18:00

[11월4주] 리더보드 시즌2, 모델 평가 999개 완료…링크브릭스 1·4위 차지

'오픈 Ko-LLM 리더보드 시즌2'가 모델 999개에 대한 평가를 완료했다. 국내 기업 모델이 1위를 지키는 가운데 해외 기업과 학계 연구 모델도 다수가 상위권에 진출한 상황이다. 리더보드를 운영하는 업스테이지(대표 김성훈)는 22일 현재 999개 모델에 대한 평가를 완료했으며, 292개 모델이 평가를 기다리고 있다고 밝혔다.특히 3위 모델까지 평균 50점을 돌파했다.그중 2017년 설립한 인공지능(AI) 및 빅데이터 전문 기업 링크브릭스(대표 김상규)가 1위와 4위를 차지했다.링크브릭스의 창립 멤버 지윤성 데이터 사이언티스트는

장세민 기자

2024-11-23

[10월4주] 이스트소프트·KT ds 상위권 올라...700개 모델 평가 완료

'오픈 Ko-LLM 리더보드'에서 700여개 모델에 대한 평가가 완료된 가운데, 국내 기업은 물론 해외의 다양한 모델이 순위에 오른 것으로 확인됐다.리더보드 운영사인 업스테이지(대표 김성훈)는 25일 현재 700여개 모델에 대한 평가를 완료했다고 밝혔다.현재 1, 2위는 캐나다와 이탈리아 등 해외 개발자들의 모델이다. 또 최근 멀티모달모델을 공개해 화제가 됐던 베이징인공지능아카데미(BAAI)의 모델도 8, 9위에 올랐다.국내 기업으로는 인공지능(AI) 디지털 휴먼 전문 이스트소프트(대표 정상원)가 'ai-human-lab/EEVE-

장세민 기자

2024-10-26

[10월1주] 개편 이전 강자들 상위권 재진출...479개 모델 평가 완료

업스테이지(대표 김성훈)는 '오픈 Ko-LLM 리더보드'에서 479개 모델에 대한 평가를 완료했다고 30일 밝혔다.이는 약 한달 전보다 357개 증가한 수치다. 특히 ▲Ko-GSM8K(초등수학) ▲Ko-EQ-Bench(감성) 영역에서 높은 점수 편차를 보이고 있다. 최근 수학과 코딩능력이 대형언어모델(LLM) 벤치마크의 트렌드로 자리 잡은 것을 고려하면 흥미로운 결과다. 현재 리더보드에는 이스트소프트의 'ai-human-lab/EEVE-Korean_Instruct-10.8B-expo' 모델이 1위에 올라 있다. 이 외에도 상위권에

장세민 기자

2024-09-30

[8월5주] 122개 모델 평가 완료...2038개 모델 평가 대기 중

업스테이지(대표 김성훈)는 최근 평가지표를 전면 개편한 오픈 Ko-LLM 리더보드가 122개 모델에 대한 평가를 완료, 현재 2038개 모델 평가를 앞두고 있다고 27일 밝혔다.업스테이지 관계자는 "기존, 신규 업로드 모델을 동시 평가 중이며 1주차에만 88개 모델에 대한 평가를 완료했다"라고 말했다. 현재 리더보드에는 @maywell 개발자의 '미스트랄 7B 인스트럭트'를 기반으로 하는 모델이 1~4위를 휩쓸었다. 개발자는 현재 야놀자에 근무 중인 머신 러닝 연구자인 것으로 알려졌다. 특히 Ko-GSM8K(초등수학) 지표에서 점수

장세민 기자

2024-08-27

업스테이지 "리더보드 모델 규모 상상 이상...추석까지 시즌2 상당수 반영할 것"

한국어 대형언어모델(LLM) 벤치마크 '오픈 Ko-LLM 리더보드'가 지난 12일 공식 평가지표 개편 이후 1700여개에 달하는 기존 모델 반영에 속도를 내고 있다. 다음달 중순 추석 전까지는 새 평가 기준으로 상당수 모델이 테스트를 마칠 것으로 전망됐다.업스테이지(대표 김성훈)는 한국지능정보사회진흥원(NIA, 원장 황종성)과 운영 중인 '오픈 Ko-LLM 리더보드'의 시즌 2 평가 지표 반영이 오는 9월 추석까지는 상당수 완료될 계획이라고 16일 밝혔다. 오픈 Ko-LLM 리더보드는 국내 언어모델 성능의 향상과 함께 벤치마크를 전

장세민 기자

2024-08-16

[7월4주] 아이브릭스, LLM '세레브로'로 오픈 Ko-LLM 리더보드 1위

인공지능(AI) 전문 아이브릭스(대표 채종현)는 '오픈 Ko-LLM 리더보드’에서 1위를 달성했다고 24일 밝혔다. 무려 석달 이상 변동이 없던 상위권 순위에 오랜만에 새 모델이 정상에 올랐다.한국어 LLM 순위에는 현재까지 약 1713개의 언어모델이 참여했다. 이중 아이브릭스는 언어모델 '세레브로(Cerebro-BM-solar)'로 평균 71.09점을 기록했다. 세레브로는 업스테이지 '솔라'를 병합하고 미세조정해 개발했다. 107억개의 매개변수로 높은 효율을 보여준다는 설명이다.특히 환각현상 방지능력과 상식능력 부문의 점수가 가장

장세민 기자

2024-07-24

[7월1주] 글로벌 LLM 리더보드 대변동..."국내도 큰 변화 예고"

허깅페이스가 평가 지표를 대폭 교체함에 따라 '오픈 LLM 리더보드' 순위에 대격변이 일어났다. 평가 항목을 전부 교체하고, 난이도도 대폭 끌어 올렸다.그 바람에 기존 상위권을 지키던 모델이 모두 사라지고, '큐원'이나 '라마3' 등 일반적으로 성능이 뛰어나다고 알려진 모델이 높은 순위를 점령했다.이 가운데 국내 기업으로는 업스테이지(대표 김성훈)의 '솔라'만이 100위권에 살아 남았다. 솔라 인스트럭트 모델(19.63점)은 69위, 솔라 파운데이션 모델(16.77점)은 88위를 기록했다.업스테이지 관계자는 "지난해 공개 이후 업데

장세민 기자

2024-07-06

[6월 3주] 모레, 글로벌 리더보드 상위권 장기 랭크...국내 리더보드는 평가지표 확장

모레(대표 조강원)가 'moreh/MoMo-72B-lora-1.8.7-DPO' 모델로 글로벌 오픈 LLM 리더보드에서 장기간 상위권을 지키고 있다.이 모델은 지난 몇달 간 10위권에 랭크됐다. 21일 기준으로는 11위다.또 지난 1월에는 이전 버전인 1.8.5, 1.8.6 모델로 허깅페이스 1~2위를 나란히 차지한 바 있다. 올해 들어 6개월 간 글로벌 리더보드 상위권을 차지한 셈이다.모델 개발에는 모레의 머신러닝(ML) 엔지니어 두명이 나섰다. 모델 학습 방법론 탐색, 적용, 실험 및 개선 등을 거쳤다. 이어 ML 시스템 엔지니어

장세민 기자

2024-06-22

업스테이지-NIA, 한국어 LLM 리더보드에 추론·산술추론 지표 추가

업스테이지(대표 김성훈)와 한국지능정보사회진흥원(NIA, 원장 황종성)은 공동 운영 중인 ‘오픈 Ko-LLM 리더보드’에 평가 지표를 추가하는 등 업그레이드를 진행한다고 11일 밝혔다.추가 지표는 ‘추론 능력(Winogrande, 글 속 대명사 추론 능력)’과 ‘산술 추론 능력(GSM8K, 산술 연산 분야 추론능력)’ 두가지다. 허깅페이스 오픈 LLM 리더보드에서도 사용하고 있는 지표인 만큼, 한국어에 맞게 적용하면 국내 모델 성능 평가 체계를 국제 평가 기준과 대등한 수준으로 끌어올리는 계기가 될 것이라고 전했다.추가 지표 개발에

장세민 기자

2024-06-11

[6월1주] 모아데이타, 한달 넘게 LLM 차트 상위권..."AI 헬스케어 서비스 목표 개발 중"

인공지능(AI) 전문 모아데이타(대표 한상진)가 오픈 Ko-LLM 리더보드에서 한 달 넘는 기간 동안 상위권을 차지하며 돌풍을 이어가고 있다.5일 기준 3위에 오른 'MoaData/Myrrh_solar_10.7b_3.0' 모델은 최근 한달 동안 꾸준히 2위를 지켜왔다.기반 모델은 업스테이지의 '솔라 10.7B'이며, 직접선호최적화(DPO) 방식을 주요 미세조정 방법으로 채택했다. 박태언, 이기홍 개발자가 모델 개발에 참여했다.이기홍 매니저는 "모아데이타는 현재 진행하는 디지털 헬스케어 사업 확장을 위해 맞춤형 대형언어모델(LLM)

장세민 기자

2024-06-06

[5월 3주] '국내는 T3Q·글로벌은 투디지트'...두달째 1위 수성

티쓰리큐와 투디지트가 국내 및 글로벌 리더보드에서 장기간 1위 수성에 나섰다. 지난 3월 각각 1위에 오른 뒤 두달째 정상을 지키고 있다.티쓰리큐(T3Q, 대표 박병훈)는 한국지능정보사회진흥원(NIA)과 업스테이지가 주최하는 오픈 Ko-LLM 리더보드에서 'chihoonlee10/T3Q-ko-solar-dpo-v70' 모델로 평균 70.71점을 기록, 19일 현재 1위를 기록했다.이치훈 티쓰리큐 부대표가 제작한 이 모델은 지난 3월22일 첫 버전인 v 1.0으로 67.92점을 기록, 처음 1위에 올랐다, 이후 새 버전으로 성능을 잇

장세민 기자

2024-05-19

[5월 1주] 오픈 Ko-LLM 리더보드 모델 1400개 돌파 눈앞...상위권은 안정세

업스테이지(대표 김성훈)와 한국지능정보사회진흥원(NIA)가 주최하는 오픈 Ko-LLM 리더보드가 등록 모델 1400개 돌파를 앞두고 았다.업스테이지 관계자는 3일 "많은 기업과 개발자가 참여한 결과, 다음 주 중 모델 1400개 돌파를 기록할 것으로 보인다"라고 말했다.이어 "지난해 9월부터 운영 중인 Ko-LLM 리더보드가 순항하며 생태계에 많은 긍정적인 영향을 미친다는 평을 받고 있다"라고 전했다.한국어 리더보드는 지난해 9월27일 오픈, 2주 만에 등록 모델 100개를 기록하며 급성장을 예고했다.이어 5개월 만인 2월20일에는

장세민 기자

2024-05-04

[4월 3주] 프리윌린, 초개인화 AI 에듀 테크로 상위권 진출

4월 3주 차 오픈 Ko-LLM 리더보드에서 눈길을 끄는 것은 수학교육 에듀테크 전문 프리윌린(대표 권기성)의 모델(freewheelin/free-solar-sft-v0.7)이다. 19일 기준 4위(70.29점)를 차지했다.하지만 첫 진출은 아니다. 지난 3월14일에는 1위까지 차지한 바 있다. 프리윌린 측은 "생성 인공지능(AI) 분야의 첫 성과"라며 "독자적 오픈 소스 기반 자체 AI 모델 R&D 진행의 일환으로 이와 같은 성과를 달성하게 돼서 기쁘다"라고 소감을 전했다.프리윌린 AI팀은 4명의 개발자로 구성돼 있다. 모두 각

장세민 기자

2024-04-20

야놀자·이든티앤에스, '올해의 한국어 LLM' 우수 모델 수상

야놀자와 이든티앤에스가 한국어 모델 성능 평가인 'Ko-LLM 리더보드' 올해의 모델에 선정됐다.한국지능정보사회진흥원(NIA, 원장 황종성)과 업스테이지(대표 김성훈)은 5일 NIA서울사무소에서 '2023 올해의 LLM'시상식을 개최하고 우수 모델 2개를 선정했다고 밝혔다.사전학습 모델 부문에서는 야놀자가, 파인튜닝 부문에서는 이든티앤에스가 1위를 차지하며 NIA 원장상을 수상했다.야놀자는 1월초부터 리더보드에 진출, 수개월 간 상위권을 지켰다. 특히 야놀자 모델은 많은 개발자로부터 베이스 모델로 인기를 끌었다.RPA(로봇프로세스자

박수빈 기자

2024-04-05