AI타임스가 '오픈 Ko-LLM 리더보드' 차트를 고정 게재한다.
이 차트는 업스테이지와 한국지능정보사회진흥원(NIA)이 국내 인공지능(AI) 산업 경쟁력 증진을 위해 만든 것이다. 한국어 대형언어모델(LLM)의 성능을 평가하고 비교, 우수 개발자를 부각하고 AI 생태계 확장에 도움을 주려는 취지다.
특히 세계적인 오픈 소스 LLM 플랫폼인 허깅페이스의 평가 항목에 한국어 특성과 문화를 반영한 데이터를 자체 구축한 한국어 특화 리더보드로, 국내 AI 산업 발전에 실질적인 도움이 되도록 구성했다.
AI타임스는 첫 순위 게재에 이어 주요 순위 변동이 생길 때마다 리더보드의 특징과 주요 개발자를 소개할 예정이다. [편집자주]
지난달 27일 '오픈 Ko-LLM 리더보드'가 문을 열 당시 등록된 AI 모델은 50개가 넘었다. 그리고 오픈 2주 만에 100개를 돌파할 정도로 많은 개발자들의 관심이 몰리고 있다.
이 가운데 가장 눈에 띄는 것은 1위와 2위, 8위를 차지한 'kyujinpy'라는 개발자다. '라마 2' 모델을 기반으로 한 'KoT-platypus2-13B'와 'ko-en-llama2-13b', 'KoT-platypus2-7B'로 좋은 점수를 받았다. 또 5위를 차지한 한국어 모델 '폴리글롯(Polyglot)' 기반의 'MarkrAI/kyujin-CoTy-platypus-ko-12.8b'까지 합치면 10위 안에 4개를 올려 놓았다.
공개 정보에 따르면 한규진(Kyujin Han)이라는 개발자는 사람과숲-마커AI 컨소시엄 소속으로 알려졌다. 10위인 'DopeorNope/COLA3-7B' 개발자 역시 사람과숲-마커AI 컨소시엄 소속이라고 밝히는 등 이 회사는 이번 주 순위 중 절반을 싹쓸이하는 강세를 보였다.
마커AI는 홈페이지에 "우리는 AI 신기술 분야의 연구개발 전문 기업"이라며 "LLM 미세조정 및 프롬프트 엔지니어링, 멀티 모달 영상검색, 빅데이터 감정 분석 기술을 전문적으로 공급하고 있다"라고 소개하고 있다.
더불어 이번 주 4위인 'ko-en-llama2-13b'는 지난달 27일 리더보드 오픈 직후 최초로 1위를 차지한 기념비적인 모델이다. 이현석(HyunseokLee)과 김태영(TaeyoungKim)이라는 개발자의 작품으로, 공개 정보에 따르면 이들은 옴니어스닷AI 대표와 한국과학기술원(KAIST) alinlab 소속이다.
이현석 대표는 지난달 말 링크드인 게시물을 통해 " 한국어 AI 경쟁력을 강화하고자 시작한 오픈 Ko-LLM 리더보드에 KAIST alinlab과 함께 진행 중인 커스텀 LLM이 현재 1위를 차지하고 있다"라며 "베이스 모델인 '라마 2 13B'의 영어 능력을 잃지 않고, 한국어 LLM 성능을 극대화하는 것이 목표였다"라고 밝혔다.
또 "아직 중간 결과일 뿐, 더 개선된 모델을 개발 중"이라며 "한국어뿐 아니라 다른 언어에서도 탁월한 성능을 보이는 LLM을 제대로 만들어 보겠다"라고 덧붙였다.
3위를 차지한 'siryuon'이라는 개발자와 'KOEN-13B'모델에 대해서는 공개된 정보가 없다.
이 밖에 가천대학교 NLP 연구실 소속인 'momo'라는 개발자가 7위(polyglot-ko-12.8b-Chat-QLoRA-Merge)와 9위(polyglot-ko-12.8b-Chat-QLoRA-Merge_v3) 등 2개의 모델을 순위에 올렸다. 특히 이 개발자의 모델은 '한국어 상식생성(Ko-CommonGen)’에서 각각 77.7, 76.29점을 기록하는 등 강점을 보였다. 이 분야의 최고는 총점 5위에 오른 마커AI의 모델로, 무려 84.86점을 기록했다.
6위 'etri-xainlp/llama2-ko-13b-instruct'는 세부 정보를 공개하지 않았으나, 모델명을 통해 한국전자통신연구원(ETRI) 소속 개발자라는 것을 추정할 수 있다.
리더보드의 주최사인 업스테이지는 초반 분위기에 대해 상당히 고무적이라고 밝혔다.
박찬준 업스테이지 테크니컬 리더는 "개인 연구자부터 SK텔레콤, 마음AI, 포티투마루, ETRI, 고려대학교 등 다양한 기업 및 학계 조직에서 활발히 참여 중"이라며 "특히 ‘Ko-알파카(Alpaca)’와 고려대학교의 ‘구름(KULLM)’, ‘폴리글롯(Polyglot-Ko)’ 등 기존에 유명한 한국어 오픈소스 모델이 총출동하는 양상"이라고 설명했다.
또 리더보드 오픈 직전까지는 얼마나 많은 개발자가 참가할지 의문이었지만, 뚜껑을 열자 하루가 다르게 개발자 커뮤니티의 관심이 모이고 있으며 추석 연휴 동안에도 꾸준히 모델이 등록되는 등 가파른 상승세를 이어가고 있다고 전했다.
박찬준 리더는 "국내외 AI 커뮤니티에서도 반응이 뜨거우며, 특히 개발자 사이에서 이미 LLM 평가 관련 이정표를 찍었다는 평을 듣고 있다"고 말했다.
또 "허깅페이스 공동 창업자가 따로 SNS에서 Ko-LLM 리더보드를 언급하고 응원하기도 했다"고 전했다. 이 때문에 외국인 개발자들도 한국어 리더보드에 참여 중이라고 소개했다.
리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
이주영 기자 juyoung09@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com