'최초 1위' 옴니어스닷AI 모델은 최고 인기 베이스로 활용
전문 스타트업 포티투마루·스모어톡 10위권 합류
국내 인공지능(AI) 산업의 경쟁력을 증진하고 실력 있는 개발자를 발굴하기 위한 '오픈 Ko-LLM 리더보드'가 개설 한달 만에 180여개의 모델 등록을 기록하는 등 초반 확장세를 이어가고 있다. 더불어 최초로 평균 50점을 넘긴 모델이 등장하는 등 양과 질에서 모두 성장 중이다.
특히 연속으로 리더보드 정상을 차지한 실력자가 등장하는 등 '스타급 개발자' 탄생을 눈앞에 두고 있다.
20일 업스테이지와 한국지능정보사회진흥원(NIA)에 따르면 '오픈 Ko-LLM 리더보드'는 지난달 27일 오픈 당시 50여개가 넘는 모델로 출발했다. 2주 만인 지난 12일 기준 등록 모델이 105개를 기록한 데 이어 10월 4주차로 접어들며 180개까지 늘었다.
업스테이지 측은 "100개 돌파 이정표를 세운지 1주일 만에 제출 모델 수가 70% 이상 증가하며 더욱 가파른 증가세를 보이고 있다"라며 "특히 최초로 평균 50점을 돌파한 모델이 나오는 등 모델들의 성능이 점차 좋아지는 추세"라고 밝혔다.
■ 사람과숲-마커AI 컨소시엄과 한규진 개발자, Ko 리더보드의 초반 최강자로 부각
리더보드 사상 첫 평균 50점을 돌파한 모델(kyujinpy/KoR-Orca-Platypus-13B)은 ‘kyujinpy’라는 ID를 사용하는 한규진 개발자의 결과물이다.
특히 한규진 개발자는 2주 전에도 '라마 2' 모델을 기반으로 한 'KoT-platypus2-13B'으로 정상에 올랐으며, 이번 주에는 1위를 비롯해 4, 7, 8, 9위 등 모두 5개의 모델을 10위권에 올렸다.
그는 이번 결과가 미디어그룹사람숲과 마커AI의 LLM 연구 컨소시엄의 결과라고 밝혔다. 특히 마커AI는 한규진 개발자 이외에도 초반 순위에서 두각을 나타낸 이승유 개발자가 소속된 곳으로, 명실상부 Ko 리더보드의 초반 최강자로 자리 잡았다.
정철현 마커AI 대표도 소감을 전했다. 그는 “Ko 리더보드에서 나름 좋은 성적을 거두고 있는 것 같아, 우리 팀도 매우 즐거워하며 연구를 하고 있다”라고 밝혔다.
"마커 AI는 AI 기술 연구를 전문적으로 수행하는 작은 연구 중심 회사"라며 "대학에서 AI를 가르치며 인연을 맺은 제자들로 회사를 구성했다"라고 설명했다. 현재는 한국어 LLM 미세조정 기술, 한국형 검색 결과 기반 생성 기술(RAG), 프롬프트 최적화 기술 등을 집중 연구하고 있으며, 차트에서 활약 중인 한규진 개발자와 이승유 개발자는 LLM 미세조정을 주로 담당한다고 전했다.
또 “국내에는 뛰어난 연구자들이 많기 때문에 지금의 순위는 금방 바뀔 것이라 생각한다”라며 "더 중요한 것은 챗GPT 수준의 실용성이 높은 한국어 LLM을 오픈소스 커뮤니티에서 만들어 내는 것인데, 아직 마커AI는 부족한 부분이 많다"라며 겸손한 모습을 보였다.
정 대표는 Ko 리더보드에 거는 기대도 전했다. “LLM은 너무 중요한 기술인데, 한국어 분야는 비교적 뒤떨어져 있고 대기업들은 독점적이고 비공개 연구를 하는 분위기”라며 “그래서 작은 기관들은 연합이 필요하다고 판단, 자체적으로 오픈소스 LLM 연구 그룹을 만들어 연구 결과의 많은 부분을 공개하고 있다”라고 말했다.
더불어 “글로벌 기업과 한국의 대기업에 견줄 수 있는 LLM이 탄생할 수 있도록, 한국어 오픈 소스 LLM 연구자들이 힘을 모으고 정부도 충분한 지원을 해줬으면 좋겠다"라는 희망을 전했다.
한편 지난달 27일 Ko 리더보드 사상 첫 1위에 오른 이현석 옴니어스닷AI 대표와 김태형 한국과학기술원(KAIST) alinlab 소속 개발자의 'hyunseoki/ko-en-llama2-13b'은 초반 리더보드의 '인기 베이스 모델'로 떠올랐다. 이번 주 1위인 한규진 개발자를 비롯, 다수의 개발자가 이현석 대표의 모델을 기반으로 작업했다고 밝혔다.
이현석 옴니어스닷AI 대표는 이 모델이 '라마 2 13B'의 영어 능력을 잃지 않고 한국어 LLM 성능을 극대화하는 것에 초점을 맞췄다고 밝힌 바 있다.
■ 포티투마루와 스모어톡, 전문 LLM 업체 저력 발휘
포티투마루가 '42MARU/GenAI-llama2-ko-en-platypus-13B' 모델로 단번에 2위까지 치고 올라왔다. 다른 모델은 11위에도 랭크됐다.
이 회사는 국내 LLM 업계에서 잘 알려진 회사다. 지난 5월에는 환각과 보안, 비용 문제를 보완한 기업용 ‘LLM42’를 공개했고, 9월에는 ‘RAG42’를 출시하는 등 도메인 특화 기업용 LLM 시장을 주도하는 업체 중 하나다.
김동환 포티투마루 대표는 “영어 모델에 이어 한국어 특화 모델에서도 객관적으로 검증하고 인정받아 의미가 새롭다"라고 소감을 밝혔다. 또 "현재까지 2위에 오른 모델이 누적 6500회 이상 다운로드됐다"라며 "기업과 학계의 많은 분들이 이를 활용, 한국어 LLM 발전에 기여할 수 있기를 바란다"라고 말했다.
6위에 오른 'jyoung105/ko-platypus2-collective-13b' 모델의 개발자는 이정민 스모어톡 CSO다.
스모어톡은 B2B 비주얼 콘텐츠 생성 AI 스타트업으로, 생성 AI 기반 스톡 이미지를 제공하는 B2C 서비스 '플라멜'과 기업에 맞게 AI 모델 학습 및 서비스를 지원하는 B2B 서비스 '플라멜 엔터프라이즈'를 운영 중이다. 특히 이 회사는 지난 6월 뤼튼과 웨인힐스브라이언트 등 쟁쟁한 스타트업과 함께 카카오브레인의 지원 프로그램 ‘칼로 100X 프로그램’에도 선정되기도 했다.
이정민 CSO도 이현석 옴니어스닷AI 대표의 모델을 베이스로, 멀티턴(Multi-turn) 대화 데이터 200개를 추가 학습한 모델이라고 설명했다. “대화 데이터는 영문으로, 이번 실험의 목적은 멀티턴 대화 학습 시 리즈닝(Reasoning)에 대한 성능 개선이 있는 것으로 판단했으며 사전학습 모델에서는 다른 언어로도 학습 시 일부 개선을 보이지 않을까라는 가설을 풀어보고자 진행했다”라는 말이다.
리더보드에 참가한 배경으로는 "판단하기에 적합한 메트릭이 존재하지 않고, 다른 개발자의 모델을 사용한 점 때문에 성과를 공유하는 것이 맞다고 생각해 등록하게 됐다"라고 밝혔다. 현재는 모델 카드에 해당 내용에 대한 세부 정보를 올리지 못했지만, 조만간 정보를 나누겠다고 덧붙였다.
그는 "사실 메트릭이 전부는 아니고, LLM 모델의 성능은 판단하기 나름이라 휴먼이벌(HumanEval)처럼 사용자 선호도에 따른 모델 성능의 차이도 존재하는 상황"이라며 "개인적으로는 메트릭에서 뛰어난 모델을 만드는 데 집중하기보다 새로 등장하는 학습 기법 및 모델 추론 과정을 개선할 프롬프트 및 데이터셋 구축에 집중해 비용이나 성능 면에서 GPT보다 뛰어난 모델을 내놓겠다"라고 설명했다.
또 Ko 리더보드에 대해서는 “한국은 오픈 소스 문화에 대한 저변이 넓지 않아 어려운 점도 많이 존재한다고 생각한다”라며 “과연 리더보드가 기회의 장이 될지 단순한 점수에 매몰되는 현장이 될지는 지켜보아야 할 것 같다”라는 지적도 내놓았다.
■ 대기업도 순위권 진입
3위 'krevas/LDCC-Instruct-Llama-2-ko-13B-v4'의 개발자는 롯데정보통신이다. 이번 리더보드에 대기업이 다수 참가 중이며 본격적으로 실력을 발휘하는 단계에 접어들었다는 것을 확인할 수 있다.
개발 정보에 따르면 학습을 위해 A100x8*1을 활용했으며, 딥스피드 라이브러리와 허깅페이스 트레이너/엑셀러레이트의 조합을 사용해 미세조정했다고 밝혔다.
크레바스라는 개발자는 'krevas/LDCC-Instruct-Llama-2-ko-13B-v4.1.12'도 5위에 올렸다. 이처럼 국내 대기업 개발자의 참여가 가속화되며, 앞으로는 치열한 경쟁을 예고하고 있다.
■ 개인 개발자도 두각
10월 2주에 두개의 모델을 순위에 올린 'momo'는 모윤호라는 개인 개발자로 드러났다. 그는 'EleutherAI/polyglot-ko-12.8b'를 기반으로 한 'polyglot-ko-12.8b-Chat-QLoRA-Merge(7위)'와 'polyglot-ko-12.8b-Chat-QLoRA-Merge_v3(9위)'를 선보였다.
모윤호 개발자는 자신을 NLP 리서치 엔지니어라고 소개하며 "LLM 최신 기술을 연구하고 적용하며 개인적인 성장을 이루기 위해 개발을 시작하게 됐다"라고 전해 왔다.
또 "혼자서 개인적인 성장을 이루는 것보다 오픈 소스 활동을 진행하며 커뮤니케이션을 진행한다면 더 빠르게 성장할 수 있을 것이라고 생각해서 오픈 소스로 공개했다"라며 "무엇보다 한국어 LLM 오픈 소스 생태계에 기여를 할 수 있다고 생각하니 무조건 올려야겠다는 생각"이었다고 말했다.
그는 이번 Ko 리더보드가 모델 개발에 매달리게 된 계기라고 했다고 밝혔다. 지난 3일에는 한때 1위를 차지하기도 했는데, 이는 다른 사람들보다 빨리 모델을 등록했기 때문이라며 겸손해했다.
모윤호 개발자는 "원래는 등수에는 신경을 안 쓰고 QLoRA 방법론에 대한 검증을 위해 리더 보드에 제출했는데 좋은 결과를 얻게 돼 기쁘다"라며 "앞으로는 개인적인 성장과 동시에 리더 보드 순위권을 유지하며 꾸준히 성장하는 엔지니어가 되겠다"라고 전했다.
한편 리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
이주영 기자 juyoung09@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com