오픈 Ko-LLM 리더보드, 7B·13B 이어 '온디바이스 AI' 3~7B도 주목
개인 개발자와 인공지능(AI) 스타트업 중심으로 시작된 '오픈 Ko-LLM 리더보드'에 대기업과 비전문 AI 기업이 속속 가세하고 있다. 이번 주에도 AI 업계에서는 낯선 두곳에 상위권에 진입했다.
업스테이지와 한국지능정보사회진흥원(NIA)이 공동으로 주최하는 이번 주 리더보드에는 금융 솔루션 전문 인스웨이브시스템즈(대표 어세룡)와 종합 여가 플랫폼 야놀자(대표 김종윤, 배보찬, 이수진)가 새로운 강자로 떠올랐다. 이들은 최근 AI 분야로 사업을 확장했다.
인스웨이브시스템즈는 2002년 설립, 지난해 9월 상장한 디지털 트랜스포메이션(DX) 전문이다. 최근 AI스퀘어(Square), AI스케치(Sketch), AI크래프트(Craft), AI웍스(Works) 등 기업 및 기관의 AI 디지털 전환을 돕는 솔루션을 개발, AI 분야로 확장 중이다.
본격적인 대형언어모델(LLM) 사업에 나서며, 리더보드에도 도전장을 내밀었다. 10위에 오른 'AISquare-Instruct-llama2-koen-13b-v0.9.24'는 '라마'를 기반으로 했다.
인스웨이브 측은 "처음에는 오픈AI나 앤트로픽 등이 제공하는 API를 그대로 활용했지만, 보안이나 데이터 주권의 중요성을 느끼며 직접 개발에 뛰어들게 됐다"라며 "특히 '온디바이스 AI'를 구현하기 위해 미세조정 역량 강화를 본격 시작했다"라고 전했다.
실제 온디바이스 AI용 매개변수 3~7B 리더보드에서는 인스웨이브의 'zomd/AISquare-Instruct-yi-ko-6b-v0.9.30' 모델이 1위를 차지했다.
이번 개발에는 김욱래, 한명규, 전병진, 최완호, 이관용, 손푸름, 고건 등 AI 태스크 포스 팀(AI TFT) 주요 인력이 참여했다. 이들은 IT 전반에 걸친 다양한 경험을 보유, 데이터셋 생성부터 모델 선택, 개발, 테스트 및 검증, 문제 해결까지 다양한 작업을 효과적으로 처리할 수 있었다고 전했다.
회사도 목표 달성을 위해 AI TFT에 상당한 노력과 자원을 투입했다. 특히 미세조정을 위해 보유한 제품 관련 문서와 매뉴얼, 기술 자료 등을 데이터셋에 통합하는 데 초점을 맞췄다.
트레이닝 단계에서는 ▲전체 미세조정 ▲전체 대신 일부 가중치만을 대상으로 하는 매개변수 효율적 미세조정(PEFT) 기술 '로라(LoRA)' 및 'Q로라(QLoRA)' ▲직접 선호 최적화(DPO) 등 다양한 강화 학습 기법으로 모델 성능과 정확도 향상을 위해 노력했다고 밝혔다.
개발을 주도한 김욱래 인스웨이브 CTO는 "상위 10위 진출은 기업의 큰 자부심인 동시에 새로운 도전의 시작"이라며 "특히 회사가 집중하는 온디바이스 LLM 3~7B 모델 부문에서는 1위를 달성, 꾸준한 노력이 결실을 맺었다"라고 소감을 전했다.
이어 "AI 시장에서의 위치를 더욱 강화, 고객들에게 실질적인 가치를 제공하는 동시에 기술 발전에도 기여할 것"이라며 "더욱 진보한 디지털 솔루션을 제공하며 AI 업계 리더 기업으로 자리매김하겠다"라고 말했다.
한편 지난 9일 2위까지 치고 올라간 모델 'seungduk/KoSOLAR-10.7B-v0.1'은 야놀자 개발팀의 작품이다.
업스테이지 '솔라'를 기반으로, 매개변수 조정 대신 새로운 한국어 토큰만 임베딩하는 식으로 집중 학습했다. 결과적으로 영어 능력을 유지하면서 한국어 능력을 끌어 올렸다는 설명이다.
야놀자는 최근 플랫폼 야놀자, 인터파크, 트리플, 이지(eZee) 등 서비스에 연동하기 위해 대형언어모델(LLM) 미세조정 등 기술 고도화에 나섰다고 밝혔다. AI 챗봇을 통해 '후기 요약 기능'을 갖추려는 목적이다.
이 밖에 이번 주에는 롯데정보통신이 12일 자 정상을 차지했다. 이 회사는 11월 1주 순위에서는 '라마' 기반 모델로 1위에 처음 오른 데 이어 이번에는 솔라를 미세조정해 다시 최고 성능을 기록했다.
1주 차에 신흥 강자로 떠오른 메가스터디도 2~4위를 점령하며 강세를 이어가고 있다.
리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com