오픈 Ko-LLM 리더보드
'오픈 Ko-LLM 리더보드'의 상승세가 심상치 않다. 첫 60점 돌파 모델이 등장한지 2주 만에, 70점대까지 기대하게 됐다.
티쓰리큐(대표 박병훈)는 한국지능정보사회진흥원(NIA)과 업스테이지가 주최하는 오픈 Ko-LLM 리더보드에서 'chihoonlee10/T3Q-ko-solar-dpo-v1.0' 모델로 평균 67.92점을 기록, 22일 현재 1위를 차지했다.
지난 9일 최초로 평균 60점을 넘긴 투디지트가 1주 만에 67.77까지 점수를 끌어 올린 데 이어, 사흘 만에 티쓰리큐가 또 성능을 올렸다. 2위 투디지트 모델과는 0.15점 차다.
티쓰리큐 인공지능(AI) 개발 리딩을 맡은 이치훈 부대표의 작품이다. 구글 '버트(BERT)'를 시작으로 지난 5년간 다양한 모델을 경험한 NLP(자연어이해) 분야의 전문가다.
이치훈 부대표는 "티쓰리큐의 기술 역량을 리더보드에 선보이기 위해 작업을 시작했다"라고 말했다. 감독 미세조정(SFT)과 직접 선호 최적화(DPO), 병합(Merge), PEFT등 미세조정 기술을 다수 시험했다고 전했다.
그 결과 최종적으로 DPO 방식을 적용한 모델이 1위를 달성했다. 또 'chihoonlee10/T3Q-KO-SOLAR-MR-v1.0' 모델은 64.2점으로 4위에 올랐다.
그는 "통일부, 정보사, 한전기술 등 여러 사이트에서 축적해 온 NLP 역량이 빛을 발한 것 같다"라며 "중소기업에서 큰 성과를 내기가 어려운데, 대표이사 이하 기술진들이 혼연일체가 돼 이룬 성과"라고 말했다
또 "향후 한국어 자체 파운데이션 LLM을 확보하는 것이 목표"라며 "글로벌 리더보드에서도 1위에 도전하겠다"라고 계획을 밝혔다.
티쓰리큐는 AI 빅데이터 통합 플랫폼(T3Q.ai)과 멀티모달 기반 지능형 검색 플랫폼(T3Q.search)에 이어 데이터 기반 비즈니스 혁신을 위한 플랫폼(EDPP) 등을 개발한 AI 전문 기업이다.
현재는 공공, 민간조직 등이 소유한 데이터로 AI 플랫폼에 미세조정하는 방안을 계획하고 있다. 환각을 최소화하고 보안은 유지하는 조직 특화형 '프라이빗 LLM'을 구축하겠다는 목표다.
박병훈 티쓰리큐 대표는 “프라이빗 LLM 구축 전략으로 한국이 데이터 기반 비즈니스 혁신 체계(EDPP)를 선도하는 데 기여할 것”이라고 말했다.
한편 한국어 모델 순위 평가는 초반 개인 개발자나 연구자 중심으로 시작, 대기업 및 관련 기업의 참가로 저변을 넓혔다. 이제는 티쓰리큐나 투디지트와 같은 중견 AI 기업이 등장, 몇 주 새 성능을 10점 가까이 끌어 올렸다.
실제로 1위를 차지한 티쓰리큐의 모델은 2위 'davidkim205/nox-solar-10.7b-v4'가 베이스다. 이들을 기반으로, 조만간 70점 돌파 모델 등장도 기대해 볼만 하다.
리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com