로봇프로세스자동화(RPA) 전문 이든티앤에스(대표 김연기)가 업스테이지와 한국지능정보사회진흥원(NIA)이 공동 주최하는 '오픈 Ko LLM' 리더보드 2위를 달성했다고 13일 밝혔다.
오픈-Ko LLM 리더보드는 업스테이지와 한국지능정보사회진흥원(NIA)이 공동 운영하는 한국어 LLM의 성능 평가 플랫폼이다. 출시 3개월 만에 600개가 넘는 모델이 등록되며, AI 학계와 산업계에서 주목받고 있다.
지난 7일 오픈-Ko LLM에서 이든티앤에스의 'DataVortexS-10.7B-dpo-v1.0' 모델의 성능평가 평균 점수는 57.92점이며, 특히 AI가 짧은 글 및 지시 사항에 알맞은 문장을 생성하는지를 측정하는 상식능력(HellaSwag) 분야에서 65.81점으로 높은 점수를 받았다. 해당 모델은 '직접선호최적화(DPO, Direct Preference Optimization)' 강화 학습법을 적용한 매개변수 10.7억개의 모델이다.
5위를 차지한 모델도 있다. 'Edentns/DataVortexS-10.7B-dpo-v1.1' 역시 강화 학습법으로 DPO 방식을 채택했으며, 적용한 매개변수는 10.9억개다.
김연기 이든티앤에스 대표는 “유수의 IT기업들과 경쟁에서 자사의 한국어 기반 LLM이 상위권 순위로 진출해 자부심을 느낀다"라며, "LLM 기술을 적극적으로 활용해 기업의 업무 프로세스를 효율적으로 자동화할 수 있도록 지원하는 대화형 '웍트로닉스 RPA 코파일럿' 서비스를 개발할 예정"이라고 밝혔다.
한편, 이든티앤에스는 데이터 허브 TTA 인증 제품인 데이터 볼텍스(Data Vortex)와 생성 AI를 활용해 데이터 수집·분석·활용을 위한 서비스를 개발할 예정이며, LLM과 RAG를 결합해 공공기관 민원 서비스를 개선할 계획이라고 전했다.
박수빈 기자 sbin08@aitimes.com
