웨이트앤바이어스(W&B)는 LG CNS와 금융 산업에 특화된 한국어 대형언어모델(LLM) 성능 평가 리더보드인 ‘황소(Hwangso)’를 출시한다고 29일 밝혔다.
황소 리더보드는 금융 데이터를 포함한 복잡하고 전문적인 금융 도메인 지식을 바탕으로 설계됐다. 기존 리더보드와 달리 평가 카테고리, 세부 태스크별 평가항목, 기준, 점수를 투명하게 공개되는 것이 특징이다. AI 모델 크기별 성능 비교 기능도 제공한다
주요 평가 항목은 ▲금융 지식을 기반으로 논리적 추론 능력 ▲요약 ▲금융 도메인 지식 평가 ▲지시사항 준수 등이다.
금융 특화 성능뿐만 아니라 ▲다양한 학문 분야에서의 지식과 추론 능력(영문) ▲한국어로 된 다양한 학문 분야에서의 지식과 추론 능력 ▲한국어 논리적 사고 능력을 평가 등과 같은 범용 성능도 비교한다.
LG CNS는 금융 사업 노하우와 AX 기술을 결합, 황소 리더보드의 평가 항목 개발과 데이터셋 구축 및 개발을 주도했다.
LG CNS가 최근에 공개한 기업용 에이전틱 AI 플랫폼에 탑재, 고객들에게 제공될 예정이다.
로빈 보르돌리 W&B 최고 매출책임자(CRO)는 “황소 리더보드는 W&B의 강력한 실험 관리 및 평가 기술과 LG CNS의 금융 전문성이 결합된 결과물”이라며 “금융 기업 고객들이 황소 리더보드를 통해 비즈니스에 가장 적합한 모델을 신속하게 파악하고, LLM 기반의 혁신을 이끌어낼 수 있도록 적극적으로 지원할 것”이라고 말했다.
황소 리더보드는 29일부터 W&B 플랫폼을 활용해 정식으로 운영된다.
현재 글로벌 프론티어 모델들과 정부 및 국내 AI 연구소 등에서 많이 활용하는 22개 이상의 LLM 모델을 평가하며, 주기적으로 업데이트할 예정이다.
박수빈 기자 sbin08@aitimes.com
