엔비디아는 KT의 대형언어모델(LLM) ‘믿음(Mi:dm)’ 구축에 'DGX 슈퍼팟' 플랫폼을 지원했다고 16일 밝혔다.
KT는 지난 10월 1일 믿음 출시와 함께 수요 기업들이 사용 신청을 할 수 있도록 믿음 공식 웹사이트를 오픈했다.
KT는 엔비디아의 '네모(NeMo)' 프레임워크를 사용, 믿음 파운데이션 모델 학습에 활용했다. 네모 프레임워크는 엔비디아 AI 엔터프라이즈 소프트웨어 제품군의 일부로, 데이터 처리와 학습, 평가, 생성 AI 모델 추론 등 LLM 파이프라인 전반에 걸친 솔루션이다.
대규모로 LLM을 신속하게 학습, 사용자 맞춤화, 배포할 수 있도록 지원한다. 멀티 노드와 멀티 GPU 학습으로 처리량을 극대화해 LLM 학습 시간도 최소화한다. KT와 협력, 최적의 3D 병렬처리를 찾아 학습 시 계산 처리량을 극대화했다는 설명이다.
효율적 미세학습(PEFT) 기술을 동원했다. 엔비디아는 믿음 구축에 로라(LoRA), IA^3 등 다양한 미세학습 방법을 비교 분석해 구현했다. 이 학습 방법은 네모 프레임워크와 '텐서 RT-LLM' 소프트웨어에서 지원한다.
텐서 RT-LLM은 엔비디아 GPU에서 최적의 LLM 추론 성능을 제공하는 솔루션이다. 양자화된 모델의 분산추론을 효율적으로 지원한다. 엔비디아와 KT는 int4 규모의 양자화를 제공해 모델의 메모리 소요량을 8분의 1 크기로 줄일 수 있는 솔루션을 제공할 예정이다.
한편 믿음은 다큐먼트 도식화된 ▲복잡한 문서도 모델이 정확히 이해할 수 있도록 변환하는 기술 '도큐먼트 AI(Document AI)' ▲목표 도메인과 문서에 최적화된 최신 정보를 찾아내는 딥러닝 기술 '서치 AI(Search AI)' ▲원문에 근거한 응답만 생성하도록 강화학습을 적용한 '팩트가드 AI(FactGuard AI)' 등으로 일반 생성 AI 서비스 대비 환각현상을 최대 70% 가까이 줄이는 데 성공했다고 밝혔다.
실제 믿음을 시범 적용한 KT 콜센터에서는 봇 인식률 5% 개선, 후처리 속도 20%, 지식 구축 속도 30% 향상 등 다양한 성능 개선 효과를 보였다고 전했다.
앞으로 금융과 통신영역, 지니TV 마케팅, 시니어와 육아상담 등의 영역에서도 믿음을 적용한 업무 프로세스 개선을 진행할 예정이다.
장세민 기자 semim99@aitimes.com
