SKT, 통신 특화 LLM ‘텔코‘ 6월 출시…"에이닷X·GPT·클로드 번갈아 제공"

SK텔레콤이 통신사에 최적화한 대형언어모델(LLM)을 공개했다. 쿼리에 맞춰 다양한첨단 모델을 번갈아 활용할 수 있는 '스위치(switch)' 방식이 특징이다.

SK텔레콤(대표 유영상)은 30일 T타워 수펙스홀에서 간담회를 열고 통신특화 대형언어모델 '텔코 LLM(Telco LLM)'를 개발 중이며, 올 6월 중 출시한다고 발표했다. 

텔코 LLM은 멀티 LLM 전략에 기반하고 있다. 기존 SKT의 LLM '에이닷엑스(A.X)'과 오픈 AI의 'GPT', 앤트로픽의 '클로드' 모델을 번갈아 사용한다.

에릭 데이비스 SKT AI 테크 컬레버레이션 담당은 "사용자의 요구에 따라 모델을 전환하는 스위치 방식"이라고 설명했다.

LLM 스위치는 쿼리에 따라 여러 LLM을 전환, 가장 답변 성능이 좋은 모델에 라우팅해 효율적으로 사용할 수 있는 방식이다. 기존 '전문가 혼합(MoE)'과 비슷한 방식이지만, 다수의 소형모델 대신 첨단 LLM을 번갈아 사용하는 것이 차이점이다.

통신사는 텔코 LLM을 ▲AI컨택센터(AICC) ▲유통망 ▲네트워크 운용 ▲사내 업무 등 다양한 업무에 맞춰 사용할 수 있다. 

에릭 데이비스 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 다양한 텔코 LLM을 만들고 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

또 사용자의 피드백에 맞춰 성능을 개선한다고 밝혔다. 

상담사들이 텔코 LLM의 답변 품질과 만족도를 평가하고 해당 평가를 토대로 재학습하는 휴먼 피드백 기반의 강화학습(RLHF)을 거친 후, SKT 내부에서 만든 벤치마크 테스트를 거쳐 상용화를 결정한다. 

에릭 데이비스 담당은 벤치마크 테스트의 중요성을 강조하며 "텔코의 장점은 통신분야 업무 수행능력 및 서비스 적용 측면에서 정량적인 지표를 측정할 수 있다는 점"이라고 설명했다. 이 과정을 통해 "텔코 LLM은 범용 LLM에 비해 35% 답변 성능이 개선됐다"라고 전했다.

이어 정민영 SKT AI플랫폼 담당은 텔코 LLM을 활용한 '인텔리전스 플랫폼'을 설명했다. 

그는 "단순히 LLM만으로는 애플리케이션을 개발하기 어렵고 제어가능성, 정확성, 과제수행능력, 비용 절감 등의 문제를 해결해야 한다"라고 말했다.

이를 위해 ▲기업의 내부 데이터베이스를 활용해 환각을 줄이는 검색 증강 생성(RAG)과 ▲사용자의 요청에 임무를 정의하고 필요한 요소에 맞춰 API를 끌어오는 방식을 소개했다. 

특히 텔코 LLM은 "상담사와 고객 간의 대화내용을 구어체에서 비즈니스에 활용할 수 있는 형태로 정제, 후속 업무를 쉽게 진행할 수 있게 제공한다"라고 말했다. 

이는 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색, 요약하여 답을 한 후 상담 내용을 기록하는 것까지 텔코 LLM으로 효율화 할 수 있다는 의미다.

정민영 담당은 "올해 안에 SKT 고객센터에 적용할 수 있을 것이라고 본다"라며 “통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라고 설명했다.

또 "텔코 LLM에 다국어 학습을 진행하고 있고, 전 세계적으로 통신사 업무는 공통 업무가 많아 글로벌 시장으로 확장할 계획이 있다"라고 덧붙였다. 

한편, SKT는 5개의 글로벌 통신사들과 GTAA 합작법인을 설립하고 정기적으로 국제 텔코 AI 라운드테이블을 열어 협업을 추진한다고 밝힌 바 있다. 

6월 출시될 텔코 LLM를 GTAA를 통해 통신사 업무에 적용할 수는 있으나, "자세한 계획은 논의 중"이라고 전했다.

박수빈 기자 sbin08@aitimes.com