코난테크놀로지가 대형언어모델(LLM)을 공개했다. 매개변수는 줄이고 학습 토큰은 늘려 성능을 최대화하고 비용은 낮췄으며, 온프레미스와 벡터 검색으로 보안과 정확도를 극대화한 '기업 전용' 모델이라는 설명이다.
인공지능(AI) 전문 코난테크놀로지(대표 김영섬)는 17일 콘래드 서울에서 기자간담회를 갖고 ‘코난 LLM'을 최초 공개했다.
김영섬 대표는 개회사를 통해 “생성 AI 시장에 빠르게 대응하고자 기술 개발과 장비 투자를 이어 왔고, 이 자리에서 노력의 결실을 공개하게 돼 기쁘다”며 “앞으로도 기술 고도화에 매진하겠다”고 밝혔다.
이어 임완택 전략기획 본부장이 코난 LLM의 장점 및 비즈니스 모델을 소개했다. 차별 포인트로 ▲국내 최다 학습 토큰 ▲20억건에 달하는 양질의 문서기반 데이터 ▲벡터검색 기술 등을 들었다.
이를 통해 보안 우려와 비용 부담은 덜고 답변 신뢰성은 높였다고 설명했다. 또 한국어 특성에 기반한 구조로 답변 성능이 뛰어난, 보고서 초안 생성에 특화한 B2B, B2G LLM을 표방한다고 전했다.
■ 온프레미스와 벡터 검색...보안과 정확성 강조
가장 먼저 내세운 점은 '보안'이다. 퍼블릭 클라우드가 아닌 온프레미스(자체구축)로 LLM을 제공해 내부 데이터 유출을 막겠다는 전략이다.
또 벡터 검색 엔진 구동으로 환각 현상을 줄인다고 설명했다. 벡터 검색 기반의 ‘코난 서치'를 연동, 답변과 함께 근거 및 출처를 참고문서 형태로 제시한다. 코난테크놀로지는 "자체 개발한 디스크 기반 벡터 검색 기술을 상용화한 국내 유일기업으로, 10억건 이상의 문서에서 결과를 도출해내는 하이엔드 검색 기술을 축적했다"고 강조했다.
■ 7000억개 토큰 학습…고성능·저비용 실현
코난 LLM은 전체 토큰 4920억개, 한국어 토큰 2840억개를 학습했다. 11월에 내놓을 모델에는 전체 학습 토큰 7000억개, 한국어 토큰은 3220억개가 쓰인다. 토큰 규모는 국내 최대 수준이라고 강조했다.
한편 매개변수에 따라 ▲13.1B(131억개) ▲41B(410억개) 두가지 버전으로 제공한다. 오픈AI 'GPT-3.5'의 1750억개, 네이버 '하이퍼클로바'의 2040억개와는 차이가 크다.
즉 매개변수 사이즈는 줄이고 학습 토큰은 늘려 저사양 고성능을 실현한다는 전략이다. 기업은 용도나 예산에 맞춰 13.1B나 41B 중 하나를 골라 사용할 수 있다.
비결은 '자체 보유 데이터'라고 밝혔다. 코난테크놀로지는 2007년부터 온라인 미디어 심화 분석 서비스 ‘펄스케이'를 통해 약 205억개 문서를 자체 확보, SNS 메시지나 뉴스 댓글 등을 제외한 20억건을 학습에 사용했다고 전했다.
■ 보고서 초안에 특화…4K 분량 컨텍스트가 핵심
코난 LLM은 ‘문서 초안 생성’을 위해 미세조정, 문서와 보고서, 보도자료 등의 초안 생성에 최적화했다고 밝혔다. 간단한 프롬프트 만으로 4000자 분량의 문서를 만들어내고, 문서생성 중 추가 질의, 첨삭 및 참고자료 생성도 동시 수행한다. 따라서 문서 작성 시간과 비용을 줄이고 작업 생산성을 향상한다는 설명이다.
한번에 입력하는 프롬프트 분량인 컨텍스트 길이(Context length)를 핵심으로 꼽았다. 코난 LLM 41B는 한번에 처리할 수 있는 토큰이 4000개로, 한글 오픈소스 모델인 '폴리글롯(Polyglot-ko) 2K'보다 2배 이상 길다. 또 메타의 '라마2'의 한국어 단어 처리 능력은 코난 LLM의 20% 정도에 불과하다며, 그만큼 한국어 능력이 뛰어나다고 전했다
■ 기자간담회서 최초 시연…7초 만에 4000자 보고서 생성
도원철 상무가 진행한 실시간 제품 시연에서 코난 LLM은 4000자 분량의 보고서를 7초만에 생성해 냈다. 또 다양한 프롬프트에도 고른 답변 성능을 보여줬다.
또 채팅 방식을 통해 문서 생성 중에도 대화형 질의를 지원하는가 하면, 도표(테이블), 이어쓰기, 요약하기 등 문서 첨삭까지 다양한 기능을 소개했다.
한편 코난테크로놀지는 코난 LLM을 라이선스 또는 연간 구독 모델로 판매할 계획이라고 소개했다.
또 ‘코난 챗봇'과 AICC(컨택센터용 AI)를 지원하는 ‘코난 보이스봇'에도 코난 LLM을 도입, 다양한 비즈니스 수요에 대응할 계획이라고 밝혔다.
이주영 기자 juyoung09@aitimes.com
