올거나이즈와 래블업 등 국내 대표 인공지능(AI) 기업들이 금융권의 실제 AI 도입 전략을 소개했다. 보안 강화와 환각 방지 등 주요 문제 해결을 위해 제공한 솔루션도 소개했다.
올거나이즈(대표 이창수)와 래블업(대표 신정규)는 22일 서울 마루180에서 열린 '알짜 기업이 쓰는 진짜 인공지능(AI) 세미나'를 통해 금융권 AI 도입 사례를 설명했다.
이번 세미나는 3회째로, 특히 양사의 금융권 AI 구축 경험을 통한 실제 사례와 수요 사항 등을 중심으로 진행됐다.
먼저 신정규 래블업 대표는 '백엔드닷에이아이 엔터프라이즈' 솔루션을 중심으로 금융권의 생성 AI 도입을 설명했다.
금융권에서의 AI 수요, 즉 대형언어모델(LLM) 기반 수요를 ▲생성 ▲변용 ▲인사이트 도출로 구분했다.
그중 생성은 주로 코드 작성이나 비주얼 베이직 관련 생성 코파일럿 수요가 많은 편이라고 밝혔다. 또 방대한 데이터를 분석해 인사이트를 도출하는 경우 LLM 기반 대화형 인터페이스를 선호한다고 소개했다.
금융권 수요가 가장 많은 것은 '변용'이라고 전했다. 이는 생성 AI를 활용, 보고서 형식으로 어투를 변환하거나 자료를 요약하는 등의 용도다.
보안이 최우선인 금융업계 특성상 범용 서비스를 사용하기 어렵다는 점, 기존 LLM으로는 전문 금융 용어를 생성하기 어렵거나 데이터 관련 환각이 발생한다는 점, 도입 이후에는 관리자 역할을 최소화하기 위해 자동화가 필수인 점 등을 난제로 꼽았다.
이를 해결할 솔루션으로 크게 네가지를 제시했다. ▲GenAI 데스크탑(베타) ▲백엔드닷에이아이 패스트트랙 ▲백엔드닷에이아이 엔터프라이즈 ▲백엔드닷에이아이 레저버 등이다.
백엔드닷에이아이는 생성 AI 훈련 및 서비스 플랫폼으로, 일종의 엔진 역할을 수행해 대부분 프로그램을 그 위에서 실행시키는 방식이다.
▲엔터프라이즈는 주로 인사이트 및 연구 개발 용도이며, ▲GenAI는 LLM 및 생성 AI 모델 운영과 사용 시 ▲패스트트랙은 모델 미세조정을 위해 ▲레저버는 인터넷 연결이 불가능한 환경을 해결할 때(보안, 폐쇄 환경) 이용한다.
이를 통해 금융 기관은 물론 다양한 기업에 서비스를 제공했다고 밝혔다. 백엔드닷엔터프라이즈는 현재 한국은행에도 제공 중이라고 밝혔다.
이어 이창수 올거나이즈 대표는 데모와 실제 프로덕션 사이의 간극을 위주로 설명했다. 올거나이즈는 2017년부터 KB증권, 현대카드, 일본 SMBC 금융 그룹 등과 협업한, 금융 특화 sLM(소형언어모델)의 대표 주자다.
올거나이즈는 억대 페이지가 넘어가는 방대한 기업 자료를 처리하기 위해 ▲트라이얼 ▲유료 PoC ▲상용화 단계로 sLM을 구축하고 있다. 특히 최근에는 금융에 특화한 LLM 기반 애플리케이션 마켓 '알리 금융 LLM 앱 마켓'을 출시했다. 일본 외무성에도 온프레미스로 LLM 마켓을 지원 중이다.
이 대표는 LLM 앱마켓 중에서 '금융 소비자를 위한 금융 상품 비교 추천 앱' 종류가 인기라고 밝혔다. 판매를 담당한 직원은 물론 구매하는 소비자에도 도움이 되기 때문이라는 설명이다. 이는 일본 증권고객사 창구에서 현재 사용 중으로, 복잡한 펀드 상품을 파악 후 판매해야 하는 직원의 Q&A를 보조하고 있다고 전했다.
AI를 이용해 분기 보고서 및 복잡한 재무제표를 분석할 때 특이점을 포착하거나 개인 신용 점수 변수를 예측하는 앱도 사용량이 많다고 전했다.
하지만 금융업계의 수요를 처리하기란 기술적으로 결코 쉬운 일이 아니라고 밝혔다. 금융 기관은 주로 규정집-금융상품설명서-모든 문서 형태로 범위를 늘려가며 sLM 및 앱을 테스트하는데, 자료의 양이나 형식, 복잡성이 증가할수록 성능이 떨어질 확률이 높다고 지적했다.
이 대표는 특히 금융 업계가 까다로운 이유로 미세조정과 RAG(검색증강생성)을 모두 거쳐야 한다는 점을 꼽았다. 금융 문서의 형식과 용어, 내용, 업데이트 내용을 모두 파악해야 하기 때문이다. 프롬프트 엔지니어링의 향상도 필수적이다.
대부분 RAG 기술은 특정 카테고리를 제시하는 경우에 그치기 때문에, 올거나이즈는 답변에 다시 순위를 정하는 기술 등을 거쳐 성능을 높인다고 설명했다.
이창수 대표는 "여러 문서 정보를 중첩해 그중에서 답변을 도출해야 하는 경우, 혹은 다양한 형식의 그래프나 차트에서 답을 찾는 경우도 올거나이즈는 모두 최적의 답변을 도출한다"라고 강조했다.
한편 이날 마지막 강연에 나선 강홍향 SK텔레콤 매니저는 자체 LLM 도입을 원하는 기업의 수요에 대해 설명했다.
알짜 기업이 쓰는 진짜 AI 세미나는 차기 개최도 앞두고 있으며, 앞으로도 AI 관련 실용 정보를 전달할 예정이다.
장세민 기자 semim99@aitimes.com
