미국 ML옵스 스타트업 위비에이트(Weaviate)가 '한국어 특화 토크나이저'를 오픈 소스로 공개했다.
밥 반 루이스(Bob van Luijt) 위비에이트 CEO 겸 공동 창업자는 24일 모두의연구소 강남캠퍼스에서 열린 'ML옵스 나우-LLM in 프로덕션' 행사에 참여, 한국어 특화 토크나이저를 소개했다.
위비에이트는 실리콘 밸리 기반 LLM옵스 스타트업으로, 대형언어모델(LLM) 개발 과정에서 대량의 데이터를 고차원 벡터 형태로 저장, 검색을 돕는 벡터 DB를 서비스 중이다.
루이스 CEO는 최근 서양 문화권의 언어와 다른 한국어 특성에 집중, 한국어 토크나이저를 개발했다고 설명했다.
'아버지가방에들어가신다'를 예로 들며, 토큰 별 분절의 중요성을 설명했다. 즉 영어는 한 단어를 기준으로 띄어쓰기와 토큰화를 진행하지만, 한국어는 전체적인 맥락을 파악해야 한다는 것이다.
그는 "LLM 개발에서 엄청난 GPU와 빠른 속도가 필요한 기업은 극소수의 빅테크뿐"이라며 "중요한 것은 기업 대다수가 정말 필요로 하는 AI 모델이 무엇인지 파악하는 것"이라고 강조했다.
또 위비에이트는 최근 스토리지 최적화, 멀티 테넌시, 한국 토크나이저 등 신기능을 출시했으며, 모든 모델은 깃허브 등에서 오픈 소스로 이용할 수 있다고 전했다.
한편 이날 행사는 베슬AI(대표 안재만) 주최로 위비에이트, 라이너, 삼성SDS, 모두의연구소 등과 협력한 'ML옵스 나우-LLM in 프로덕션'으로, 인공지능(AI)과 LLM 트렌드를 공유했다.
장세민 기자 semim99@aitimes.com
