생성 인공지능(AI)에 입력하는 부적절한 프롬프트를 제거함과 동시에 부적절한 답변까지 걸러내주는 스타트업들이 등장하고 있다. 기업이 생성 AI 서비스를 책임감 있게 배포할 수 있도록 하는 ‘허용 가능한 사용 정책’, 이른바 ‘가드레일’ 관리를 전문으로 하는 스타트업이다.
테크크런치는 5일(현지시간) 가드레일 전문 스타트업 베라가 270만달러(약 37억원)의 자금 조달 라운드를 마감했다고 보도했다.
이에 따르면 베라는 미국 AI 자문위원회 위원이자 오픈 소스 대형언어모델(LLM) 스타트업 아서 AI의 공동 창립자인 리즈 오설리번이 창립한 회사다. 아서 AI는 LLM의 투명성 공개에 목적을 두고 있으며, 오설리번 CEO는 이 분야의 거물로 꼽힌다.
따라서 베라도 생성 AI 모델의 위험성을 제거한다는 목적으로 설립됐다. 이 회사는 LLM 기업과 사용자 사이에서 중개자 역할을 하는 자체 언어 및 비전 모델을 활용, 부적절한 프롬프트 입력을걸러내는 동시에 LLM의 환각 현상이나 부적절한 출력을 걸러내는 역할을 맡는다. 기존의 수동적인 문서 및 체크 리스트를 사용하는 수준을 넘어선다.
구체적으로 베라의 플랫폼은 민감한 정보, 보안 자격 증명, 지적 재산 또는 프롬프트 주입 공격 요청을 차단, 수정 또는 변환할 수 있다. 특히 프롬프트 주입 공격은 안전 필터를 우회하기 위한 악성 프롬프트로, LLM의 '탈옥'을 유도한다.
또 플랫폼은 AI 모델이 생성하는 응답에 제약을 가해 기업의 윤리적 역할을 강화해 주는 역할을 맡는다.
이런 사업 방식은 환각이나 보안 등을 이유로 생성 AI 사용을 금지하거나 제한하는 기업 분위기에 따른 것이다. 챗GPT와 같은 생성 AI 사용을 금지한 대표적인 회사에는 삼성전자를 비롯해 애플, 월마트, 버라이즌 등이 포함된다.
물론 오설리번 CEO는 "벨라의 모델 역시 완벽한 것은 아니며, 생성 AI 모델의 최악의 행동을 제거할 수 있을 뿐"이라고 밝혔다.
하지만 이런 가드레일 전문 서비스는 새로운 경쟁 분야로 꼽힌다. 최근 몇개월 사이에 히든레이어, 다이나모FL, 프로텍트 AI와 같은 스타트업들이등장했다.
또 빅테크들은 자체 솔루션 개발에 열을 올리고 있다. 엔비디아는 ‘니모 가드레일’을, 세일즈포스는 ‘아인슈타인 트러스트 레이어’라는 장치를 내놓았다. 마이크로소프트는 모델과 텍스트 및 이미지 콘텐츠를 조정하는 AI 서비스를 제공한다.
콘텐츠 조정 및 AI 모델 위험으로부터 보호하기 위한 원스톱 솔루션을 찾는 기업에는 베라의 서비스가 매력적일 수 있다. 실제로 오설리번 CEO는 "이미 소수의 고객을 보유하고 있으며, 조만간 대기자 명단을 출시해 고객 기반을 확대할 계획"이라고 말했다.
박찬 기자 cpark@aitimes.com
