미국의 분산 컴퓨팅 클라우드 회사인 투게더 AI가 프라이빗 클라우드와 온프레미스 환경에서 인공지능(AI)를 배포하기 위한 '추론 플랫폼'을 출시했다.
벤처비트는 23일(현지시간) 투게더 AI가 기업이 비용 효율적으로 프라이빗 클라우드에 AI를 배포할 수 있도록 지원하는 ‘투게더 엔터프라이즈 플랫폼’을 출시했다고 보도했다.
이는 기업이 자체 클라우드 서비스에서 AI 모델을 쉽게 사용할 수 있도록 돕는 풀스택 플랫폼이다. 이를 통해 기업은 온프레미스나 프라이빗 클라우드를 자체 운영하면서 구축된 AI 모델을 직접 관리하고 실행할 수 있다.
비풀 프라카쉬 투게더 AI CEO는 "AI 워크로드를 확장함에 따라 기업들은 효율성과 비용을 중요하게 여기며, 데이터 프라이버시에도 매우 신경을 쓴다"라고 출시 배경을 설명했다.
이 플랫폼은 프라이빗 클라우드에서 작동할 수 있는 유연성을 제공하며, 사용자가 투게더 AI의 클라우드로 확장할 수 있도록 지원한다. 이런 적응성은 IT 인프라에 대규모 투자를 한 기업들이 중요하게 생각하는 점이다.
특히 AI 추론 워크로드의 성능을 크게 향상할 수 있다고 강조했다. GPU에서 계산을 스케줄링하고 구성하는 알고리즘을 통해 추론 성능을 2~3배까지 개선하고 추론에 사용하는 하드웨어 양을 50%까지 절감할 수 있다. 이는 상당한 비용 절감과 용량 확보로 연결된다.
또 다른 특징은 단일 애플리케이션이나 워크플로우에서 여러 AI 모델의 사용을 조율할 수 있는 ‘에이전트 혼합(MoA, Mixture of Agents)’ 기능이다. MoA는 여러개의 전문가 모델들이 협력하는 에이전트를 선택하는 방식으로, 두개 이상의 모델을 협력시켜 질문에 대한 최상의 답변을 찾게 된다. 이는 오류가 최소화돼야 하는 작업에 유용하다.
프라카쉬 CEO는 "기업들에서 우리가 목격하는 것은 그들이 다양한 모델을 결합해 사용하고 있다는 점"이라며 "투게더 플랫폼은 이런 작업들을 조율하며, 수요에 따라 모델을 확장하거나 축소할 수 있도록 유연성을 제공한다"라고 말했다.
박찬 기자 cpark@aitimes.com
