엔비디아는 홈페이지를 통해 NIM 마이크로서비스 프리뷰로 '딥시크-R1'을 공개했다고 4일 밝혔다.
NIM 마이크로서비스는 단일 엔비디아 'HGX H200' 시스템에서 초당 최대 3872개의 토큰을 전송할 수 있다. 개발자들은 이를 통해 API를 테스트하고 실험할 수 있다.
이번 서비스는 표준 API를 지원해 배포를 간소화하며, 기업들은 가속 컴퓨팅 인프라에서 보안과 데이터 프라이버시를 극대화할 수 있다는 설명이다. 또 네모(NeMo) 소프트웨어와 AI 파운드리(AI Foundry)를 사용, AI 에이전트를 위한 맞춤형 딥시크-R1 NIM 마이크로서비스를 생성할 수 있다.
스노우플레이크도 생성 AI 기반 애플리케이션 생성 도구인 ‘코텍스 AI(Cortex AI)’에서 R1을 지원한다고 5일 밝혔다.
서버리스 추론에 사용할 수 있는 비공개 프리뷰 형태로 제공된다. 배치(SQL 함수)와 대화형(파이썬 및 REST API) 모두를 통해 액세스할 수 있어 기존 데이터 파이프라인, 애플리케이션 및 통합개발환경(IDE)에 통합된다.
스노우플레이크는 모델이 안전한 서비스 범위 내에서만 작동하고 사용자 데이터가 중국 서버에 저장되지 않는다고 강조했다.
스노우플레이크 코텍스 AI는 대형언어모델(LLM) 추론, 파인튜닝, 검색 증강 생성(RAG) 기능을 포함한 종합적인 도구를 제공하고 있다. 이를 통해 정형 및 비정형 데이터를 분석하고 AI 애플리케이션을 구축할 수 있도록 돕는다. 메타나 미스트랄을 포함한 주요 오픈 소스 및 폐쇄형 LLM 모두 지원한다.
자세한 내용은 공식 블로그에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
