애니스케일, 23일 레이 서밋(Ray Summit)에서 발표
커뮤니티에서 사용하는 서로 다른 ML 프레임워크 통합 가능
인공지능(AI) 및 파이썬(Python) 애플리케이션 확장을 위한 통합 프레임워크인 레이(Ray)의 2.0 버전이 나왔다.
'레이 2.0'은 머신러닝(ML) 라이브러리를 조정해 기존에 커뮤니티에서 널리 사용하는 다른 종류의 ML 프레임워크와 쉽게 통합할 수 있는 것이 특징이다. 이처럼 서로 다른 프레임워크를 통합해주는 플랫폼을 개발한 것은 이번이 처음이다.
애니스케일(Anyscale)이 23일(현지시간) 개최한 레이 서밋(Ray Summit)에서 '레이'의 새로운 버전인 ‘레이 2.0’과 이를 실행하기 위한 엔터프라이즈 플랫폼을 발표했다고 벤처비트와 데이터나미 등 외신이 23일(현지시간) 보도했다.
레이는 파이썬(Python) 개발자가 분산 방식으로 애플리케이션을 실행할 수 있도록 하는 오픈 소스 라이브러리다. 텐서플로우(TensorFlow)및 파이토치(PyTorch)와 같은 기존 개발 프레임워크를 통합하고, 분산 시스템 개발 및 실행을 자동화해 소프트웨어 사용자가 애플리케이션의 데이터 측면과 ML 워크로드의 훈련(training) 과정에 집중할 수 있게 해준다.
애플리케이션 개발에는 ML 훈련 외에도 데이터 수집, 사전 처리, 기능 엔지니어링, 초매개변수(hyperarameters) 조정 등이 필요하다.
레이 2.0은 이러한 단계를 분산 방식으로 실행할 수 있도록 해준다. 레이 AIR((AI Runtime) 기능을 제공해 모든 AI 애플리케이션 구성 요소를 확장하거나 통합된 방식으로 작동할 수 있도록 해준다.
물론 지금도 불가능한 것은 아니지만 이를 위해서는 각기 다른 시스템과 API를 사용해야 했다. 하나의 애플리케이션을 위해 각기 다른 분산 시스템과 API를 사용해야 하는 불편함이 있었다.
로버트 니시하라(Robert Nishihara) 애니스케일 CEO는 "레이 AIR와 레이 2.0은 지난 몇 년 동안 대형 기술 회사와 협력한 결과"라며 "우버(Uber), 쇼피파이(Shopify), 앤트 그룹(Ant Group), 오픈AI(OpenAI) 등과 차세대 머신러닝 인프라 구축을 위해 노력해왔는데 이를 위해서는 레이의 도움이 필요하다"고 말했다.
레이는 대규모 언어모델인 GPT-3와 이미지 생성 모델인 DALL-E를 제공하는 오픈AI의 기본 요소다.
그렉 브록먼(Greg Brockman) 오픈AI 공동설립자 겸 CTO는 레이 서밋에서 "우리는 가장 큰 모델을 훈련하기 위해 레이를 사용하고 있고, 전례 없는 규모로 확장할 수 있다는 점에서 매우 도움이 되었다"고 말했다.
그는 또 "레이를 개발자 친화적인 도구로 보고 있다"면서 "오픈AI가 유지 관리할 필요가 없는 타사 도구라는 사실도 도움이 된다"고 덧붙였다.
기업들은 대부분 특정 프레임워크에 만족하지 않고, 다른 프레임워크로 작업 범위를 확장하고 싶어하는데 이럴 때 레이2.0이 유용하다.
이를테면 처음에는 텐서플로우(TensorFlow)를 사용했다가도 동일한 ML 워크로드에서 파이토치(PyTorch)나 허깅페이스(HuggingFace)도 사용하기를 원하기도 한다. 레이 2.0의 레이 AIR을 사용하면 여러 도구에서 ML 워크로드를 더 쉽게 통합할 수 있다.
레이 2.0은 또 레이 서브(Ray Serve)의 배포 그래프 기능을 통해 서로 의존하고 서로 다른 종속성을 갖는 수백 개의 ML 모델 배포 문제를 해결해 줄 수 있다.
한편 애니스케일은 지난해 12월 이 기술로 1억 달러 규모의 투자를 유치한데 이어 최근 9900만 달러 투자를 추가 확보했다.
AI타임스 박찬 위원 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com