프렌들리에이아이(대표 전병곤)는 오는 25일 미국 하와이에서 열리는 국제머신러닝학회((ICML 2023)에서 대형언어모델(LLM)의 학습 효율을 획기적으로 끌어올리는 ‘비파이프(BPipe)’ 시스템을 발표할 예정이라고 18일 밝혔다.
LLM 학습을 위해서는 분산학습이 반드시 필요하다. 분산학습 기술 가운데 하나인 ‘파이프라인 병렬화’는 서로 다른 GPU가 초거대 언어모델 내의 서로 다른 레이어들을 파이프라인화 하여 처리하는 기술이다. 하지만 이 기술은 각 GPU가 최대로 사용하는 메모리에서 각각 불균형이 생긴다는 단점이 있다.
프렌들리에이아이가 개발한 비파이프 시스템은 학습 시 저장해야 하는 중간 계산 결과물을 메모리 여유가 있는 GPU에 맡겨두는 새로운 파이프라인 병렬화 방법으로 메모리 불균형을 해결한다. 결과적으로 같은 언어 모델을 더 빠르고 효율적으로 학습이 가능하다.
기존 파이프라인 병렬화가 여러 일꾼에게 각각 다른 무게의 짐을 들게 하는 방식이라면 비파이프는 가벼운 무게의 짐을 가진 일꾼이 무거운 무게의 짐을 가진 일꾼의 짐을 필요할 때 잠시 맡아주는 방식이다.
프렌들리에이아이는 연구결과를 담은 논문을 ICML 2023에서 'BPipe : 대규모 언어모델 교육을 위한 메모리 균형 파이프라인 병렬처리(Memory-Balanced Pipeline Parallelism for Training Large Language Models)'라는 제목으로 구두 발표할 예정이다.
프렌들리에이아이는 생성 AI 서빙에 관한 기업의 페인 포인트를 해결해주는 딥테크 기업이다. 지난해 GPT-3와 같은 언어 모델의 효율을 높이기 위한 ‘동적 배치 처리’와 ‘선택적 배치 처리’라는 핵심 기술을 적용한 엔진을 발표한 바 있다.
AI타임스 장세민 기자 semim99@aitimes.com
