한국과학기술원(KAIST, 총장 이광형)은 전산학부 박종세 교수 연구팀이 6월29일부터 7월3일까지 아르헨티나 부에노스아이레스에서 열린 ‘2024 국제 컴퓨터구조 심포지엄(ISCA 2024)’에서 '최우수 연구 기록물상'을 수상했다고 밝혔다.
이 연구는 적응형 AI의 기반 기술인 ‘연속 학습’ 가속을 위한 NPU 구조 및 온디바이스 소프트웨어 시스템을 최초 개발한 점과 온디바이스 AI 시스템 연구의 지속적인 발전을 위해 오픈 소스로 공개한 코드와 데이터 등의 완성도 측면에서 높은 평가를 받았다는 설명이다.
향후 소프트웨어 중심 자동차(SDV), 소프트웨어 중심 로봇(SDR)으로 대표되는 미래 모빌리티 환경에서 온디바이스 AI 시스템을 구축하는 등 다양한 분야에 활용될 수 있을 것으로 기대된다고 전했다.
온디바이스 AI는 제한적인 연산 및 메모리 자원으로 인해 경량 AI 모델을 사용하며, 또 배포된 환경상의 입력 데이터 분포 변화(Data drift)로 인해 정확도가 저하되는 문제점을 가진다.
최근에는 정확도를 높이기 위해 배포된 모델에 새로운 데이터를 지속적으로 학습하는 '연속학습(Continuous learning)' 기법 연구가 각광받고 있다.
연구팀은 기존 지속학습 방법론으로 발생할 수 있는 ▲사용자의 데이터 보안성 ▲네트워크 연결성 ▲지연시간 등의 문제를 해결하기 위해 원격 컴퓨팅 자원 없이 모델의 정확도를 효과적으로 높이는 저전력·고효율의 연속학습 시스템을 개발했다.
공간적으로 분할이 가능한 NPU를 개발, 추론 작업에 최소한의 자원을 할당하고 남은 하드웨어 자원을 재훈련 및 라벨링을 시간적으로 공유할 수 있도록 설계했다는 설명이다.
이런 연속학습 자원 배분 알고리즘이 모델의 환경적응과 동시에 입력 데이터 변화로 급격한 환경 변화를 탐지한 경우, 추가 시간을 할당해 새로운 입력데이터의 학습량을 높인다.
온디바이스 하드웨어의 시스템 성능과 효율성을 높이기 위해 데이터 '양자화 기법(Quantization)'을 적용했으며, 적합한 마이크로아키텍처를 설계해 온디바이스 자원을 효율적으로 활용할 수 있는 연속학습 시스템을 개발했다.
실제 차량에서 촬영된 데이터셋을 통해 다양한 입력 데이터 변화가 일어나는 환경에서 연속학습 시스템을 시뮬레이션, 기존 연구 대비 높은 추론 정확도 성능을 보였다고 강조했다.
박종세 KAIST 전산학부 교수는 “이번 연구를 통해 온디바이스 자원만으로 적응형 AI를 실현할 수 있다는 것을 입증하게 되어 매우 기쁘고, 이 성과는 학생들의 헌신적인 노력과 구글 및 메타 연구자들과의 긴밀한 협력 덕분이다”라며 “앞으로도 온디바이스 AI를 위한 하드웨어와 소프트웨어 연구를 지속해 나갈 것이다”라고 말했다.
이번 연구에는 KAIST 전산학부 김윤성, 오창훈, 황진우, 김원웅, 오성룡, 이유빈 학생들과 메타의 하딕 샤르마 박사, 구글 딥마인드의 아미르 야즈단바크시 박사, KAIST 전산학부 박종세 교수 등이 참여했다.
한편, 이 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 대학ICT연구센터(ITRC), 인공지능대학원지원사업, 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
박수빈 기자 sbin08@aitimes.com
