‘연합 학습(Federated Learning)’ 기술의 속도를 높일 수 있는 방법론이 나왔다. 특히 모바일 기기에서 기존보다 무려 4.5배 더 빠른 속도를 갖췄다. 정확도를 낮추지 않아도 된다. 해당 방법론이 상용화되면 연합 학습으로 인한 사용자 스마트폰 과부하 문제까지 줄일 수 있을 것으로 전망된다.
카이스트(총장 이광형, KAIST)가 다수의 모바일 기기 위에서 인공지능(AI) 모델을 학습할 수 있는 연합 학습 기술의 속도와 성능을 높일 수 있는 방법론을 개발했다고 2일 밝혔다. 이성주 KAIST 전기및전자공학부 교수 연구팀이 중국 칭화대학과 국제공동연구를 통해 진행했다.
연합 학습은 개인 디바이스를 통해 AI가 각자 학습하는 방법이다. 모든 데이터를 중앙 서버로 한데 모아 AI를 학습하는 기존 방식과는 정반대다. 중앙 서버가 아닌 개별 스마트폰에서 각각 학습한다. 구글은 연합 학습을 'Collaborative Machine Learning without Centralized Training Data'라 칭하기도 한다.
이는 대용량 데이터를 처리할 때 필요한 컴퓨팅 파워와 비용을 줄일 수 있는 장점이 있다. 개인 디바이스에서 학습하는 방식이라 데이터가 개인 맞춤형으로 다뤄진다. 이를 통해 빅데이터를 수집할 때 불거질 수 있는 개인정보보호 시비도 피할 수 있다. 특히 의료 AI 기술 등 새 AI 서비스를 개발하는 데 사용할 수 있다.
연합 학습으로 인한 기기 과부하·성능 저하 해결
다양한 장점을 갖춘 연합 학습은 현재 구글을 비롯해 애플, 타오바오 등 글로벌 빅테크 기업들이 널리 도입하고 있다. AI 모델 학습은 주로 사용자 스마트폰에서 대부분 이뤄진다. 결과적으로 기기에 과부하가 생겨 배터리 소모나 성능 저하가 발생하는 한계가 있다.
이성주 교수 연구팀이 이러한 문제 해결을 위해 나섰다. 우선 연합 학습을 적용한 디바이스에 있는 데이터 샘플들의 효율을 측정했다. 이중 가장 최적화된 샘플을 골랐다. 선택된 샘플은 연합 학습을 통해 AI 모델을 빨리 학습하는 것으로 나타났다.
AI 모델을 빨리 학습할 수록 정확도가 줄어들 수 있다. 이 교수 연구팀은 이러한 문제를 미리 차단하기 위해 '연합 학습 라운드 데드라인'을 최적으로 조절하는 기법도 제안했다. 이는 모델 정확도를 낮추지 않고도 학습 속도를 약 4.5배 높였다.
해당 방법론을 그대로 적용하면 연합 학습으로 인한 사용자 스마트폰 과부하 문제를 지금보다 줄일 수 있을 것으로 전망된다. 이성주 교수는 “이번 연구 결과는 연합 학습의 학습 속도를 올리고 활용도를 넓힌데 의미가 있다”며 “컴퓨티 비전, 자연어 처리, 모바일 센서 데이터 등 다양한 응용 분야에서 모두 좋은 성능을 보여 빠른 파급효과를 기대한다”고 전했다.
이 교수 연구팀은 지난 6월 27일부터 7월 1일까지 열린 세계컴퓨터연합회(ACM) 주최로 진행된 제20회 모바일 시스템, 어플리케이션, 서비스 국제학술대회(MobiSys, International Conference on Mobile System Applications, and Services)에서 해당 연구 결과를 발표했다. 논문명은 'FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients'다.
이번 연구에는 KAIST 전산학부 박사과정의 신재민씨가 제1 저자로 참여했으며 위안춘 리(Yuanchun Li), 윤신 리우(Yunxin Liu) 중국 칭화대 교수가 협력했다. 해당 연구는 과학기술정보통신부 재원으로 한국연구재단과 정보통신기술진흥센터 지원으로 수행됐다.
AI타임스 김미정 기자 kimj7521@aitimes.com
[관련 기사]"기존보다 성능 8.3배 ↑"...카이스트, 'CXL 2.0' 메모리 확장 플랫폼 세계 최초 개발
