클라우드나 엣지에서 실행되던 AI기능이 기기내 칩에서 직접 실행
엣지· 클라우드 불필요···소비자·산업 IoT 활용 핵심으로 주목받아
비용효율적 AI로 소비자에 다가가···IT업계 MCU에 AI 넣으려 협력
인공지능(AI) 확산의 총아로 떠오른 ‘타이니 ML(Tiny Machine Learning)’을 아시나요?
타이니ML은 가장 최근 딥러닝(심층학습)과 AI 세계에 등장한 머신러닝(기계학습) 접근법으로서, 거의 모든 생활 · 산업현장 속 전자기기에 들어가는 마이크로 컨트롤러칩(MCU)에서 머신러닝 모델을 실행시켜 준다. 이는 효과적이고 비용 효율적인 AI 실행으로 이어질 수 있다. 게다가 이 접근법은 외부 애플리케이션, 엣지 컴퓨팅 계층, 또는 클라우드에 의존하지 않는다는 점에서 AI 확산의 핵심으로 관심을 끌고 있다.
포브스는 3일(현지시각) ‘타이니ML이 어떻게 AI를 도처에 있게 만들었나?’는 제하의 글을 통해 타이니ML이 이른바 유비쿼터스AI를 만드는 주역으로 뜨고 있다며 주목받는 이유와 진화과정, 그리고 이 생태계의 부상을 소개했다.
◆MCU에 타이니ML 적용, 어디서나 AI 실행
MCU는 우리가 거의 매일 사용하는 많은 기기와 장치의 두뇌다. 이들은 TV 리모컨에서 엘리베이터, 스마트 스피커에 이르기까지 어디에나 있다. 원격측정 데이터를 방출하는 여러 개의 센서들도 MCU에 연결돼 있다. 스위치나 모터같은 액추에이터도 MCU에 연결된다. 센서로부터 데이터를 수집하고, 액추에이터를 제어할 수 있는 내장 코드를 실행한다.
타이니ML의 등장은 최종 사용자가 AI를 소비하는 방식에 큰 변화를 주었다. 하드웨어(HW)와 소프트웨어(SW)를 공급하는 IT 업계도 MCU에 AI 모델을 도입하기 위해 협력하고 있다.
이처럼 전자 기기 속 MCU가 정교한 딥러닝 모델을 실행할 수 있게 되면 많은 길이 열린다. 타이니ML은 엣지, 클라우드, 또는 인터넷 연결을 필요로 하지 않게 된다. 딥러닝이 MCU 내에서 국지적으로 작동하며, 이는 연결된 센서와 액추에이터를 관리하는 로직을 갖는다.
◆타이니 ML의 진화
타이니ML의 진가를 알려면 클라우드와 엣지컴퓨터에 있는 AI의 3단계 진화를 이해해야 한다.이는 ‘클라우드 내 AI→엣지 내 AI→MCU 내 엣지’로 진화했다.
▲1단계 : 클라우드 내 AI
AI 초기에는 머신러닝 모델을 클라우드에서 교육하고 호스팅했다. AI를 실행하는 데 필요한 엄청난 컴퓨팅 성능은 클라우드 선택을 이상적인 것으로 만들었다. 개발자와 데이터 과학자는 고급 중앙연산장치(CPU)와 그래픽칩(GPU)를 활용해 AI 모델을 교육한 다음 추론을 위해 모델을 호스팅한다. AI를 소비하는 모든 애플리케이션이 클라우드와 통신한다. 이 애플리케이션은 MCU와 통신해 센서와 액추에이터를 관리할 수 있다.
▲2단계:엣지 내 AI
클라우드가 지속적으로 AI의 논리적 본거지가 되고 있지만, 딥러닝 모델을 소비하면서 지연시간이 발생하게 됐다. 스마트 스피커와 말할 때마다 이를 처리하기 위해 클라우드로 전송된다고 생각해 보라. 왕복에 따른 지연 시간은 사용자 경험을 죽인다. 공장 자동화, 스마트 헬스케어, 커넥티드카 같은 또다른 시나리오는 AI 모델이 국지적으로 실행되길 요구한다.
클라우드와 현장 IoT 기기를 연결하는 통로인 엣지 컴퓨팅은 AI 모델을 국지적으로 호스팅하는 데 있어 이상적 선택이 됐다. 엣지 단에서 실행되는 AI는 동일한 내용을 클라우드에서 수행할 때 발생하는 시간지연을 보이지 않는다.
그러나 제한된 엣지 자원을 감안할 때, AI 훈련 및 재교육 모델은 여전히 클라우드를 필요로 한다. AI 모델이 추론용으로는 엣지(기계학습 모델을 소비하는 과정)에 호스팅될 수는 있지만, 훈련용으로는 안된다. 그래서 클라우드에서 모델을 훈련시킨 후 이를 엣지에 배치하는 방식이 일반화 됐다.
이런 접근 방식은 훈련을 위한 강력한 컴퓨팅 환경(클라우드)과 추론을 위한 저지연 호스팅 환경(엣지)이라는 두 가지 장점을 모두 살릴 수 있다.
엣지에서 AI를 사용하는 동안 MCU는 연결된 센서들로부터 원격측정 데이터를 받는데, 이들은 애플리케이션을 통해 국지적으로 배치된 AI 모델에 추론용으로 전송된다. 그러면 이 모델은 입력 데이터의 예측, 또는 분류 결과를 제공하게 된다. 이는 다음 단계를 결정하는 데 사용된다.
▲３단계:MCU 내의 AI
엣지에서 AI를 실행하는 것은 많은 활용분야에 적합한 솔루션이다. 그러나 엣지 컴퓨팅 계층에 AI를 구축하는 것이 현실적이지 않은 경우도 있다.
예를 들어 스마트 스피커와 리모컨과 같은 가전용 기기를 엣지에 연결하는 것은 지나치다. 기기의 총소유비용(TCO)과 공급사 지원 비용을 증가시키기 때문이다. 그러나 이러한 가전용 기기는 AI 기능을 주입하는 데 있어 온상과도 같아 놓칠 수 없다.
산업용 AI 활용 사례 시나리오에서도 예측 정비는 장비 관리에 필수 부분이 되고 있다. 값비싼 기계와 장비는 예측 정비를 위해 실시간으로 이상 징후를 감지하는 머신러닝 학습 모델을 내장할 필요가 있다. 고객들은 장애를 사전에 감지함으로써 수백만 달러의 기계 유지보수 비용을 절감할 수 있다.
이에 따라 MCU에 AI를 직접 내장하는 것이 소비자 및 산업용 IoT 활용에 걸쳐 핵심이 되고 있다. 이 접근 방식은 외부 애플리케이션, 엣지 컴퓨팅 계층, 또는 클라우드에 의존하지 않는다.
AI 모델은 내장된 코드를 따라 MCU로 신호를 보낸다. 그것은 비할 데 없는 속도를 전달하는 전체 로직의 필수적인 부분이 된다.
전통적으로 머신러닝 모델은 항상 풍부한 자원을 가진 환경에 배치돼 왔다. 타이니ML 모델은 MCU에 내장할 수 있기 때문에 자원 집약적이지 않다. 이는 IoT 칩에 AI를 주입하는 가장 효과적이고 비용 효율적인 방식이다.
◆성장하는 타이니ML 생태계
타이니ML은 아직 걸음마 단계지만, 활기찬 생태계가 만들어지고 있다.
에이다프루트, 미디어텍, 아두이노, STM 등 전자 칩과 사물인터넷(IoT) 키트 제조사들이 자사의 칩에 타이니 ML을 지원하고 있다.
마이크로소프트(MS)의 보안 MCU인 애저 스피어(Azure Sphere)도 타이니ML 모델을 실행할 수 있다. 이 칩은 인터넷 연결 기기를 위한 통신 및 보안 기능이 내장된 안전한 고급 애플리케이션 플랫폼이다. 보안, 연결, 크로스오버 MCU, 맞춤형 고급 리눅스 기반 운영 체제(OS), 지속적이고 재생 가능한 보안을 제공하는 클라우드 기반 보안 서비스로 구성된다. 애저 스피어 MCU는 실시간 처리 능력과 고도의 운영체제(OS) 운영 능력을 통합한다.
인기있는 오픈소스 딥러닝 프레임워크 텐서플로우 변종인 텐서플로우 라이트(TensorFlow Lite)가 타이니ML 지원칩에 포팅될 수 있다. 또 다른 오픈 소스 머신러닝 컴파일러 및 런타임인 아파치TVM도 모델을 타이니ML로 전환하는 데 사용된다. 올웨이즈AI(Always AI), 카테시암(Cartesiam), 엣지임펄스(EdgeImpulse), 옥토ML(OctoML), 퀵소(Queexo)와 같은 새로 등장한 오토ML(AutoML) 및 타이니ML 플랫폼은 MCU에 대한 훈련과 모델 최적화 과정을 단순화하기 위한 도구와 개발 환경을 구축하고 있다.
타이니ML은 도처에 AI가 있도록 하면서 소비자에게 접근할 수 있도록 한다. 이는 우리가 매일 사용하는 수백만 개의 기기에 지능을 가져다 준다.
타이니ML 등장이 가져올 AI의 진보가 우리삶에 어떤 변화를 가져올지 주목된다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com