최근 머신러닝으로 새로운 모바일 센싱 기술 나타났으나 실제 적용 어려워
노커, 스마트폰으로 두드려 물건을 인식하는 기술
메타센스, 상태와 상관없이 적은 데이터로 정확도↑

모바일 센싱은 스마트폰과 같은 모바일 기기에 내재된 센서들을 활용해 심박 수 측정, 운동 관리 등 다양한 서비스를 제공하는 기술이다. 

한국과학기술원(KAIST·총장 신성철) 네트워킹 및 모바일 시스템 연구소  공태식 박사과정 연구원은 "최근 기계학습(머신러닝)의 발전과 더불어 다양한 모바일 센싱 기술들이 학계에서 제안되고 있으나, 실제로 사용되고 있는 기술들은 일부분에 불과하다"고 말했다. 그는 모바일 센싱이 더욱 널리 쓰이기 위해서 해결해야 할 도전과제로 '노커(Knocker)'라는 기술과 '메타센스(MetaSense)' 기술을 언급했다.

공태식 연구원은 '2020년 구글 PhD 펠로우십(Google PhD Fellowship recipients) 프로그램' 머신러닝 부분에 선정됐다. 2009년부터 시작된 구글 PhD 펠로우십은 매년 컴퓨터 과학과 관련된 유망한 분야에서 연구 업적이 훌륭하고 미래가 유망한 대학원생을 발굴하고 지원하는 프로그램이다.

주 연구 분야는 머신러닝을 활용한 모바일 센싱으로, 센서와 유비쿼터스 컴퓨팅 분야 최고 학회인 ACM SenSys, ACM UbiComp 등에 주 저자로 논문을 발표했다. 2018년 네이버 Ph.D. 펠로우십에도 선정된 바 있다.

전자정보연구정보센터(EIRIC)는 12월 17일 공태식 연구원을 초청해 '모바일센싱(Mobile Sensing)'을 주제로 온라인 세미나를 진행했다.

EIRIC은 컴퓨터, 전자·전기, 통신, 융합 분야의 연구와 관련된 것들을 수집·관리하며, 이 정보들을 관계자들에게 제공하는 기관이다. 이런 목적에서 EIRIC은 한달에 2~3회 비정기적으로 AI 등 ICT 관련 전문가를 초청해 'EIRIC 세미나'를 진행하고 있다.

공태식 연구원은 모바일 센싱에 대해 "스마트폰이나 스마트워치 같은 모바일 디바이스 내부에는 다양한 센서들이 있다"며 "이를 이용해 데이터를 수집하고, 수집된 데이터로 유저들의 상황을 예측하고, 예측된 상황에 맞춰서 서비스나 애플리케이션을 제공하는 것"이라고 설명했다. 

대표적인 모바일 센서들로는 가속도계, 자이로스코프, 자력계, GPS 등이 있다. 

가속도계(Accelerometer)는 가속도 센서라고도 불린다. 중력을 포함한 3개의 물리적 축(X,Y,Z)에서 장치에 적용되는 가속도를 측정한다. 주로 흔들림이나 기울임 등 동작을 감지하는 데 사용된다.

자이로스코프(Gyroscope)는 자이로라고도 불린다. 3개의 물리적 축을 중심으로 한 회전 속도를 측정한다. 회전 감지에 사용된다.

자력계(Magnetometer)는 지자기(Geomagnetic) 센서라고도 불린다. 3개의 물리적 축에 대한 주위 지자기장을 측정한다. 방향을 찾는 나침반에 사용된다.

GPS는 위성위치확인시스템(Global Positioning System)의 약자다. 지구를 도는 인공위성이 현재 위치를 실시간 알려주는 시스템이다. 내비게이션 등 위치정보 이용에 주로 사용된다.

이 밖에도 온도센서, 습도센서, 근접센서, 지문인식센서 등 목적에 따라 다양한 종류의 센서가 탑재된다.

공태식 연구원은 "최근 머신러닝의 발전과 더불어 굉장히 많은 새로운 모바일 센싱 애플리케이션이 학계에서 제시되고 있다"고 밝혔다. 

그는 "머신러닝 같은 경우에는 스마트폰의 다양한 센서들의 복잡하고 서로 얽힌 관계들과 아주 많은 데이터를 처리하는 데 특화됐다"며 "그로 인해 이전에는 상상이 안 되던 새로운 모바일 센싱 애플리케이션이 제시되고 있다"고 덧붙였다.

공 연구원은 발표를 통해 최근 학계에 제시된 다음과 같은 모바일 센싱 애플리케이션들을 설명했다.

▲헬스장에서 바벨을 들고 운동을 할 때 스마트워치를 착용하면 몇번 운동을 했는지, 자세가 올바른지 등을 자동으로 추적한다. 

▲스마트폰을 사용한 기록과 센서로 사용자의 상황을 인식하고 감정상태를 예측한다. 우울증 전조 증상이 보이면, 정신과에 상담하라고 충고하는 등 정신건강을 케어해준다.

▲스마트폰을 평상시처럼 사용만 해도 말하는 톤을 분석해서 파킨슨병의 전조 증상이 있는지를 발견한다.

▲스마트워치를 착용하고 수화를 하면 수화가 텍스트로 자동 변환된다. 수화를 하는 사람과 말로 전달하는 사람의 커뮤니케이션을 원활하게 도와준다.

다양한 최신 모바일 센싱 애플리케이션 (이미지=공태식 연구원 EIRIC 강연 캡처)
다양한 최신 모바일 센싱 애플리케이션 (이미지=공태식 연구원 EIRIC 강연 캡처)

공 연구원은 "연구단에서 제시된 센싱 애플리케이션과 실제로 쓰고 있는 애플리케이션 사이에는 갭이 있다"며 실제 사용하는 것은 제한됐다고 지적했다. 

그는 이런 이유에 "실제 사용하면 성능이 많이 떨어지기 때문이다. 정확도가 많이 떨어진다"며 "실제로 사용할 때는 수많은 사용자가 있다. 사용자들마다 서로 다른 성질이 있고, 가지고 있는 디바이스 종류도 다르다"고 지적했다.

애플과 안드로이드가 다르고, 집에서 사용하거나 야외에서 사용하는 경우도 다르다는 것.

아직 머신러닝은 훈련된 데이터에 대해 작동을 잘하지만, 훈련되지 않는 상황에는 성능이 크게 저하된다.

공태식 연구원은 이를 해결하는 방법으로 두 가지 연구를 소개했다. 하나가 노커이며, 다른 하나가 메타센서다.

◆ 노커, 물체를 두드려 인식하는 센싱 기술

노커 기술은 물체에 '노크'해서 생긴 반응을 스마트폰의 마이크, 가속도계, 자이로스코프로 감지해, 이 데이터를 머신러닝으로 이용·분석해 사물을 인식하는 기술이다. 

이 연구는 지난해 UBICOMP 학회에 발표됐다.

노커의 원리 (이미지=공태식 연구원 EIRIC 강연 캡처)
노커의 원리 (이미지=공태식 연구원 EIRIC 강연 캡처)

공 연구원은 "스마트폰을 사람과 물체 간의 상호작용에 많이 사용한다"며 "하지만 이런 과정에서 아직도 불편한 점이 많다는 것을 느꼈다"고 노커의 연구를 시작한 이유를 설명했다.

예를 들어 생수를 주문해서 먹을 때, 스마트폰으로 생수를 다시 주문하려면 스마트폰을 켜서, 생수를 주문할 적절한 앱을 찾아야 된다. 앱을 찾고 모델명을 검색하고, 결과 창에서 생수를 선택해야 한다. 이 후에나 주문이 가능하다.

그는 이런 것이 반복되면 귀찮아질 수 있다는 것을 지적하며 노커는 더 편하게 사용할 수 있다고 강조했다.

노커를 사용하면 스마트폰으로 물병을 간단하게 두드리면 생수병인 것을 인식하고 자동으로 구매페이지로 이동한다.

노커 기술은 카메라와 RFID 전자태그 등 기존 인식 장치를 이용하지 않는다. 카메라를 쓰기 어려운 어두운 곳이나 전자태그가 없는 기기에도 적용할 수 있다.

노커에 대한 인식 정확도를 평가한 결과 실내 공간에서는 98% 정도인 것으로 나타났다. 다만 다른 스마트폰이나 다른 사용자 등 여러 상황에 따라 인식률이 떨어지는 것으로 나타났다.

사용자와 디바이스 등 다양한 서로 다른 상황들은 센싱의 성능을 저하하는 요인이다. (이미지=공태식 연구원 EIRIC 강연 캡처)
사용자와 디바이스 등 다양한 서로 다른 상황들은 센싱의 성능을 저하하는 요인이다. (이미지=공태식 연구원 EIRIC 강연 캡처)

◆ 메타센스, 적은 데이터로 다양한 상황에 적용하는 센싱 기술

사용자 상황에 따라 모바일 센싱 성능이 떨어진다는 것은 애플리케이션을 상용화하는 데 큰 걸림돌이 된다.

공태식 연구원은 이를 해결하기 위한 연구가 '메타센스'라고 말했다. 해당 연구는 지난해 센시스(SenSys)에서 소개됐다.

공 연구원은 메타센스에 대해 "학습되지 않은 상황에 적은 수의 데이터만 가지고 적응할 수 있는 기술"이라고 설명했다. "모바일 센싱에서 주요한 과제는 학습된 상황에서 정확도가 높게 나온다. 하지만 학습되지 않는 상황에서 테스트를 하면 정확도가 굉장히 낮게 나온다"는 것.

예를 들면 젊은 사람들의 활동을 학습한 애플리케이션이 나이 많은 사람들의 행동에는 적용되지 않는 경우가 있다.

메타센스 연구팀은 이런 각각 개인이 가지고 있는 다른 모바일 센싱의 상황을 ''Individual Conditions'(개별 상태)이라고 이름을 지었다.

공 연구원은 "생활패턴이 다르고, 신체적인 구조가 다르다. 어떤 사람은 키가 크고, 어떤 사람은 키가 작다. 이런 것들이 같은 걷기를 해도 시그널이 다르고 모델에 들어가는 인풋이 다르기 때문에 정확도가 굉장히 달라진다. 또 다른 한편으로 기기 자체가 다른 센서들을 사용하고, 다른 프로세싱을 하고, 다른 센서 성능을 가지고 있다. 센서들의 부착된 위치도 다르다. 스마트폰은 주머니에 넣지만 스마트워치는 손목에 찬다"고 설명했다.

데이터가 충분히 많다면 많은 데이터로 학습하면 되지만, 모바일 센싱은 서로 행동과 습관이 다른 다양한 사람들로 이뤄져 학습이 어렵다.

이를 극복하기 위해 많이 쓰이는 방법 중 하나가 센서 칼리브레이션이다. 다만 이는 센서의 방향만 해결할 수 있고, 각각 개인의 행동 등은 계산할 수 없다고 공 연구원은 지적했다. 일반적인 솔루션이 될 수 없다는 것.

최근에는 레이블되지 않는 데이터 기반으로 학습을 진행하는 경우가 있다. 다만 이는 수백에서 수천개의 개별 데이터가 필요하는데, 그 기간 동안 사용자가 기다려주기 힘들다는 단점이 있다. 유저 경험에 불편한 기술인 셈.

공태식 연구원은 "이런 레이블되지 않은 데이터를 이용하면 퍼포먼스 저하를 많이 가져오는 경우가 있다"고 지적했다.

그는 결국 사용자가 적은 데이터를 제공하면서 동시에 개별 문제를 보편적으로 풀 수없을까라는 의문에서 '메타센스'가 해결책이 될 수 있을 것이라고 설명했다.

공 연구원에 따르면, 메타센스는 다음과 같은 장점을 가지고 있다. 

▲ 어떤 AI 모델에 상관없이 어떤 개별 상태에 상관없이 작동하는 일반적인 솔루션이다. ▲적은 데이터를 사용하기 때문에 사용자 데이터 수집에 큰 시간이 소모되지 않는다. ▲기존 알고리즘 대비 높은 성능을 보여준다. ▲컴퓨팅파워가 제한된 모바일 디바이스에는 빠른 적응(adaptation)이 중요한데, 이를 충족시켜준다.

메타센스의 장점 (이미지=공태식 연구원 EIRIC 강연 캡처)
메타센스의 장점 (이미지=공태식 연구원 EIRIC 강연 캡처)

그는 메타러닝(Meta Learning)을 이용해 적은 수의 데이터로 구현했다고 강조했다.

공 연구원은 "메타러닝이 메인 알고리즘"이라며 "한마디로 학습하기 위한 학습(Learning to learn)"이라고 밝혔다.

사람은 어떤 것을 알고 있으면 비슷한 학습을 빨리한다. 예를 들면 테니스를 배운 사람은 경험이 없는 사람보다 비슷한 배드민턴과 탁구 등을 쉽게 배울 수 있다.

이를 모방해 만든 것이 메타러닝이라는 것. 

공 연구원은 "먼저 테니스 플레이어와 같은 베이스 모델을 학습시키는 것"이라며 "이런 베이스 모델이 다양한 상황에 훈련되고 적응되는 것을 배웠으면, 다양한 새로운 상황에서 빠르게 학습할 수 있는 모델을 만들고 싶었다"고 메타러닝을 소개했다.

메타러닝 (이미지=공태식 연구원 EIRIC 강연 캡처)
메타러닝 (이미지=공태식 연구원 EIRIC 강연 캡처)

다만 이 베이스 모델을 어떻게 학습시키냐는 것이 문제다. 그는 베이스 모델에게 여러 상황을 주면서 적응을 잘하도록 학습시키는 것이라며 한마디로 "Learning to adapt to new condition"이라고 설명했다. 

이날 강연에서 공태식 연구원은 메타러닝의 정확도를 높이는 새로운 세 가지 알고리즘을 소개했다. 이를 통해 기존 트랜스퍼 러닝(Transfer Learning) 대비 18%, 기존 메타러닝 대비 15%의 정확도 향상을 이뤄냈다는 것.

자세한 강연 내용은 EIRIC 사이트와 유튜브 채널에서 다시 볼 수 있다.

미니인터뷰(Mini Interview)

Q. 연구를 진행하면서 어려운 점이 있다면?

A. 개인적으로 좋은 환경에서 연구를 하고 있다고 생각한다. 어려움이라고 말씀드릴만한 부분이 있는지는 잘 모르겠다.

다만 연구를 진행하면서 느낀 것이 있다면, AI 기술에 대한 관심이 크지만, 연구는 이론에 많이 치중되어 있으며 현실에 어떻게 적용하고 어떻게 유저들이 사용할 것인가에 대해서는 관심과 고민이 아직 부족하다는 생각이 들었다.

Q. 최근 추가로 연구하는 영역이 있다면?

A. 메타센스 이후로도 쭉 비슷한 연구를 진행하고 있다. 같은 문제점(유저, 기기, 환경이 학습데이터와 달라져서 센싱 기술의 성능이 저하되는 것)을 풀기 위해 들이는 유저의 노력을 최소화하면서 동시에 정확도를 늘리는 방향으로 연구하고 있다.

Q. AI에서 센싱은 얼마나 중요한 영역인가?

A. AI에서 센싱이 중요하다기보단, 센싱에서 AI의 역할이 중요한 것 같다. 센싱기술은 인공지능 붐 이전부터 연구가 되어왔지만, 인공지능 기술이 발전함에 따라 이전에는 상상하기 어렵던 센싱기술들이 소개되고 있다.

 
공태식 카이스트 박사과정 연구원

 

AI타임스 양대규 기자 yangdae@aitimes.com

[관련기사] "학습 비용 줄이는 최신 자기지도학습"…정희철 경북대 인공지능학과 교수

[관련기사] 오감으로 가상현실 느낀다...KAIST, 촉각 증강 위한 세라믹 신소재 개발

키워드 관련기사
  • "VR, 자유도 높은 6DoF 압축기술 도입해야"…류은석 성균관대 교수
  • "가상환경과 현실환경 달라, AI 실제 적용 어려워"…최종원 중앙대 첨단영상대학원 교수
  • '음성만으론 부족해~'... 사람 기분까지 알아채고 반응하는 ‘공감 AI’ 급부상