카카오브레인, 요가 동작 관절ᆞ포즈 측정 API 공개 < AI기술 < 기사본문

오락실에서 특정 캐릭터가 추는 춤을 얼마나 잘 따라 추는 지에 따라 점수를 매기는 게임. 한 번쯤 본 적 있지 않은가? 이 게임에 사용하는 기술이 포즈 에스티메이션(동작 측정ㆍ자세 인식)이다. 자세 인식은 키포인트(신체 주요부위)을 찾아내는 기술이다.

김동우 카카오브레인 엔지니어는 동작 측정 딥러닝 모델을 기반으로 이미지나 영상 속 사람을 탐색해 자세를 분석하는 기능을 18일부터 20일까지 열렸던 ‘이프(카카오) 2020’ 행사에서 발표했다.

그는 카카오브레인 딥러닝 모델이 기존 자세인식 모델ᆞAPI와 어떤 차이가 있는 지와 현재 카카오브레인 모델이 잘 하는 것과 부족한 부분을 짚었다.

김 엔지니어는 카카오브레인은 자세 인식을 어렵지 않게 구현해낼 수 있는 API를 만들었다고 밝혔다. 기존 레스넷과 HR넷 모델 대비 카카오브레인에서 만든 API가 더 안정적으로 키포인트를 잡아낸다고 말했다.

그는 재작년부터 작년까지 사용되었던 최상위권 모델인 레스넷(심플베이스라인)과 HR넷 등으로 요가 자세를 분석했으나 눈에는 잘 보이는 인체 주요관절을 잘 잡아내지 못한다고 지적했다.

자세 인식 기술은 운동할 때 코칭에 쓰일 수 있을 뿐만 아니라 어린이나 노약자가 위급한 상황에 놓일 경우 사용할 수 있다. 미국 아마존고 매장은 사람 움직임을 추적해 어떤 물건을 누가 짚는지, 사람간 상호작용이 어떻게 이뤄지는 지 분석해서 자동결제 시스템을 만들었다.

김 엔지니어는 딥러닝이 사람 자세를 이해하는 방법으로 히트맵을 소개했다. 사람 신체 주요부위(키포인트) 값은 2차원 평면에서 가로 x, 세로 y 값으로 나타낼 수 있으며 총 17쌍, 34개다.

키포인트에 가장 큰 값을 x, y 중앙 값으로 설정해 다른 값을 적절히 분포한다. 이를 3차원으로 표현할 경우 x, y 중앙 값에서 멀면 멀수록 높이가 낮게 나타난다. 이 값을 1.0부터 0까지 부드럽게 표현한 2차원 배열이 히트맵이다.

원래 이미지에서 주요 부위 이를 테면 어깨에 히트맵을 그려보면 어깨를 중심으로 빨간색부터 주변 부위는 파란색으로 그라데이션 색상효과를 원형으로 표현한다.

만약 2명 이상을 딥러닝으로 자세를 인식하고자 하는 경우 사람을 찾는 네트워크와 키포인트를 찾는 네트워크 두 단계로 된다. 사람부터 찾고 난 다음에 키포인트를 찾는 탑다운 방식과 키포인트를 찾고난 뒤 사람을 찾는 버텀-업 방식으로 자세 인식 모델을 나눌 수 있다.

김 엔지니어는 카카오 디벨로퍼에서 자세인식 API를 사용할 수 있다고 말했다.

그는 “카카오 브레인에서는 웹 기반 포즈 API 뿐만 아니라 모바일 환경에서도 사용할 수 있는 SDK를 만들고 있다”며 “앞으로 포즈를 응용해 영상에서 사람들의 유의미한 패턴을 찾아낼 수 있는 방법을 다양하게 진행할 예정”이라고 언급했다.

김 엔지니어는 마지막으로 행동 패턴을 쉽게 분류하고나 비교할 수 있는 연구를 하는 예시도 소개했다. 그는 “비슷한 동작을 하면 초록색, 다른 동작을 하고 있으면 빨간 색으로 표시된다”며 “추가적인 연구 결과물도 차근차근 공개할 예정”이라고 덧붙였다.