전해곤 지스트 AI 대학원 교수팀, AI 기반 보행자 경로 예측 알고리즘 개발
그래프 컨볼루션 네트워크(GCN) 이용…새로운 형태의 딥러닝 구조 제안
보행자 이동경로에 영향을 줄 수 있는 사람들 모두에 대한 모델링이 가능
자율주행‧서비스 로보틱스 분야 접목 기대…AI국제학술대회 ‘AAAI’서 발표

이번 연구 결과의 예시. 파란색은 입력 영상, 녹색은 지상 실측 정보(Ground-truth), 주황색은 CVPR2020에 발표된 관련 분야 최신 연구 결과를 말한다. 또 노란색은 제안된 방법으로부터 산출된 경로 예측 결과를 의미한다. (사진=지스트 제공).
이번 연구 결과의 예시. 파란색은 입력 영상, 녹색은 지상 실측 정보(Ground-truth), 주황색은 CVPR2020에 발표된 관련 분야 최신 연구 결과를 말한다. 또 노란색은 제안된 방법으로부터 산출된 경로 예측 결과를 의미한다. (사진=지스트 제공).

이제 인공지능(AI)으로 정확한 보행자 경로 예측이 가능해진다. 광주과학기술원(GIST‧지스트‧총장 김기선)의 전해곤 AI 대학원 교수와 배인환 전기전자컴퓨터공학부 석사과정 학생이 AI를 이용해 보행자 경로 예측 알고리즘을 개발했다.

보행자의 경로를 파악하는 것은 자율주행과 서비스 로보틱스 기술을 위한 필수 요소 가운데 하나다. 관측된 비디오 영상을 이용해 보행자의 보행 가능 경로와 최종 도착 위치를 추정하는 연구가 최근 컴퓨터 비전과 기계학습(ML) 분야에서 각광받고 있는 이유다. 이에 전해곤 교수팀의 이번 연구 성과는 향후 자율주행의 회피 기술과 서비스 로보틱스 분야에 접목될 수 있어 주목할 만하다.

기존의 방법론들은 일정한 구조의 딥러닝 네트워크를 통해 보행자 간의 위치를 모델링함으로써 보행 가능 경로와 최종 도착지를 추론한다. 반면 전 교수팀은 ‘그래프 컨볼루션 네트워크(GCN)’를 이용해 보행자의 위치‧속도‧변위 등 다양한 정보를 모델링할 수 있는 새로운 형태의 딥러닝 구조를 제안했다.

이번 연구에서 제안한 그래프 컨볼루션 네트워크 구조(GCN). 보행자 개개인의 위치, 속도, 변위를 그래프 형태로 모델링하고 인공신경망을 통해 향후 경로는 예측하는 구조다. (사진=지스트 제공).
이번 연구에서 제안한 그래프 컨볼루션 네트워크 구조(GCN). 보행자 개개인의 위치, 속도, 변위를 그래프 형태로 모델링하고 인공신경망을 통해 향후 경로는 예측하는 구조다. (사진=지스트 제공).

GCN은 객체들과 그 객체들 간의 관계로 표현되는 그래프 형태의 데이터를 학습할 수 있는 딥러닝 네트워크다. 장면 내 모든 보행자를 시공간 그래프로 형상화해 사회적 상호작용을 표현하고 보행자 꼭짓점 간 강한 결속을 풀어 부분 그래프 집합을 만드는 방법을 도입함으로써 효율성과 정확성을 높였다.

또 기존 예측 방법과 달리 누적 오류를 보상하는 벡터를 통해 오버슈팅을 방지하고 본래의 목적지 방향으로 경로가 복구될 수 있도록 하는 새로운 방법론을 제시했다. 이 같은 방법을 통해 기존 방법론들이 해결하지 못하는 보행자의 집단 합류와 집단 움직임, 급격한 회전 등 복잡하고 다양한 형태의 경로 예측이 가능해졌다. 게다가 네트워크 용량이 가벼워 실용화 관점에서도 그 우수성을 인정받았다.

전해곤 교수는 “이번 연구 그래프 기반 네트워크 구조를 통해 보행자의 움직임을 다양한 관점에서 모델링했다는 데 학술적 의미가 있다”고 말했다. 이어 “딥러닝 기반 방법론 특유의 빠른 추론 속도와 제안한 알고리즘의 강인한 성능이 맞물려 보행자 경로 예측 기술의 실용화를 앞당길 것으로 기대된다”고 덧붙였다. 이번 연구는 지난 5일 AI 분야 최고 권위 국제 학술대회인 ‘AAAI’에서 발표됐으며 2021 AAAI 학회 논문집에 수록될 예정이다.

 

【미니 인터뷰】 전해곤 지스트 AI 대학원 교수

◆ 기존 AI 기반 보행자 경로 예측 시스템과 다른 차별화된 강점은.

제안한 알고리즘은 보행자 이동경로에 영향을 줄 수 있는 사람들 모두에 대한 모델링이 가능하다는 것이다. 즉 특정 보행자 기준 가까이 있는 사람부터 멀리서 다가오고 있는 사람의 상대적 위치와 변위에 대한 정밀한 모델링을 통해, 영상 전체에 있는 보행자가 특정 개인에게 미치는 보행 영향력을 계산하는 인공지능 알고리즘이다.

기술적으로 좀 더 깊게 말하자면, 행동 인식에 사용되는 그래프 컨볼루션 네트워크(GCN) 상의 Disentangling 기법을 보행자 경로 예측시스템에 도입한 것이 가장 차별화된 점이라고 볼 수 있다. 사람의 행동 인식을 위한 GCN은 사람의 머리, 몸통, 팔다리 관절이 영상 상에서 일관되게 나타나기 때문에, Disentangling 기법을 통해 머리와 몸통, 머리와 팔다리 관절 등의 다관계성을 갖는 그래프 모델링을 하기에 용이하다. 하지만 보행자 경로 예측 시스템은 보행자가 걷는 와중에도 보행에 영향을 미치는 사람들이 출현하는 등 상황이 시시각각 변화하기 때문에 기존 Disentangling 기법을 적용할 수가 없다. 그래서 우리는 보행자 상황에 맞게 그래프 모델을 수학적으로 재정의해 보행자 환경에 적용 가능한 기법과 회피 경로 보완 기능을 고안했다.

◆  보행자 경로 예측 알고리즘이 구체적으로 어떤 분야와 접목될 수 있나. 

     어떤 효과를 기대할 수 있을지.

현재 가장 많이 고려되고 있는 응용은 보행자 경로 예측 기반의 자율주행 안전 회피다. 자율주행자동차가 보행자가 있는 도로나 거리를 운행할 때, 보행자들은 위협을 느낄 수 있다. 이 때 보행자의 보행 경로 예측을 통한 최적의 안전 회피 및 주행을 한다면 사람들이 자율주행 차량에 느끼는 거부감과 공포감이 완화될 것으로 예상된다.

그래서 장기적으로 우리는 GIST 캠퍼스 원내 경찰 순찰차량에 제안한 인공지능 알고리즘을 탑재하려고 한다. 원내 순찰차량 운전은 자율주행 알고리즘에 맡기고, 캠퍼스 폴리스분들이 순찰에 더 집중하실 수 있도록 하고자 한다.

◆ 이번 연구 과정에서 가장 어려웠던 점은.

딥러닝이 도입된 이후 해당 연구 분야는 아주 치열한 경쟁 속에 있다. 특히 미국 유수의 연구기관인 스탠포드대학교, 캘리포니아대학교 버클리캠퍼스, 카네기멜론대학교 등에서 해당 분야를 선도하고 있다. 실제로 우리가 논문을 준비하는 과정에서 UC 버클리의 한 그룹이 논문을 아카이브(Arxiv)에 올렸는데, 우리 연구 결과와 비등한 성능이 나와 상당히 불안했었다.

연구 관점에서는 보행 중 속도의 변화나 급격한 이동경로 선회 등 사람의 다양한 보행스타일을 모델링하는 게 힘들었다. 사람의 실제 주행 경로는 개인의 특성이 반영되는 경향이 있다. 그래서 이를 염두에 두고 보행자 간의 사회적 관계를 수학적으로 모델링해 딥러닝이 이를 제대로 학습할 수 있도록 많은 노력을 기울였다.

◆ 향후 연구 계획은.

최근 우리 연구실에서 관심을 가지고 있는 연구주제 가운데 하나가 ‘사회에 도움이 되는 AI 기술’이다. 기존엔 컴퓨터비전의 전통적인 문제들의 성능을 개선시키는 데 AI 기술을 사용했다면, 우리는 AI 기술을 이용해 치안과 안전 등 사람과 사회 모두에게 도움이 되는 연구를 할 계획이다. 본 연구 결과 역시 순찰차량 응용 및 안전 회피 기술의 기반이 될 것으로 기대한다.

AI타임스 윤영주 기자 yyj0511@aitimes.com

[관련기사] [인터뷰] 황의석 지스트 교수 "AI 기반 효율적 에너지 관리 시스템 연구 지속할 것"

[관련기사] [인터뷰] “AI로 노약자 낙상사고 막는다”…김문상 지스트 교수팀, AI 기반 보행 분석 시스템 개발

취재노트
요즘 뜨거운 관심을 받고 있는 자율주행자동차 연구 및 상용화에 큰 도움이 될 것으로 보입니다.
특히 전해곤 교수님 말씀대로 앞으로 ‘사회에 도움이 되는 AI 기술’ 연구를 통해
우리 모두가 AI 기술의 혜택을 누리고 체감할 수 있기를 기대합니다.
키워드 관련기사
  • '인공신경망'으로 반도체 소자 시뮬레이션 수행시간 확 줄였다
  • “AI로 우리 강아지도 이제 패셔니스타”
  • 지스트 AI 대학원 "글로벌 AI 융합인재 육성 선도적 역할"