서울대 로보틱스 연구실, CES서 햅틱글로브 선보여
햅틱 글로브, 가상현실 정밀한 물체 조작 가능케 해
손동작 추적 알고리즘 적용…“미세한 손 떨림도 구현”
“시스템 안정성 고도화시켜 세계로 뻗어 나갈 것”
메타버스 세상에서 정밀한 사람의 손동작을 구현할 수 있는 기술이 CES2022에서 공개돼 전 세계 관람객들의 주목을 끌었다. 서울대학교 인터랙티브 네트워크 로보틱스 연구실(INRoL) 이동준 기계공학부 교수 연구팀은 자체 개발한 손동작 추적 기술 VIST(visual-inertial skeleton tracking)이 탑재된 햅틱 글로브를 지난달 5~7일(현지시간) 미국 라스베이거스에서 열린 CES 2022에서 선보였다.
햅틱 글로브는 연구실에서 최근 개발한 손동작 추적 알고리즘(VIST)과 실시간 물리 시뮬레이터 기술을 결합한 것으로 사람의 손동작을 그대로 가상공간에서 구현할 수 있다. CES 2022에서 연구팀은 가상의 공간에서 손으로 실린더를 잡고 끼워 넣는 펙인홀(peg-in-hole) 작업을 수행하거나 공을 잡고 굴리는 등의 작업을 가상공간 뿐만 아니라 서울대학교 박재홍 교수 연구팀이 개발한 로봇손으로도 구현해 전 세계 관람객의 관심을 받았다.
손동작 추적 기술(VIST) 컴퓨터 비전 기반 카메라 방식과 관성센서·지자기센서 활용 방식 두 가지를 함께 사용해 기존의 영상센서 기반 손동작 추적 기술의 영상가림 문제나 관성센서‧지자기센서 기반 손동작 추적 기술의 자기장 교란 문제를 해결했다. 또 물리 시뮬레이터는 PMI(Passive Mid-point Integrator) 기법을 사용해 발산하지 않고 안정적인 시뮬레이션 결과를 보이는 것이 특징이다. 실시간 동역학 계산을 통해 가상환경에서의 물체 상호작용이 실제와 매우 근접한 결과를 보여준다.
연구팀은 이번 CES 2022를 위해 VIST 핸드트래커 장갑 손끝에 소형 진동자를 부착해 가상환경에서 물체 상호작용 시 사용자에게 물체 접촉에 따른 진동 햅틱 피드백이 전달될 수 있도록 했다. 물리 시뮬레이터에서 계산된 접촉감에 따른 섬세한 진동 세기 조절이 가능하다. 이는 가상환경에서의 물체 조작 작업 시 사용자의 수행 능력 향상에 도움을 줄 수 있다.
햅틱 글로브는 가상환경에서 정밀하고 실감나는 물체 조작을 가능하게 한다. 메타버스에 활용된다면 더욱 현실 세계와 가까운 체험이 가능할 전망이다. 현재 메타버스 시스템들은 대부분 물체를 잡을 때 손동작을 정확하게 추적하는 것이 아닌 클릭 방식을 사용하고 있다. 또 물체를 on/off 방식으로 손에 부착했다가 탈착하는 경우가 많다.
이동준 교수 연구팀에서 개발한 시스템은 손의 미세한 움직임에 따라 붙잡은 물체의 자세가 바뀌며, 정밀한 도구 조작이 가능해진다. 따라서 정확한 손동작 추적과 물리 시뮬레이션을 기반으로 한 정밀 도구 조작 및 섬세한 제스처 표현이 가능한 한 단계 높은 차원의 메타버스 구현이 가능해진다.
CES 부스에서 이동준 교수 연구팀이 선보인 실제 로봇손은 VIST에서 계산된 손동작 추적 결과를 입력으로 받아 실제 사람 손의 움직임과 유사한 자연스러운 움직임을 보이는 동시에 핀치 그립(pinch grip)처럼 물체 조작 작업에 자주 쓰이는 특수한 동작에 대해서는 사용자의 의도에 맞게 적합하게 움직이도록 하는 제어 기법이 적용됐다.
허진욱 박사과정생은 “세계 선도 기술들을 체험하고 같은 분야 기술을 연구하는 엔지니어들과 이야기를 주고받으면서 세계 시장의 흐름과 현황을 파악할 수 있었다”며 “시스템 안정성을 끌어올리는 데 많은 노력을 기울였고, 앞으로 연구를 더욱 발전시켜 세계 시장을 선도하는 기술력을 가진 햅틱‧시뮬레이션 연구팀이 되겠다”고 밝혔다.
AI타임스 구아현 기자 ahyeon@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com