미니인터뷰(Mini-Interview)
◆ 가상현실(VR) 멀미 저감 소프트웨어(SW) 개발 계기는 무엇인가요?
VR 이용 시 발생하는 멀미를 체계화해 저감할 수 있는 방법을 고민했습니다. 기존 연구는 대부분 경험을 바탕으로 한 비체계화 방법론을 도입합니다. VR 멀미 조절의 핵심인 'VR 멀미도 예측'을 향한 기본 개념이 부족한 상황이었죠. 이에 기존 연구에서 시도하지 못한 고신뢰의 VR 멀미도 예측을 목표로 대규모 임상데이터를 활용한 기계학습(ML) 방법을 도입했습니다.
또 VR 멀미 해결의 최대 난제인 개인별 VR 멀미 체험 민감성 차이를 반영할 수 있도록 사람의 인지적ㆍ생리적 데이터에 근거한 분석 결과를 반영했습니다. 저희 ETRI는 대규모 임상데이터를 체계화해 획득한 후 ML 기술을 적용했습니다. 이에 VR 멀미 유발요인과 멀미도 간 정량적 상관성을 도출할 수 있었습니다.
◆ 기술 개발 과정에서 어려운 점은 무엇이었나요?
VR 멀미 저감ㆍ분석 기술의 핵심은 정확한 VR 멀미 예측입니다. 하지만 정확한 예측 시스템을 위해 대규모 임상 데이터를 구축해야 합니다. 임상 실험 과정은 엄격한 절차에 따라 개인별 90분 내외의 시간을 소요하기 때문에 많은 시간과 비용이 필요합니다.
이에 주어진 과제 수행 기간과 비용으로 500명 수준의 임상 데이터를 구축하는 작업이 가장 힘들었습니다. 하지만 VR 멀미 예측 기술의 신뢰도는 구축한 임상 데이터의 규모에 비례하기 때문에 향후 ETRI 개발 기술은 지속적인 업그레이드가 가능합니다.
◆ VR 멀미 분석ㆍ모니터링 도구의 경우 심리 치료에 사용 가능한 이유가 무엇인가요?
'VR 멀미 분석ㆍ모니터링 기술'의 경우 뇌파, 맥파, 피부전도도 등 생체신호의 특징을 활용해 변화 추이에 따라 VR 사용자의 멀미 체험도 변화 양상을 관찰합니다. 생체신호 바탕의 VR 멀미도 변화 추이 관찰 기능을 일반 사람의 정신ㆍ심리 분석에 확대 적용할 경우 손쉽게 유사한 기능을 지닌 SW 개발이 가능합니다.
실제로 국내 의료 기업 메딕션은 이 기술을 응용한 정서ㆍ심리 분석 장치와 SW를 개발했습니다. 올해 초에는 ‘MAVE’라는 제품을 제작해 멘탈 헬스케어를 위한 정신건강 상태 모니터링과 완화기법을 제공하고 있습니다.
국내 연구진이 가상현실(VR) 콘텐츠 이용 시 나타나는 멀미를 분석하고 감소시킬 수 있는 기술을 개발했다.
한국전자통신연구원(ETRIㆍ원장 김명준)은 VR 장비 사용자 500여명에게 실험 데이터를 얻어 기계학습(ML)을 적용, VR 멀미 정도를 예측할 수 있는 소프트웨어(SW) 기술을 개발했다고 26일 밝혔다.
이번에 ETRI가 개발한 기술은 ▲VR 멀미 분석ㆍ모니터링 도구 ▲VR 멀미 저감용 콘텐츠 저작 도구 ▲VR 모션데이터 편집 도구 3종이다.
VR 기술이 다양한 분야로 확장하고 있으나 VR 장비를 장시간 착용 시 사용자에 따라 멀미, 구토, 어지러움 현상 등이 나타나면서 실용화ㆍ서비스 확산에 어려움을 겪었다. 또 멀미 발생과 관련 있는 요인이 많고 요인간 정량적인 상관관계를 규명하기 어려워 명확한 원인과 해결책을 찾는 데 한계가 있었다.
연구진이 개발한 'VR 멀미 분석 및 모니터링 도구'는 사용자에게 생체신호 정보를 얻어 AI로 VR 멀미를 예측하는 학습 엔진 SW다. 개인별 VR 멀미 유발 유형을 바이오마커 패턴 관찰로 분석한다.
이 기술은 개인 휴대형 생체신호 장비와 연동 가능해 심리ㆍ정신 분석 SW에 적용, 헬스케어 분야에서도 활용할 수 있다. 첨단 의료 장비 제작 기업 메딕션(대표 김석민)의 VR 알코올 중독 치료기 '메딕션-S'에 탑재해 의료기기 허가ㆍ심사를 추진하고 있다.
'VR 멀미 저감용 콘텐츠 저작 도구' 기술은 콘텐츠 제작 과정에서 VR 요소를 실시간 조절할 수 있어 비교적 쉽게 멀미를 줄일 수 있다.
기존 VR 콘텐츠 개발 시 중간 검증을 반복하며 멀미에 영향을 끼칠만한 요소를 수작업으로 조정했다. 또 주관적 판단으로 수정해야 하고, 보완에 필요한 시간과 비용도 컸다.
하지만 이 도구로 레벨 1~5까지 정량적인 지표를 활용해 객관적 조정을 할 수 있다. 게임 개발에 이용하는 상용 유니티(Unity) 게임 엔진 프로그램과 호환도 가능하다.
이 기술을 적용한 상용 VR 게임도 출시했다. ETRI는 공동연구기관으로 참여한 드래곤플라이(대표 박철승) 게임 '스페셜포스 VR 인베이전'에 VR 멀미 저감용 콘텐츠 저작 도구를 적용, 게임에서 나타나는 멀미를 저감했다고 설명했다.
'VR 모션데이터 편집 도구'는 체감형 VR 장치에서 VR 멀미도를 분석ㆍ저감할 수 있다. VR 영상과 사용자 행동 간 정보량 차이를 엔트로피로 해석ㆍ활용하고 콘텐츠를 자동 조정ㆍ편집해 멀미를 낮춘다. 대부분 탑승형 체감 놀이기구에 적용 가능하며 VR 멀미ㆍ안전성 분석에 이용할 예정이다.
ETRI는 이번에 개발한 VR 멀미 저감 제작 API와 VR 멀미도 분석ㆍ예측 방법 등이 IEEE 국제표준화기구에 채택됐다고 전했다. ETRI가 IEEE 국제표준화기구 산하 워킹그룹에 에디터로 참여하며 관련 작업을 주도했다. 그 결과, 현재 국제표준안이 최종 승인을 받았으며 내년 초 공표될 예정이다.
ETRI는 이번 국제표준 제정 기술의 데이터인 VR 멀미 임상실험 데이터베이스를 국제 사회에 공개하고, VR 멀미 예측 모듈도 한국가상증강현실산업협회(KoVRA)를 통해 실행 파일 형태로 공유한다.
ETRI는 향후 VR 효과성 측정ㆍ검증 기술 개발 후속 연구를 진행하고 개발 기술을 해외로 홍보하면서 관련 기술을 이전할 계획이다.
손욱호 ETRI CG/Vision연구실 박사는 "세계 최초로 개발한 VR 멀미 분석ㆍ예측 기술을 활용해 고난도 작업 훈련, 정신질환 치료, 의료 시뮬레이션 등 다양한 분야로 상용화할 수 있도록 노력할 계획이다"라고 말했다.
