▲구글이 VR 헤드셋을 착용한 사람들을 위한 새로운 가상 아바타 기술을 출시했다(출처=셔터스톡)

가상현실(VR) 기술을 사용하면 헤드셋을 착용한 사람이 자신의 모습을 가상 아바타로 볼 수 있다. 하지만 사람의 표현을 아바타와 동기화하는 기술은 여전히 제한적이다. 더구나 VR 헤드셋을 쓴 사람은 헤드셋으로 얼굴을 가리고 있기 때문에 이 사람의 표현을 전문가들이 정확하게 표현할 솔루션을 만들어내기란 어렵다.

그러나 기술 대기업 구글(Google)이 사용자의 표정을 읽고 그것을 가상 환경에 적용하는 안구 추적 시스템에 대한 특허를 출원함에 따라 이 문제가 곧 해결될 전망이다.

안구 추적 시스템

미국 특허청에 게시된 구글의 새로운 특허 내용은 '안구 추적 카메라를 사용한 표정 분류'라고 설명돼 있다. 구글은 하나 이상의 안구 추적 센서를 활용해 사용자의 표정을 캡처한다. 이 센서는 사용자가 머리에 착용하고 있는 장치에 내장돼 있다. 센서가 추적한 사용자의 얼굴 표정과 다양한 표현들이 머신러닝 알고리즘을 통해 실시간으로 가상 아바타에 반영되는 것이다.

특허 내용에 따르면, 시스템은 사용자의 얼굴 변형 모습을 나타내는 파라미터 값을 결정하기 위해 신경망 알고리즘 및 특징 추적 기능을 사용한다. 예를 들어 사용자의 얼굴에서 독립적인 근육 움직임 및 수축 등을 액션 유닛으로 추적하는 식이다. 이렇게 하면 헤드셋을 착용한 사람의 표정도 감지할 수 있다.

표정이 시스템에 의해 해석되는 방식

구글은 표현식 레이블이 알고리즘에 의해 해석되는 방식에 대한 다이어그램 흐름을 보여줬다. 프로세스의 단계는 다음과 같다.

1. 우선 표현의 하위 집합을 묘사하고 사용자의 개인화 이미지를 캡처한다.

2. 사용자 자신의 이미지를 캡처한다.

3. 캡처된 이미지와 개인화 이미지를 결합한다.

4. 최근에 캡처한 이미지에서 묘사된 표현을 가정하는 머신러닝 알고리즘을 적용한다.

5. 사용자의 표현을 가정 또는 유추하는 과정을 거쳐 표정을 조정한다.

6. 추가 이미지 생성 여부를 결정한다. 아무 것도 없다면 전체 프로세스가 끝나고, 추가 이미지가 필요하다면 2단계부터 다시 프로세스가 이어진다.

머신러닝 모델 훈련하기

구글은 머신러닝 모델을 훈련하기 위해 하나 이상의 안구 센서를 여러 실험 참가자들에게 적용해 이미지를 얻어냈다. 구글 연구진은 참가자들에게 특정한 표정을 나타내도록 요구했다. 그리고 각 개인의 이미지 데이터를 수집해 개인 이미지 및 그룹 이미지 사이의 유사점을 확인했다.

얼굴 표정

▲구글은 VR 기술로 사람의 안구 운동을 추적해 표정을 인식할 수 있다고 전했다(출처=셔터스톡)

이 특허 기술을 사용하면 사람의 얼굴 표정을 더욱 자세히 알 수 있다. 예를 들어 헤드셋 착용자의 눈 모양과 크기가 바뀌면 가상 아바타의 눈 모양과 크기도 바뀔 수 있다. 정확성이 입증된다면 이 시스템은 혁신적인 것이 될지도 모른다. 특히 소셜 네트워크의 VR 응용 프로그램에 주로 사용될 것이다.

머신러닝 모델은 놀란 표현, 화난 표현, 중립적인 표현 등의 이미지와 다른 조합을 기반으로 이미지를 예측할 수 있도록 훈련받는다. 알고리즘의 훈련이 마무리 된다면 알고리즘이 안구 추적 센서에 의해 수집된 이미지 라이브러리 입력으로부터 VR 헤드셋 착용자의 표현을 예측할 수 있다.

구글은 현재 특허를 취득한 기술의 일부분을 공개한 것이 예시일 뿐이며 이 기술은 앞으로 다른 방식으로 수정 및 실행될 수 있다고 밝혔다.

한편 미국의 기술 전문 웹사이트 벤처 비트(Venture Beat)는 구글이 최근에야 레노보 미라지 솔로 데이드림(Lenovo Mirage Solo Daydream) 헤드셋을 출시했기 때문에 안구 추적 기능이 더해진 헤드셋은 당분간 대중에게 공개되지 않을 것이라고 전했다. 이 레노보 미라지 솔로 데이드림 헤드셋은 사용자가 별도의 스마트폰이나 PC 없이도 몰입형 세계에 들어갈 수 있도록 만든다. 게다가 전선이 연결되지 않은 독립형 헤드셋이기 때문에 움직임이 자유롭다.

역반사 광전 센서

일본 게이오대학의 스즈키 가쓰히로 교수와 연구진은 표정 매핑 기술을 제안했다. 연구 제목은 '머리 장착형 디스플레이에 달린 광반사 센사로 표정을 인식 및 매핑해 아바타에 더하기'다. 연구진은 헤드셋에 달린 역반사 광전 센서로 사람의 표정을 매핑하는 방법을 연구했다.

이 광전 센서는 장치 내부에 배치되며 사용자의 얼굴과 센서 사이의 거리를 측정한다. 그리고 기본 표정의 거리값을 사용해 슬픔, 놀람, 분노, 행복, 중립 등의 감정을 나타내는 표정을 신경 회로망으로 계산해낸다. 실험 결과 사용자의 표정을 인식해 가상 아바타에 재현하는 기술이 88%의 정확도를 달성했다. 표정은 사람 간의 커뮤니케이션에 있어 매우 중요한 비언어적 특성이다. 따라서 사람의 표정을 가상공간에 재현하는 기술이 발달한다면 매우 높은 사용 가치가 있을 것이다.

▲안구 추적과 별도로 광전 센서를 사용해 사람의 표정을 인식 및 매핑하는 방법도 개발됐다(출처=셔터스톡)