EIRIC, 류은석 성균관대 컴퓨터교육과 교수 초대 온라인 세미나 개최
차세대 VR 기술을 위한 연구 동향 소개
"SR, 노이즈 제거 등에 AI 딥러닝 기술 사용돼"

VR로 게임을 하는 사람(사진=Bruno Bueno from Pexels)
VR로 게임을 하는 사람(사진=Bruno Bueno from Pexels)

모든 사람이 VR(Virtual Reality, 가상현실)기기를 가지고 있지는 않지만, VR 콘텐츠를 사용한 TV 프로그램이 나오는 등 이미 대중화 단계에 와 있다고 말할 수 있다.

다만 수준의 차이가 있을 뿐이다.

1990년대 후반 버추얼 파이터나 파이널판타지7 등의 게임이 나왔을 때, 사람들은 3D(3차원) 이미지 구현에 열광했다.

초창기 3D 게임인 버추얼파이터(이미지=세가, fightersgeneration)
초창기 3D 게임인 버추얼파이터(이미지=세가, fightersgeneration)

3D 이미지 영상이 거의 실사와 비슷하게 구현된 지금 당시의 영상을 다시 보면, 너무나 낮은 해상도에 놀라게 된다.

현재 VR 기술이 딱 버추얼 파이터 수준이라고 말할 수 있다. 물론 VR 내부 3D 영상의 수준은 당시보다 월등히 높지만, 미래 VR 기술과 비교하면 그렇다는 것이다.

류은석 성균관대 컴퓨터교육과 교수는 현재 VR은 '3DoF' 수준으로 '6DoF' 수준으로 올라가면 더욱 몰입감이 생길 수 있다고 말했다.

여게서 DoF는 자유도(Degrees of Freedom)를 의미한다.

류 교수는 "3DoF는 고정된 제자리 위치에서 360도 VR 영상을 시청하기 위해 주변의 영상을 요(yaw), 피치(pitch), 롤(roll) 방향으로 둘러볼 수 있는 수준의 서비스"며, "3DoF+는 이보다 시청 가능한 시야각의 자유도를 일부 높여서 예를 들면, 전후좌우상하로 움직일 수 있는 사용자 머리로부터 시청가능한 영상을 서비스하는 수준"이라고 설명했다.

이어 "6DoF는 자유도가 높아 몇 발자국 정도의 전후좌우상하의 움직임을 제공한다"며 "센서 용어에는 9DoF 등도 쓰이고 있으나, 현재 가상현실 표준화에는 6DoF 서비스까지만 용어의 범위가 논의된다"고 덧붙였다.

요(yaw), 피치(pitch), 롤(roll)
요는 기울기를 뜻하며, 피치는 높이, 롤은 회전을 뜻한다. 

3DoF는 이 세 가지 축을 바탕으로 VR을 구현하는 방식이다. 6DoF는 여기에 수평(X), 수직(Y), 깊이(Z)의 세 축을 더한다.

EIRIC에서 진행한 류은석 교수의 'Light Field and Multiview Video Coding for 6DoF Virtual Reality(VR) Systems' 강연

전자정보연구정보센터(EIRIC)는 지난 18일 류은석 교수를 초청해 VR을 주제로 온라인 세미나를 진행했다.

EIRIC은 컴퓨터, 전자·전기, 통신, 융합 분야의 연구와 관련된 것들을 수집·관리하며, 이 정보들을 관계자들에게 제공하는 기관이다. 이런 목적에서 EIRIC은 한달에 2~3회 비정기적으로 AI 등 ICT 관련 전문가를 초청해 'EIRIC 세미나'를 진행하고 있다.

류 교수는 "기존의 3DoF와 3DoF+ VR 시스템을 넘어서 이제 움직임 자유도가 높은 6DoF VR 시스템의 연구와 표준화가 활발히 진행 중"이라며, 이날 세미나에서 차세대 VR 기술을 위한 연구 동향을 소개했다.

그는 현재의 기술보다 움직임 자유도가 훨씬 더 높은 차세대 VR 기술을 위한 노력들을 ▲국제표준화 기구의 MPEG-Immersive 활동 ▲그 전문가 단체에서 연구되고 논의되는 핵심 기술들로 나누어 소개했다.

AI타임스는 세미나 이후 류 교수와 간략한 인터뷰를 진행했다.

Q. 현재 어떤 분야를 연구하며 그 목적은 무엇인가?

류은석 성균관대 컴퓨터교육과  교수
류은석 성균관대 컴퓨터교육과 교수

- 멀티미디어 컴퓨팅 시스템 연구실(MCSL, Multimedia Computing Systems Laboratory) 석박사 과정 연구원들과 함께  차세대 멀티미디어 처리 기술과 전송 시스템 기술에 대해 연구하고 있다.

구체적으로는 가상현실(VR), 증강현실(AR), 홀로그래피(Holography) 서비스를 위한 처리와 시스템 기술을 연구·개발한다. 

예전부터 꿈꿔온 미래의 멋진 멀티미디어 서비스를 가능하게 만들겠다는 목표를 위해 노력 중이다.

Q. VR 영상과 기존 영상을 만들 때 가장 큰 차이는?

- 일단 가상현실의 몰입감 있는 서비스를 멀미 같은(VR Sickness) 불편감 없이 즐기기 위해서는 영상의 해상도(Resolution)가 지금의 UHD 영상보다 훨씬 더 커져야 한다. 

또 사용자가 주변을 둘러볼 수 있는 몰입감을 위해 전방향 360도 카메라 등이 활용되며, 6DoF 등의 서비스를 위해서는 적절한 위치에 배치된 다수의 카메라로 부터 영상을 촬영할 필요가 있다. 

따라서 촬영 카메라 장비부터 이에 대한 배치 정보 등도 변화됐으며 무엇보다 매우 크게 증가된 카메라 데이터 처리를 필요로 하므로 새로운 영상처리 기술이 필요하다.

Q. 본격적인 VR의 도입을 위해서는 어떤 기술들이 필요한가?

- VR은 게임, 교육, 의료실습, 국방훈련 등에 이미 적지 않게 활용되고 있다. 하지만 새로운 서비스에 대한 매우 큰 호기심과 기대 만큼의 시장확대는 아직 부족하다. 

아마도 그 새로운 기술에 대한 기술적 어려움과 다양한 컨텐츠 제공에 대한 한계점을 가지고 있기 때문으로 해석된다. 

더 확대된 VR 서비스의 도입을 위해서는, 카메라와 같은 영상획득 장치, 방대한 영상 데이터의 처리, 가벼우면서도 고성능인 HMD(Head-Mounted Display) 장치와 이를 위한 디스플레이·통신 등 다양한 세부 기술들의 발전이 필요하다. 

Q. 어느 정도의 무선 인터넷 수준에서 VR의 실현이 가능할까?

- 지금도 4G나 5G 망에서 VR서비스를 사용하고 있다. 다만 높은 수준의 6DoF VR 서비스를 위해서는 5G 망의 빠른 속도가 필요하다. 

이미 많은 통신사와 VR관련된 기업들은 이를 위해 무선 기지국의 MEC(Mobile Edge Computing)를 활용하는 기술을 도입하는 등 노력 중이다.
 
Q. AI나 딥러닝 기술은 VR 실현에 얼마나 많은 개선을 주나?

- 이미 딥러닝 기술에 기반하여 영상 크기를 확대시켜 주는 SR(Super Resolution) 기술과 여러 노이즈 제거를 위한 영상필터 기술 등 고해상도 영상 서비스를 위한 요소 기술들이 연구·개발됐다.

더 나아가 ▲사용자의 다양한 움직임 위치로 부터의 전방향 시점 영상을 서비스 하기 위한 중간시점 생성 기술 ▲사용자의 관심 시점 예측 기술 ▲방대한 VR 영상 데이터 압축을 위한 딥러닝 기반의 데이터 압축 기술 등이 연구·개발되고 있다. 

EIRIC 세미나에서 류은석 교수가 참석자들의 질문을 받고 있다.(사진=EIRIC 세미나 영상 캡처)
EIRIC 세미나에서 류은석 교수가 참석자들의 질문을 받고 있다.(사진=EIRIC 세미나 영상 캡처)

Q. VR 처리 기술의 수준과 기술적 로드맵은?

- VR영상 처리에서 현재 제공되는 몰입형 비디오 서비스 기술은 위에 말한 3DoF 수준이다. 

2022년까지 6DoF를 위한 VR기술이 표준화될 예정이다. 2020년대 중반 정도면 6DoF VR서비스가 상용화 되지 않을까 생각한다. 

Q. VR 개발에 가장 어려운 점은 무엇이며, 정부나 기관에 바라는 점은?

-일반적으로 개발자들은 6DoF같은 다수의 카메라가 배치된 VR컨텐츠 촬영이 가능한 스튜디오의 제공이나 다양한 컨텐츠의 공급이 필요하며 이를 위해 숙련된 인적자원, 정부의 지원 등이 필요하다고 이야기들 한다.

다 맞는 말이지만 과거 3D-TV의 시장확대 어려움의 경험 때문인지 이번에는 기업이나 정부도 이미 컨텐츠 관련하여 많은 노력 중이다.

빅데이터(Big data), 그리드(Grid), 수렴망(Converged Network), IoT, 클라우드, MR, XR 등의 단어를 들어봤을 것이다.

새로운 키워드(Keyword)에 너무 집착해, 같은 기술임에도 조금씩 발전할 때 마다 다소 억지로(?) 새로운 유행어(buzzword)를 만들어내고, 언론과 마케팅에서는 이를 포장하고 확대하는 문제점을 경계한다.

이럴 때 마다 정부의 연구 과제명도 그에 맞추어 변경되고, 대학과 같은 교육현장에서 까지도 해외와 달리 그러한 용어를 쓴 학과가 탄생하고 있다. 

어느 정도의 필요성은 이해하면서도 한편으로는 기술을 연구/개발하는 사람들은 그냥 소비자 마케팅 적 유행어에 휘둘리지 않고 묵묵히 요소 기술들을 공부하고 발전시켜 나가면 어떨까 하는 생각을 해본다.

[관련기사] "가상환경과 현실환경 달라, AI 실제 적용 어려워"…최종원 중앙대 교수

[관련기사] KAIST, 물체 강성 이용한 VR 컨트롤러 개발

취재노트
코로나 19 확산에 따라 류은석 교수와의 인터뷰는 이메일을 통해 이뤄졌다. 마지막으로 하고 싶은 말이 있냐는 질문에 류 교수는 다음과 같이 답했다.

▶ 지금이 연구실에서 밤을 새고 아침 7시 30분이네요. 부족한 저를 이해해 주는 사랑하는 가족과 열심히 노력하고 있는 연구실 학생들에게 감사하다는 말을 전하고 싶습니다. 
키워드 관련기사
  • 과기정통부, 5G+ 산업ㆍ서비스 육성한다
  • 보이저엑스(VoyagerX) 채용중! 이 질문에 답할 수 있을까?
  • SKT·도이치텔레콤, 5:5 출자한 ‘5G RF 기술' 합작회사 설립