웹 기반 ML 모델, 가벼운 온-디바이스 ML 모델 혼합으로 높은 성능
낮은 전력 소모로 스마트폰 같은 저전력 기기 구동하기에 유리
구글 화상회의 서비스 '구글 미트(Google Meet)'에 배경 뿌옇게 하기(Blur) 기능과 대치(replace)기능 등을 별도 설치 없이 웹 브라우저에서 사용할 수 있게 되었다.
2일 구글 AI블로그(블로그 링크)에 따르면, 이번 미트 성능 개선은 모두, 다른 화상회의 서비스와 다르게 새로운 기능들을 웹 상에서 사용가능하다. 즉, 웹에서 직접 구동되기 때문에 추가적인 설치나, 고사양 컴퓨터나 장치들이 필요 없다.
비대면 문화의 확산으로 줌(Zoom), 마이크로소프트 팀즈(Teams), 시스코(Cisco), 우버 컨퍼런스(Uber Conference)등 다양한 화상회의 플랫폼들이 탄생했다. 하지만 서비스 인터페이스가 제각각인데다 별도 설치가 필요, 이용에 불편하다는 지적을 구글이 개선한 것.
구글의 배경 변환 기능은 ▷온 디바이스(on-device) 머신러닝 모델▷웹 그래픽 라이브러리 렌더링▷텐서플로 라이트 제공 웹 기반 머신러닝 인터페이스를 혼합 사용, 웹 브라우저에서도 높은 성능을 발휘할 수 있게 했다.
구글은 또, 사용자를 배경에서 프레임 단위로 나눠 낮은 화질로 마스킹 작업을 했다. 마스킹 된 이미지가 원본과 결합하여 경계선이 맞춰지고 경계에 따라 배경이 뿌옇게 처리되거나 다른 이미지로 대체 된다. 블러 기능을 쓰면 배경은 빠른 처리를 위해 낮은 화질인 상태에서 블러처리가 되고 움직이는 사용자의 이미지만 원본 형태로 송출된다.
구글의 오픈 소스 프레임워크인 미디어파이프(MediaPipe)는 비디오, 오디오 같은 다양한 데이터를 플랫폼에 구애받지 않고 웹 머신러닝 모델을 만들 수 있게 한다. 모델은 합성곱신경망(CNN)을 이용해 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식하고 강조하는 방식으로 이미지의 특징을 추출한다. 작업 처리속도를 높이고 낮은 전력 소모를 위해 무거운 계산 등은 웹에서 처리했다.
구글미트의 머신러닝 모델은 빠르게 전달될 수 있는 작은 데이터 크기가 필요하다. 이 때문에 입력되는 이미지의 데이터가 고화질일 경우 이미지를 축소해 모델에 주입한다.
구글은 “눈에 띄는 화질 저하는 없었다"며 "결과적으로 400KB의 작은 용량과 19만3000개의 파라미터를 가진 모델을 만들었다"고 밝혔다.
또, “17곳의 지역의 이미지 데이터를 분석해 피부 색깔, 성별에 구애받지 않고 같은 성능을 보여준다”며 데이터의 편향이 없었다고 덧붙였다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com