얼굴 인식 기술로 영상서 메타 데이터(meta data) 추출
메타 데이터는 다른 데이터를 설명해주는 데이터
영상 메타 데이터로 타임라인 탐색 및 분석 서비스 제공 목표
KBS가 연예인 얼굴 인식 인공지능(AI) 기술을 다룬 논문을 공개했다. 영상에서 특정 등장인물(예: 강하늘) 얼굴을 인식해 메타 데이터(metadata) 추출을 도와주는 기술이다.
메타 데이터는 다른 데이터를 설명해 주는 데이터. 영상 메타 데이터는 △제목 △등장 인물 △타임라인 △자막 △상영 시간 등이 포함힌다.
얼굴 인식 AI 데이터 세트에 등장한 연예인은 콘텐츠 관리 시스템 (CMS)에서 콘텐츠 출연 횟수 순(2번 이상 등장)으로 선정됐다. KBS 팀은 "한국 연예인 사진 약 360만개로 구성된 얼굴 데이터 세트를 확보"했으며 "효율적인 데이터 세트 구성과 이미지 라벨링 작업 속도 증가를 위해 AI 기반으로 자동화된 얼굴 감지 및 클러스터링을 사용했다"고 전했다.
KBS팀은 딥러닝 기반의 다단계 합성곱 신경망(Multi-cascaded convolutional networks, MCTCNN) 기술로 드라마 등 영상에서 33만 5844장의 얼굴(혹은 '인물')을 검출했다. 이후 중국의 위스퍼(Whispers)라는 얼굴 클러스터링 모델을 사용했다. 얼굴 클러스터링은 비슷한 얼굴끼리 모아 분류하는 기술. 한국 얼굴을 학습한 적 없는 모델이지만, 얼굴 클러스터링 정확도는 드라마의 등장인물과 평균 정확도 99% 이상을 기록했다.
얼굴 인식 모델은 배치 크기 90으로 단일 GPU(Nvidia 1080 Ti) 머신에서 25~40시간 동안 사전 훈련됐다. 모델 성능 평가는 무작위로 섞인 데이터 중 일부를 사용했다.
표1에 따르면 훈련 반복 횟수가 증가할수록 정확도가 향상한다. 40만 번쨰 반복에서 가장 높은 수치인 96.6%의 정확도를 기록했다.
'얼굴'(혹은 '인물') 메타 데이터를 추출하는 AI는 구현이 어렵다. 각 나라 별 현지 얼굴 데이터 세트와 이를 학습한 사전 모델이 필요하기 때문. 반면, 사물 라벨 및 배경 정보는 기존 오픈 데이터 세트와 사전학습 된 모델을 활용해 쉽게 얻을 수 있다.
[AI & Tech] GPT 인기몰이, 사례 모아놓은 닷컴 등장. 깃허브ㆍ트윗이어 웹사이트까지
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com