설명가능 AI 적용, 생성모델 오류 수정 기술 성능 대폭 올려
딥페이크 만드는 GAN, GPT-3 성능 고도화...현실 적용 앞당겨
MIT 기술 능가, CVPR 2021서 발표...이루다 문제 개선 가능
진짜 같은 가짜를 만드는데 탁월한 생성적 인공지능(AI)이 국내 유행을 선도하고 있다. 요즘 20대들은 ‘디즈니 프사’를 해야 ‘인싸’로 인정받는다. 코로나19 이후 부쩍 증가한 주식 투자자들 가운데 한국어로 “테슬라 사~랑께”라 말하는 가짜 일론머스크 유튜브 영상을 모르는 이는 드물다.
일론 머스크 딥페이크 더빙 영상(출처=나몰라패밀리 핫쇼 유튜브)
재미를 위한 콘텐츠로 AI 생성모델을 접하는 일반 사용자들과 달리 기업들 태도는 보다 진지하다. 작년 오픈AI의 GPT-3 등장 이후 네이버, LG AI연구원, 카카오, SKT 등 다수 국내 기업들은 초거대 AI 언어모델 개발을 중요 사업으로 선언했다.
하지만 의료, 제조, 국방 등 사회 주요 영역에서 생성적 AI를 활용하는 경우는 아직 많지 않다. 주로 이미지를 대상으로 발전한 생성적 대립 신경망(GAN)은 부자연스런 배경과 같은 한계점으로 엔터테인먼트 이외 영역에 사용하기 어려운 상황이다.
GPT-3와 같은 언어생성모델에서도 오류 문제는 빠른 상용화를 어렵게 하는 주요 장애물이다. 상당수 연구에 따르면 GPT-3가 대화 맥락상으로 봤을 때는 그럴싸하지만 상식적으로 말이 안 되는 대답을 종종 제시한다. 예를 들어, 고인이 된 스티브잡스가 현재 캘리포니아 애플 본사에 있다고 대답하는 식이다.
차세대 AI 기술로 손꼽히는 생성모델이 일상 속에 들어오기 위해서는 이러한 오류 문제를 수정할 필요가 있다. KAIST 최재식 교수는 전문 분야인 설명가능 AI를 활용해 새로운 생성모델 오류 수정 기술을 개발, 지난주 CVPR 2021에 공개했다.
[논문] 생성적 신경망 내부 유닛에 대한 자동 수정(Automatic Correction of Internal Units in Generative Neural Networks)
설명가능 AI 기술로 생성모델 내부에서 문제를 일으키는 유닛(뉴런)을 찾아 제거하는 알고리즘을 고안한 것. 신경망 모델을 일일이 재학습하는 기존 방식에 비해 업무 부담을 대폭 줄인다. 모델 구조에 대한 의존성이 적은 만큼 텍스트, 이미지, 음성, 영상 등 다양한 분야에 응용 가능하다.
◆배경 왜곡하는 GAN, 기본 상식 놓치는 GPT-3
딥페이크부터 GPT-3까지 생성모델들은 놀라운 성과를 보이며 AI계 핵심 주제로 떠올랐지만 그만큼 한계점도 주목받고 있다.
가짜 유명인 딥페이크 영상부터 소위 ‘디즈니 프사’까지 대중들에게 인기를 얻고 있는 GAN 기술 같은 경우 쉽게 한계를 확인해볼 수 있다.
생성모델 오류로 인한 대표적인 GAN 한계로 배경 왜곡을 꼽을 수 있다. 사진 속 사람 얼굴을 디즈니 캐릭터처럼 만들어주는 애플리케이션 서비스를 사용해보니 쉽게 그 한계를 알 수 있었다.
기자가 반려토끼와 함께 찍은 사진에 프로그램을 적용했더니 배경에서 토끼 눈이 사라졌다. 대부분의 GAN 서비스에서는 배경에 과도한 블러처리를 하거나 아예 다른 이미지를 가져와 부자연스러운 한계점을 가린다.
이와 같은 이유로 재미를 목적으로 하는 엔터테인먼트 외 산업 현장에서 GAN을 활용하기는 쉽지 않다.
AI 여행 서비스 기업 누아 서덕진 대표는 “GAN을 활용해 저작권 침해 우려 없이 사용할 수 있는 음식 사진을 만드는 중인데 쉽지 않다. 배경 접시가 일그러지는 것과 같은 오류가 발생하기 때문”이라고 말했다.
GAN의 오류 문제에 대해 KAIST 최재식 교수는 “현실 세계에서는 있을 수 없는 상황을 만든다. 이미지 배치나 다른 물체와의 조화되지 않은 조합이 나오는 경우가 있다. 의료, 국방, 제도 등 신뢰도가 중요한 분야에 도입을 못 하는 이유”라고 설명했다.
우리나라를 비롯해 전세계에 초거대 AI 언어모델 개발 붐을 일으킨 GPT-3도 오류 사례가 다수 알려진 바 있다. AI 비서 개발사인 바이오닉(Bionic) 설립자 맥케이 리글리(Mckay Wrigley)는 GPT-3를 활용해 가짜 유명인과 채팅을 할 수 있는 프로그램을 만들어 트위터에 공개했다.
해당 프로그램을 사용 예시 중 하나에서는 고인이 된 (가짜) 스티브 잡스가 “지금 캘리포니아 애플 본사에 있다”고 대답했는데 이는 대표적인 GPT-3 오류라 할 수 있다. 해당 대화 맥락에서는 말이 되지만 현실 속에서는 틀린 대답이기 때문.
이외 인간에게는 어렵지 않은 상식 문제나 기본적인 수학 문제에서도 틀린 답을 제시하는 경우가 많다. 예를 들어 100만 전에 오는 숫자가 무엇이냐고 물었을 때 90만99라고 답하는 식이다.
◆설명가능 AI가 오류 위치 포착...결함 자체 이외 상위 특징 파악
생성모델에서의 오류, 즉 결함(Artifact)은 생성모델과 분류모델이 서로를 속여 학습능력을 높이는 과정에서 다수 발생한다.
이러한 결함을 수정하는 일은 기존 방법으로는 시간적, 금전적 비용이 많이 들어 사실상 현장 적용이 어려웠다. 부분적인 오류가 발생할 때마다 모델 전체를 재학습해야하기 때문이다. 재학습을 한다고 해서 해당 오류가 수리된다고 확실히 보장할 수도 없다.
GPT-3는 빈번하게 오류를 만듦에도 불구하고 보통 프롬프트라고 알려진 입력 텍스트값을 미세조정(파인튜닝)하는 방식으로 결함을 수정했다.
기존 생성모델 오류 수정 기술 한계에 대해 최재식 교수는 “과거에는 시각적 결함을 하나의 물체로 간주하고, 이를 유발하는 내부 유닛을 검출하고 제거하여 결함을 수리했다. GAN 내부 유닛(뉴런)이 생성결과에 존재하는 물체(나무, 선글라스 등)에 대한 정보를 표현하고 있다고 여겼기 때문”이라고 설명했다.
이어 “결함을 몇 개의 물체로 표현하는 것은 모델에서 발생할 수 있는 모든 결함을 포함할 수 없다는 단점이 있다”고 말했다.
최 교수는 자신의 전문분야인 설명가능 AI를 활용해 새로운 생성모델 오류 수정 방식을 고안했다. 설명가능 AI를 적용함으로써 딥러닝 모델 내 어디에 결함이 위치하는지, 어떤 유닛이 결함의 생성에 관여하는지 파악할 수 있게 됐다.
시각적 결함에 대한 상위 수준(high-level)의 특징을 추출하기 위해 연구팀은 정상 생성 이미지와 결함이 있는 이미지를 이용해 신경만 기반 분류기 학습을 진행했다. 분류기에 설명가능 AI 방법 중 하나인 GradCAM을 적용해 결함 부분을 마스크로 변환했다.
이후 결함 마스크와 생성기 내부 유닛에 대한 공통 영역(Intersection over Union, IoU)을 계산해 오류를 유발하는 내부 유닛을 계층 별로 검출했다. 연구팀은 해당 유닛 활성화하지 못하는 방식으로 생성모델 오류를 수리하는데 성공했다.
◆기존 MIT 기술 능가, CVPR 2021서 발표...“이루다도 개선 가능”
최재식 교수 연구팀은 전통적인 구조를 가지는 ‘진행형 생성모델(Progressive GAN, PGGAN)’에서 개발 기술이 효과적으로 생성 오류를 수리할 수 있음을 확인했다.
최 교수팀이 개발한 기술은 MIT가 개발한 기존 오류 생성 수리 기술보다 FID(Fr´echet Inception Distance) 점수가 10점 낮게 나타났다. FID 점수는 실제 이미지 그룹과 생성 이미지 그룹의 유사도를 측정하는 지표다. 값이 작을수록 생성 이미지의 형태가 실제 이미지와 유사함을 의미한다.
사용자 평가에서는 시험 이미지 그룹의 약 50%에서 결함이 제거됐고 약 90%에서 품질이 개선됐다는 결과를 얻었다. 특이 구조를 가지는 StyleGAN2와 U-net GAN에서도 생성 오류 수리가 가능해진 것 또한 큰 성과다.
개발 기술 성과에 대해 최재식 교수는 “기존 MIT 기술은 사람이 손으로 오류를 직접 수정해야 했다. 이외 다른 기술에서 자동으로 가능했지만 세밀하지는 못했다. 이번 연구에서는 문제를 발생하는 뉴런을 정확하게 찾아 문제를 개선할 수 있었다”고 설명했다.
해당 성과는 국제적인 인정을 받아 지난주 진행된 대표적인 컴퓨터비전 분야 국제학술대회 CVPR 2021서 소개됐다.
최재식 교수팀이 개발한 이번 기술은 주로 이미지 생성모델에서 효과를 입증했으며, 향후 언어 생성모델에 적용될 예정이다.
최 교수는 “이루다와 같은 언어 생성모델에도 적용해 문제가 생기는 상황을 개선할 수 있을 것으로 예상한다. 딥러닝 생성모델의 신뢰도를 향상하면 중요한 작업에도 적용할 것으로 기대한다”고 전했다.
AI타임스 박성은 기자 sage@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com