비지도학습 기술 개발에 전념해 주목할만한 성과내고 있어
세계 석학들과 함께 연구개발하며 세계적 과학자로 성장 중
서울대 AI캠프에서 비대면 강의도 진행, 내년에 위스콘신대로 옮겨

[편집자 주] 4차산업혁명을 선도하는 국가로 발돋움하기 위해서는 인공지능(AI) 기술을 선진국 수준으로 끌어올리는 것은 피할 수 없는 도전적 과제다. 미국과 중국을 비롯한 강대국들의 틈바구니에서 우리의 목소리를 키워나갈 수 있는 길이기도 하다. 그 첫걸음이 인재 양성에 있다는 것은 주지의 사실이다.

때문에 해외 여러 곳에서 특히 미국 등 선진 국가에서 인공지능 전문가로 성장하고 있는 한국인 연구자들을 발굴하고 탐색하는 것은 매우 의미있는 일이다. 또, 미래의 한국 인공지능 기술 개발과 산업을 이끌어갈 인재들의 현재와 그 성과를 만나보는 건 즐거운 일이기도 하다.

사진=이용재 교수
사진=이용재 교수

“10년 전에 오늘날 컴퓨터 비전 연구가 이런 수준까지 발전하리라고는 상상도 못 했습니다. 지난 10년보다 앞으로 10년 동안 더 많은 진전이 있을 것이라고 예상합니다.”

인공지능(AI)연구의 ‘눈’이라고 불리는 컴퓨터 비전 분야는 시각적 데이터를 바탕으로 이미지와 영상을 다루는 AI분야 중에서도 관심이 매우 높은 분야이다. 제조, 의료, 자율주행차 등 많은 분야에서 중요한 기술적 기초를 제공한다. AI가 이미지와 영상을 ‘인간의 눈’처럼 다루고자 하는 목표에 예상보다 빨리 근접해가고 있는 것으로 보인다. 이용재 교수도 이런 변화를 예상하고 있는 듯하다.

미국 캘리포니아 대학 데이비스 캠퍼스(UC Davis) 컴퓨터학과 교수로 재직 중인 이용재 박사는 연구를 즐길 줄 안다. 새로운 지식을 발견하는 데 큰 기쁨을 느끼기 때문에 연구하는 것 자체를 좋아한다는 이 교수는 인간의 지도나 관리 없이(unsupervised) 이미지와 영상을 원하는 대로 다룰 수 있는 AI기술을 연구하고 개발 중이다.

이 교수는 지난해 컴퓨터 비전 분야에서 CVPR과 더불어 세계적으로 인정받는 최고 학회 중 하나인 ICCV(International Conference on Computer Vision) 2019에서 기존에 알려진 이미지 검출방식(YOLO방식)을 혁신적인 방식(YOLACT)으로 실시간 분할 처리를 가능하게 하는 논문의 공저자로 이름을 올려 학계의 관심을 받았다.

이 논문(YOLACT: Real-time Instance Segmentation)은 80회 이상 인용되었는데, 처음으로 30fps보다 빠른 속도로 인스턴스 세분화(instance segmentation)문제를 풀 수 있는 방법을 발견했기 때문이다.

CVPR2019에서는 데모 부문 의장(Demo chair)을 맡아 연구자들이 자신의 작업 내용을 가져와서 실시간으로 청중들에게 보여줄 수 있도록 지원하는 역할을 수행하기도 했다.

 

이 교수가 컴퓨터비전에 관심을 가지기 시작한 건 대학 시절 일리노이대 어바나 샴페인(UIUC)에서 4학년 때 얼굴인식 프로젝트를 하면서부터다. 이후 이 분야에서 실력을 쌓을 수 있었던 건 좋은 스승들을 만났기 때문이다.

2012년 텍사스대 오스틴에서 박사학위를 받았는데, 지도교수가 크리스틴 그라우만(Kristen Grauman)이다. 그라우만 교수는 이 분야에서 유명한 패턴 분석 및 기계 지능 (PAMI) 젊은 연구원 상을 수상한 바 있으며, IEEE 저널의 부편집장이기도 하다. 이용재 박사는 그라우만 교수 밑에서 연구의 틀을 잡을 수 있었다.

뿐만 아니라 카네기멜론대에서 박사후 연구원 생활을 하면서 이 분야 최고 교수들인 알료사 에프로스(Alyosha Efros) 교수와 마셜 허버트(Martial Herbert)교수와 같이 일하는 행운을 누렸다. 특히, 에프로스 교수는 이 분야에서 가장 저명한 상인 2016년 미국 컴퓨팅 학회가 주는 ACM상(ACM Prize in Computing)을 수상한 것으로 잘 알려져 있다. 이 두 교수와 함께 연구하면서 컴퓨터 비전 연구의 시야를 넓히고 깊게 탐구할 수 있었다.

이 교수는 인간의 손을 최소화할 수 있는 비지도학습에 오랜 시간 열정을 투여해 왔다. 그는 이미지 분류, 객체 감지, 인스턴스 분할, 행동 인식과 같은 다양한 문제에 있어 라벨이 부착된 데이터에 대한 의존이 전체 산업에서 병목 현상이 되고 있다고 본다. 인간의 최소한의 감시와 고정 데이터셋에 대한 의존을 줄이는 학습 시스템을 향해 나아가야 한다고 생각한다. 인간과 동물이 학습하는 방식과 같은 환경으로 나아가기 위해 노력해야 한다고 주장한다.

또, 앞으로는 구조화되지 않은 새로운 환경에서 적응할 수 있는 새로운 모델들이 더 요청될 것이라고 생각한다. 이러한 생각을 실제로 구현하기 위해 사용한 방법이 비디오 모션 정보를 활용하는 것이다. 이러한 방법이 새로운 건 아니지만 실제로 구현하고 퍼포먼스를 확보하는 작업은 만만치 않다.

이런 작업은 목표의식만으로는 되지 않는다. 즐기는 자만이 해나갈 수 있다. 그는 그런 자질을 가지고 있다. “뿌린 대로 거두리라”라는 영어 속담처럼 뚜벅뚜벅 자신의 연구를 즐기면서 해나갈 뿐이다. 실제로 이 교수는 CVPR 2019에 제출한 논문 제목으로 이 구절을 썼다. 2015년에는 자금지원을 받아 과수원의 과일을 자동으로 인식하는 연구를 수행했고, 2017년에는 통증을 좀처럼 드러내지 않는 말의 표정과 몸짓을 해석해서 아픈지 자동으로 인식하는 프로젝트를 맡기도 했다.

2012년에는 “자유로운 드로잉”과 관련된 공동 특허를 출원하기도 했다. 그림자 그리기(ShadowDraw) 개념으로, 사람이 그림을 그릴 때 아직 안 그린 부분을 예측하고 ‘그림자’로 보여줘서 그림을 좀 더 자연스럽게 그릴 수 있도록 도와주는 시스템이다. 박사 과정 당시 인턴십 프로젝트였다. 이렇듯 연구 관심사가 다양하다.

 

이 교수의 관심은 이미지를 새롭게 다루는 비지도학습 기술인 FineGAN과 MixNMatch기술에 초점이 맞춰져 왔다. 두 기술은 백그라운드, 객체 모양, 외형, 질감의 완화를 통해 새로운 이미지를 자동 생성하는 모델이다. 최근 관심사는 프라이버시로 향하고 있다. 정확히는 사생활을 보호하는 시각적 인식 시스템을 구현하는 것이다. 집이나 사무실에 있는 CCTV나 실시간 영상 시스템이 해킹되더라도 영상 속 사람의 행동이나 활동을 알게 되지만 그가 누구인지 알 수 없게 하는 기술이다. 그가 하는 많은 컴퓨터 비전 작업들은 디자인, 자율주행, 로봇 등 다른 영역에서 활용될 가능성이 높다. 실제로 적용되는 걸 보는 시점이 점점 다가오고 있다.

한국의 컴퓨터 비전 연구 수준이 최상위권이라고 평가하는 이 교수는 최근 서울대 AI캠프에서 비대면 강의를 맡아 진행하기도 했다. 한국에서는 어릴 때 4년 정도 살았고, 홍콩과 미국에서 학교를 다녔다. AI를 연구하는 후배들에게 인터넷 정보를 잘 활용할 것과 실제로 알고리즘을 구현해보는 경험의 중요성을 강조하기도 했다. AI연구는 돈을 많이 벌고 싶은 사람보다는 호기심이 많고, 문제 푸는 것을 좋아하고, 새로운 지식을 발견하고 싶은 사람에게 맞는 일이라고 덧붙였다. 역시 그가 걸어온 ‘즐기는 연구 경험’과 맥을 같이 하는 조언이다.

다음은 이 교수와 일문일답한 내용이다.

- UC Davis 이전에 UC Berkeley에서 박사후 과정을 하신 걸로 알고 있다. 내년에는 위스콘신으로 옮기는 걸로 보도가 됐는데요.

“예, 맞습니다. 2021년 가을학기부터 위스콘신대 컴퓨터학과(University of Wisconsin-Madison Computer Sciences) 부교수로 옮기고 현재 안식년을 크루즈(Cruise)라는 자율 주행 회사에서 보내고 있습니다.”

-석박사 과정을 텍사스 대학에 했는데요. 그 당시에 어떤 연구를 하셨는지 궁금하다.

“박사 과정 당시에는 ‘비지도 시각적 객체 카테고리 학습(Unsupervised Visual Object Category Learning)’ 이라는 주제로 연구 했습니다. 인간과 동물은 거의 아무 도움 없이 스스로 시각적 데이터에 대해 배우기 때문에 컴퓨터도 그렇게 하는 게 맞다고 생각해서 그 주제를 선택했습니다. 그 당시에는 이 토픽이 컴퓨터 비전 커뮤니티에서 관심을 많이 받지 않았는데 지금은 굉장히 주목 받는 토픽입니다.”

-공개하신 개인 홈페이지를 보면, 알료사 에프로스(Alyosha Efros)교수와 마셜 허버트(Martial Herbert)교수와 일하신 걸 행운이라고 표현했던데, 특별한 이유가 있나요?

“제가 포닥(박사후 과정) 때 같이 일을 한 교수님들인데 그 분들로부터 좋은 연구자가 되는 법을 많이 배웠고 또 컴퓨터 비전 연구를 하기에 최고 환경인 카네기멜론대(Carnegie Mellon University)에서 포닥을 할 수 있었던 게 행운이었습니다. 물론 그 전에 제가 박사 과정 때 지도 해주신 크리스튼 그라우만(Kristen Grauman) 교수님 밑에서 일하고 배운 것도 엄청난 행운이었습니다.”

-컴퓨터 비전 분야로 전공을 정한 특별한 계기가 있었나요?

“일리노이대(UIUC) 학부 4학년 때 얼굴 인식 프로젝트로 컴퓨터 비전이라는 분야에 대해 처음 알게 되었고 정말 재미있는 분야라고 생각을 해서 박사 과정을 텍사스대(UT Austin)의 크리스튼 그라우만 교수님 랩에서 하게 됐습니다.”

-요즘 관심을 가지고 계신 연구 방향은 어떤 분야인가요?

“요즘은 완화된 표현 학습, 실시간 비주얼 인식, 프라이버시 보호 비주얼 인식(disentanglement representation learning, real-time visual recognition, privacy preserving visual recognition)에 관심을 많이 갖고 있습니다. 이 토픽들은 실제 응용 애플리케이션이 많기 때문에 (예: 디자인, 자율주행, 로봇) 더더욱 관심을 갖고 있습니다.”

 

-2018년 2019년 연속으로 UC Davis에서 가르치는 학생들이 컴퓨터 공학 분야 최고 대학원생으로 수상했는데, 비결은 무엇인가요?

“우수한 학생들이 제 랩에 들어와서 저도 그 학생들한테 많이 배우고 즐겁게 연구를 같이 해서 좋은 결과가 나왔다고 생각합니다.”

-논문을 상당히 많이 쓰시고 계신데, 개인적으로 연구의 동력은 어디에서 얻고 있나요?

“새로운 지식을 발견하는 것에 큰 기쁨을 느끼기 때문에 연구 하는 것 자체를 좋아합니다.”

-개인적으로 가장 좋게 평가하는 논문이나 연구가 있다면

“딱 하나만 고르기는 어렵지만 좋아하는 논문 중 하나는 ICCV 2019에 발표한 YOLACT: Real-time Instance Segmentation 입니다. 그 이유는 처음으로 30fps 보다 빠른 속도로 instance segmentation을 풀 수 있는 방법을 발견했기 때문입니다. 그 전까지 나온 논문들과 매우 다른 방법으로 문제를 접근했는데 좋은 결과가 나왔습니다. 실시간으로 데모를 보여줄 수 있고 또 커뮤니티에서 관심을 많이 가져 주어서 이 논문을 특별히 좋아합니다.”

-특허를 보유 중인데, ‘자유롭게 그린다’는 게 어떤 내용인가요?

“새도우드로(ShadowDraw) 라는 박사 과정 당시 Microsoft Research 인턴십 때 했던 프로젝트인데 사람이 그림을 그릴 때 아직 안 그린 부분을 예측하고 ‘그림자’로 보여줘서 그림을 좀 더 자연스럽게 그릴 수 있도록 도와주는 시스템입니다.”

-기계가 말의 통증을 배울 수 있을까?(Can a Machine Learn to See Horse Pain?) 라는 공동연구가 제목이 매우 흥미를 끈다. 어떤 연구인가?

“말은 prey animal이기 때문에 아픈 것을 숨기도록 진화되어서 병이 걸렸거나 다쳤어도 사람들 앞에서 아픈 티를 안냅니다. 그래서 빨리 치료를 못 받고 죽는 경우가 많습니다. 이 프로젝트는 컴퓨터 비전 방법으로 말의 얼굴 표정과 몸짓을 해석해서 아픈지 자동으로 인식하는 프로젝트입니다.”

-컴퓨터 비전 분야에 있어서 미국 대학의 연구 개발 수준은 빠르게 발전하는 것으로 알고 있다. 어느 정도 수준이라고 단적으로 평가한다면?

“미국은 최고 수준의 연구를 수행 할 수 있는 인프라, 환경 및 인력을 보유하고 있다고 생각합니다.”

-한국의 컴퓨터비전 분야 기술 수준에 대해서는 어떻게 평가하나요?

“한국도 최근에 최상위 수준의 컴퓨터비전 연구가 활발히 이루어지는 것을 느끼게 되었습니다. 훌륭한 연구와 연구자들이 많이 나오고 있습니다.”

-향후 10년 내에 이 분야가 어느 정도까지 발전할 것으로 예상하나요?

“10년 전에 오늘 날 이런 수준으로 컴퓨터 비전 연구가 발전이 되었을 거라는 것은 상상도 못 했습니다. 그렇기 때문에 앞으로 10년 후에 구체적으로 어느 정도의 발전이 있을지는 예측하기 정말 힘듭니다. 확실한 건 의료 및 농업과 같은 더 많은 분야에 기여를 할 것이고 컴퓨터 비전에 관심을 갖고 있는 사람 수를 보고 판단했을 때 지난 10년보다 앞으로 10년 동안 더 많은 진전이 있을 것이라고 예상합니다.”

-한국의 AI 개발자들과 교류가 있는가? 혹시 있다면, 앞으로 어떤 식으로 발전해 나가길 희망하나요?

“한국에 친한 분들이 교수로도 있고 기업에도 있습니다. 현재와 같이 계속 인공지능에 투자를 많이 하고 관심을 많이 갖는다면 좋은 결과가 있을 것이라고 생각합니다.”

-미국에서 대학을 나왔는데, AI개발자가 되고 싶어 하는 한국의 후배들에게 어떤 조언을 한다면

“한국에서는 어렸을 때 4년만 살았고 나머지는 외국에서 살았습니다. 고등학교도 홍콩에서 나왔습니다. 요즘은 인터넷에 강의와 자료가 많기 때문에 스스로 배울 수 있는 기회가 많습니다. 어떤 알고리즘을 접했을 때 깊은 이해를 하고 싶다면 실제로 구현을 해 보는 것이 굉장히 중요하다고 생각합니다.”

-중2가 인공지능 개발자가 되면 돈을 많이 벌고 유명해질 수 있다고 생각한다. 학부모로서 중2 자녀의 꿈을 잘 키워주려면, 어떻게 해야 할까요?

“돈을 많이 벌고 유명해지고 싶다면 인공지능 개발자 보다는 다른 직업이 나을 것 같고, 호기심이 많고 문제 푸는 것을 좋아하고 새로운 지식을 발견하고 싶으면 인공지능 연구를 추천하고 싶습니다. 여러 가지 학문을 접해보고 여러 가지 경험이 있는 사람이 그걸 토대로 창의성 있는 좋은 연구를 할 수 있다고 생각합니다. 그렇기 때문에 중2는 아직 어린 나이여서 여러 분야를 공부 하고 접해보는 것이 더더욱 중요한 시기라고 생각을 합니다.”

-AI분야로 미국이나 해외로 유학 가고자 희망하는 분들에게 조언을 한다면

“대학원 유학을 희망한다면 학부 때 성적 관리를 잘 하고 연구실에 들어가서 교수님과 또 대학원생 선배들께 연구에 대해서 배우는 것이 매우 중요합니다. 요즘은 AI분야가 워낙 치열하기 때문에 연구 결과를 좋은 학회에 발표할 수 있다면 원하는 학교에서 입학허가를 받는데 많이 유리해질 것입니다.”

 

[AI & Tech] AI에 '로우코드' 기술 적용…"간단한 코딩으로 AI 앱 개발 가능"

[AI & Tech] 펜타곤·구글, 암 투병 퇴역 군인 위해 AI 활용

 

 

키워드 관련기사
  • "학습 비용 줄이는 최신 자기지도학습"…정희철 경북대 인공지능학과 교수
  • 컴퓨텍스 2021, 코로나19 뚫고 '오프라인' 개최하기로…"AI 알고리즘으로 온·오프 행사연동"
  • [글로벌 Lab 젊은 과학자] 구글 코로나19 예측 AI 개발한 윤진성 박사…도쿄올림픽에도 영향끼쳐