훼손된 영상 복원 ‘디블러링’ 기술 개발해 어도비에 이전
ACM 시그래프·CVPR 등 우수 학술대회서 매년 논문 채택
3D 스캐닝·얼굴 모델링 등 가상세계에 접목하는 연구 진행
편집자 주
AI 연구ㆍ개발은 AI 핵심(AI 아키텍처)과 응용(X+AI)으로 대별하기도 하고, 컴퓨터 비전과 자연어 처리 등으로 구분하기도 한다. 또, 의료분야나 유통분야 등 AI 접목 산업별로 나누기도 한다. 같은 AI대학(원)에 속하더라도 개별 연구실이 어떤 주제를 어떤 방식으로 접근할 것인지는 천차만별이다.
AI타임스는 각 연구실에서 어떤 연구 주제를 어떤 방식으로 접근하고 있는지 한 걸음 더 가까이 다가가 살펴보기로 했다. 프로젝트별 세부 현황을 공개, 공유함으로써 AI 연구 기반 구축과 활성화를 기대하면서...
◇특별취재팀=팀장 권영민, 박혜섭ㆍ박유빈ㆍ정윤아ㆍ박성은 기자
이승용·조성현 교수가 이끄는 포항공대(포스텍) AI대학원 내 그래픽스랩은 25년의 역사를 자랑한다. 지난 2014년 이들이 개발한 영상 복원 기술 ‘디블러링(deblurring)’은 미국 어도비에 채택돼 현재까지도 수많은 유저들이 사용해오고 있다. 이승용 교수의 부임과 함께 시작된 그래픽스랩은 최근 3D 영상 콘텐츠나 자율주행차·메타버스 가상공간이 대세로 떠오르면서 연구 범위도 더욱 넓어졌다.
그래픽스랩에서 학위를 취득하고, 국내외 다양한 기업 연구원을 거쳐 부임한 조성현 교수는“영상 복원이나 사진과 관련된 분야에서만큼은 국내에서 가장 좋은 연구실”이라고 자평했다. 중국의 마이크로소프트 리서치 아시아나 미국 어도비로의 인턴십 제도를 비롯해 역사적으로 가장 많은 경험과 선구자적인 역할을 해 왔다는 것이다.
타 연구실과 비교해 작은 규모이지만 학생 한 명, 한 명에게 시간을 할애해 세심한 멘토링부터 논문 지도까지 책임지고 지원한다는 포스텍 그래픽스랩의 이야기를 들어보았다.
다음은 이승용·조성현 교수와의 일문일답
◆ 먼저 그래픽스 연구실 설립을 포함한 간단한 소개 부탁드린다.
이승용 교수: 제가 포스텍에 부임한 때가 1996년 10월, 어느덧 25년 전이다. 이때부터 현 그래픽스랩이 시작됐다. 조성현 교수는 2012년 2월 우리 연구실을 졸업했고, 이후 여러 경력을 거쳐 재작년 8월에 부임했다. 박사과정 15명, 석사과정 9명 등의 연구원이 소속돼 있다.
◆ 연구 주제와 분야에 대해 소개해달라.
조성현 교수: 크게는 시각콘텐츠를 생성하는 데 초점을 맞춰 2D·3D 연구를 하고 있다. 훼손된 영상을 선명하게 복원하는 ‘디블러링’이라는 블러효과를 제거하는 기술을 개발했는데, 이를테면 어두운 밤에 찍었을 때 흔들린 부분을 제거해 선명도를 높여준다. 이외에도 영상의 색감이나 톤을 시각적으로 예뻐 보이게 바꾸는 연구도 진행 중이다. 또 주어진 영상을 편집해 새로 제작하는 연구도 함께 하고 있다.
이승용 교수: 영상 복원 연구는 저와 조 교수가 같이한다. 실제로 우리 주변에 존재하는 3차원 모델을 곧바로 컴퓨터에서 표현할 수 있게 복원하는 3D 스캐닝 연구도 있다. 요즘 메타버스가 뜨고 있는데, 우리가 생활하는 실세계 공간을 3D로 복원한다면 메타버스라는 가상공간에 그대로 옮겨놓을 수 있다. 여기에 더해 ‘인체와 얼굴 모델링’ 연구도 빼놓을 수 없다. 메타버스에서 제일 중요한 요소가 아바타이고 또 그 얼굴일 텐데, 이를 리얼한 3D로 구현하는 것이다. 결론적으로 영상과 2D·3D 콘텐츠를 다양하게 만드는 데 필요한 모든 기술을 연구하고 있다고 보시면 된다.
◆ 언급하신 연구와 관련된 산·학·연 프로젝트 소개도 부탁드린다.
이승용 교수: 그보다 기술이전 사례에 대해 말씀드리고 싶다. 조성현 교수와 제가 만든 디블러링 기술이 미국 어도비에 기술이전 돼, 현재 어도비 크리에이티브 클라우드 내 카메라 셰이크 리덕션이라는 이름으로 쓰이고 있다. 또 다른 연구원과 개발한 사진 수직 보정 기술도 있다. 스마트폰으로 사진 촬영 시 수직을 맞추기 어려운 경우가 있는데, 이를 정확하게 맞추는 기술이다. 이것도 어도비 라이트룸6에 탑재돼 사용자들로부터 큰 인기를 얻었다.
◆ 현재 연구 중인 연구주제와 과제 등에 대해서도 말씀해달라.
이승용 교수: 디블러링을 꾸준히 연구하고 있다. 최근에는 캐리커처를 딥러닝으로 자동생성하는 연구를 중국 마이크로소프트 리서치 아시아와 공동으로 진행했는데 즐거운 작업이었다. 또 제가 하고 싶은 연구는 스마트폰에 장착된 다중 카메라로 찍은 사진이나 영상을 활용해 새로운 영상 콘텐츠를 만드는 방법이다.
조성현 교수: 저는 주로 영상복원과 편집에 관심이 많다. 여러 학자가 인공신경망을 통해 영상 속 노이즈나 블러를 제거하는 방법에 관한 연구를 실행하고 있다. 하지만 이보다는 먼저 올바른 학습데이터가 필수다. 그래서 저는 실제 환경에 적용했을 때 영상 잡음 제거 알고리즘이나 블러 제거 알고리즘이 좋은 성능을 내는 기반이 되는 학습데이터셋을 연구 중이다. 또 하나는 GAN(생성적 적대 신경망) 기술을 어떻게 하면 영상에 접목할 수 있을지에 관한 것이다. 현 기술로 영상은 자유롭게 생성할 수 있지만, 기존 영상에 적용하려면 한계가 존재한다.
◆ 지금까지 논문채택이나 특허 현황은 어떠한가.
이승용 교수: 매해 평균 6, 7편의 논문을 해외 유명 학술대회에서 발표하고 있다. 또 자랑하고 싶은 게, 우리 연구실은 ACM SIGGRAPH나 CVPR·ICCV·ECCV 등 컴퓨터 비전과 그래픽스 두 가지 분야 내 최고 학술대회에서 모두 논문을 제출하고 있다. 이 같은 성과를 내는 학교나 연구실은 국내에서는 우리 외에는 거의 없다고 자부한다.
특허 관련해서는 아까 말씀드린 어도비 기술이전이 이에 해당된다. 디블러링을 비롯한 기술을 어도비에 이전하면서 특허출원과 사용권이 포함됐었다. 이외에도 꾸준히 국내에서도 일년에 두 세 차례 특허를 내고 있다. 최근 기술이전 사례로는 특수효과 촬영 시 대형 LED 스크린을 스튜디오 벽면에 붙인 다음, 그래픽스로 제작한 배경을 실행하는 내용이다. 이 경우 기존 블루스크린 앞에서 배우가 연기한 이후 합성하는 과정 없이 한 번에 촬영이 끝난다. 우리는 이때 필요한 배경영상에 노이즈를 제거해 선명한 화질을 복원하는 텍스쳐 패턴 기술을 개발해 이전했다.
조성현 교수: 저는 지난해 곽수하 교수와 화질이 저하된 영상에서 물체인식 성능을 개선하는 방법을 공동연구해 ECCV 학회에서 발표했다. 또 국내에서는 카카오브레인과 카이스트·국민대와 한 장의 영상에서 카메라 파라미터(화각)를 찾는 연구를 공동으로 진행하고 있다. 이 연구는 ICCV 학회에서 논문이 채택돼 조만간 발표할 예정이다.
◆ 앞으로의 계획과 방향에 대해 말씀해달라.
이승용 교수: 사람들이 원하는 최상의 화질을 우리가 개발한 기술로 손쉽게 얻을 수 있길 바란다. 스마트폰으로 촬영할 때나 3D 콘텐츠를 만들 때 등 다양한 경우에도 적용된다. 굳이 전문가가 아닌 일반 대중들도 원하는 영상을 생성할 수 있는 기술을 제공하는 것이 우리 연구의 방향과 목표다.
이승용 교수
▲ 서울대학교 계산통계학 학사 (1988)
▲ KAIST 전산학 석사 (1990)
▲ KAIST 전산학 박사 (1995)
▲ City College of New York 박사후연구원 (1995.3~1996.9)
▲ POSTECH 조교수 (1996.10~2003.2)
▲ POSTECH 부교수 (2003.3~2009.2)
▲ POSTECH 교수 (2009.3~현재)
▲ 독일 MPI Informatik 방문교수 (2003.8~2004.8)
▲ 미국 어도비 리서치 방문교수 (2010.9~2011.8)
▲ 한국 컴퓨터그래픽스학회 회장 (2014.1~2015.12)
조성현 교수
▲ POSTECH 컴퓨터공학, 수학 학사 (2005)
▲ POSTECH 컴퓨터공학 박사 (2012)
▲ MS 리서치 아시아 인턴 (2006.8~2007.2)
▲ 어도비 시스템즈 인턴 (2010.7~2010.11)
▲ Adobe Research 연구원 (2012.3~2014.3)
▲ 삼성전자 책임연구원 (2014.4~2017.4)
▲ 대구경북과학기술원 조교수 (2017.4~2019.8)
▲ 포항공과대학교 조교수 (2019.8~2021.8)
▲ 포항공과대학교 부교수 (2021.9~현재)
그래픽스랩 연구원 인터뷰 - 김효민 씨
◆ 그래픽스랩을 선택한 이유와 계기에 대해 설명해달라.
우연에 우연이 겹쳐 이곳까지 오게 됐다고 말할 수 있겠다. 전역날이 얼마 남지 않았을 즈음, 국방TV에서 드론에 대한 영상을 보고 강한 영감을 받아 전역 후에 드론 자율주행 연구를 하기로 다짐했다. 마침 운이 좋게도 학부 연구실에 관련 프로젝트가 있어 연구 참여를 할 수 있었는데, 카메라의 시각 정보를 활용해 드론의 위치를 추정하는 연구였다.
카메라를 활용해 현실 세계 정보를 추정하는 연구를 하다보니, 역으로 카메라가 촬영하고 있는 대상을 깔끔하게 복원하는 연구에 관심을 가지게 됐다. 그래픽스 랩에서는 이러한 연구가 활발히 진행이 되고 있었고, 제가 연구실을 결정하는 데에 큰 요인으로 작용했다.
◆ 교내 AI 관련 랩 가운데 그래픽스랩만의 특색이 있다면 무엇인가.
우리 랩에서는 실제로 유용한, 즉 일반인들이 실생활에서 곧바로 활용할 수 있는 기술을 연구하고 있다. 실제로 포토샵에서 쓰이는 기술을 이전한 이력도 있으며, 최근에는 실제 사람의 얼굴의 캐리커처를 자동으로 만드는 기술을 연구하기도 하는 등 연구의 주제를 정하는 초기단계부터 해당 기술이 사람에게 가져다줄 이점을 중점으로 생각해 방향을 잡아가고 있다.
이러한 점은 연구하는 학생들이 스스로 문제를 발굴하는 힘을 기를 수 있게 도와주며, 자칫 지루할 수 있는 연구 속에서 지속적으로 의미를 부여해 학생들이 적극적인 연구활동을 이어갈 수 있도록 돕는다.
◆ 학생들과 교수님들 사이 소통 방식은 어떤가. 또 특별히 자랑할 만한 그래픽스 랩만의 특징이 있다면 무엇인가.
한마디로 정리하자면 체계적이며 자유롭다. 한 달에 한 번씩 개인 면담을 통해 연구 뿐만 아니라 개인 생활, 계획 등 여러 방면에 대한 소통을 하고 있으며, 이는 학생이 원한다면 언제든 약속을 잡아 시간을 마련할 수 있다.
또 일주일에 한 번씩 그룹별 미팅을 진행한다. 주제가 비슷한 학생끼리 모인 그룹에서 한 사람씩 돌아가며 짧게 발표를 한다. 이 시간을 통해 교수님과 아이디어를 공유하고 발전시키며, 자신의 아이디어를 효과적으로 제시하고 소통하는 역량을 키운다.
마지막으로 일주일에 한 번씩 연구실 전체 세미나가 있다. 이때는 한 사람이 60~90분 가량 두 명씩 자신의 연구에 대한 총체적인 발표를 진행하는데, 교수님과 전반적인 연구 흐름을 가다듬는다. 특히 이 발표를 통해 자신의 분야를 잘 모르는 사람들에게 해당 연구를 정확하고 명료하게 설명하는 연습을 할 수 있다.
이외 특별히 자랑할 만한 특징은 연구실의 크고 작은 결정들을 매우 민주적인 절차를 통해 정한다는 것이다. 예를 들면 방학 기간이 그렇다. 우리는 학생들의 투표로 방학 기간을 하계 2주, 동계 1주로 날짜까지 정한다. 아마 국내 대학원 전체를 찾아봐도 우리 연구실 같은 경우는 없을 거라고 생각한다.
◆ 기억에 남는 에피소드가 있다면.
저는 학생들끼리 긴밀히 소통해 자발적으로 연구를 하는 것이 연구실에서 경험할 수 있는 중요한 점 중에 하나라고 생각한다. 지금은 졸업한 선배 A가 졸업해야 할 시기에 연구 진행이 더뎌 어려움을 겪고 있었다.
그때 다른 선배들이 개인연구를 뒤로하고 선배 A를 적극적으로 도와 연구성과를 단기간에 냈었던 기억이 난다. 덕분에 선배 A는 제 시기에 졸업할 수 있었고, 연구실 학생 간의 유대관계를 다시 한번 확인하는 기회가 됐다.
◆ 학위 취득 후 앞으로의 계획이 있다면.
저는 최근 현실 세계의 물체를 컴퓨터 내에서 그대로 복원하는 분야에 대해 연구를 진행하고 있다. 최근 메타버스에 대한 관심이 많아지고 있어 제 연구에 관련된 수요가 있을 것이라 생각한다. 이에 비전을 공유할 수 있는 사람들과 함께 세상에 도움을 줄 수 있는 놀라운 기술들을 개발하고 싶다.
AI타임스 박혜섭 기자 phs@aitimes.com
[관련기사] [기획연재]⑤ 최고의 인재를 키운다…포항공대 서영주 AI대학원장
[관련기사] [AI LAB 탐방] 비전&학습 연구실: 서울대 김건희 교수, "초거대 AI 다음 과제인 멀티모달, 우리가 담당"
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com