[AI LAB 탐방①] MIPAL 연구실: 서울대 곽노준 교수, "전공 다양성을 바탕으로 비지도학습 연구에 매진"

AI 분야 패러다임 끊임없이 변화...문제의 본질 식별과 논리 파악이 관건
새로운 연구과제 통해 초대용량 모델 활용한 컴퓨팅 파워 확보가 과제
학부 전공 다양ㆍ현업 수행 학생 비율 높아...다양성이 MIPAL만의 특색

편집자 주

AI 연구ㆍ개발은 AI 핵심(AI 아키텍처)과 응용(X+AI)으로 대별하기도 하고, 컴퓨터 비전과 자연어 처리 등으로 구분하기도 한다. 또, 의료분야나 유통분야 등 AI 접목 산업별로 나누기도 한다. 같은 AI대학(원)에 속하더라도 개별 연구실이 어떤 주제를 어떤 방식으로 접근할 것인지는 천차만별이다.

AI타임스는 각 연구실에서 어떤 연구 주제를 어떤 방식으로 접근하고 있는지 한 걸음 더 가까이 다가가 살펴보기로 했다. 프로젝트별 세부 현황을 공개, 공유함으로써 AI 연구 기반 구축과 활성화를 기대하면서...

◇특별취재팀=팀장 권영민, 박혜섭ㆍ박유빈ㆍ정윤아 기자

컴퓨터지능 및 패턴인식 연구실(MIPAL)은 2013년 9월에 곽노준 교수가 서울대에 부임하면서 신설됐다. 현재 MIPAL에는 총 34명의 학생들이 소속되어 있으며 올 8월에 5명의 학생이 박사학위를 취득해 졸업할 예정이다. 학생들 대부분은 장기적인 연구에 초점을 맞춰 석박통합과정이나 박사과정을 밟고 있다.

연구실 규모는 상당히 큰 편이나, 회사나 정부 출연기관에서 지원을 받아 진학하거나 창업을 한 학생들도 많아 학교에 소속되어 있는 학생은 15명이다. MIPAL 연구실에서 창업한 학생 중 대표적으로 알체라를 창업해 코스닥 상장까지 추진한 황영규 대표가 있다. 또, 김대식 박사, 이상국 학생 등 5명이 2017년 설립한 V.DO는 네이버웹툰에 인수되었다. 이에 따라 연구실 내에서 네이버웹툰 AI 팀을 꾸려 연구를 수행하고 있다.

학생마다 성향이 다르기 때문에 일률적으로 연구실을

운영하기보다는 각자의 방식을 존중하려고 노력합니다.

곽노준 교수는 ‘도전’과 ‘‘자율’을 연구실 운영의 신조로 꼽으며 박사 시절 당시 지도교수였던 최종호 교수를 롤모델로 언급했다. 늘 학생들의 도전을 적극 지원하고 새로운 분야를 함께 공부하던 최종호 교수를 본받아 연구실을 이끌어가고 있다는 것. 곽 교수는 출퇴근 시간과 근무 형태에 제약을 두지 않고 스케줄링도 자율에 맡겨 학생들이 자유롭게 연구할 수 있는 환경을 조성했다고 설명했다.

다음은 곽 교수와의 일문일답이다.

◆ 연구실 개설 시기 및 배경 등에 대해 알려주세요.

저는 2007년 3월부터 2013년 8월까지 6년 반 동안 아주대학교 전자공학과에서 근무하다가 2013년 9월 서울대 융합과학기술대학원으로 이직했습니다. 컴퓨터지능 및 패턴인식 연구실은 2013년 9월에 제가 서울대에 부임하면서 신설되었습니다.

대학원 재학 중이던 1990년대 말부터 패턴인식에 매료되었고, 석박사학위 논문 모두 기계학습에서 입력으로 인가하는 특징을 어떻게 잘 뽑아낼 수 있는가에 대한 연구를 수행했습니다. 구체적으로 여러 개의 후보 입력 중 주요 특징을 기계학습 시스템에 입력하는 특징 선택 문제와 후보 입력의 선형 혹은 비선형 조합을 통해 생성된 새로운 특징을 학습시스템에 적용하는 특징 추출 문제를 연구했습니다.

아주대학교에서도 주로 주성분 분석이나 선형판별분석 등에 관한 연구를 진행했고, 이러한 알고리즘을 활용해 영상에서의 특징 추출을 연구했습니다. 2012~3년부터 시작된 딥러닝 열풍으로 연구 방향은 자연스럽게 딥러닝 쪽으로 옮겨왔고, 2014년 후반부터 관련 연구에 매진하기 시작해 현재는 제 연구실에 소속된 대부분의 학생이 딥러닝을 연구 중입니다.

◆ 컴퓨터지능 및 패턴인식 연구실의 중점/세부 AI 연구 분야는 무엇인가요?

대부분의 연구 주제는 딥러닝과 관련이 있습니다. 중점 연구 분야는 아무래도 딥러닝을 가장 활발하게 응용하는 영상 인식·물체 검출·물체 분할·자세 추정 등 전통적인 컴퓨터 비전 분야입니다. 최근에는 음성 신호 처리와 3D 포인트 클라우드(point cloud)에서의 물체 검출, BERT(Bidirectional Encoder Representations from Transformers) 등 신경망 모델을 활용한 자연어처리 응용도 연구하고 있습니다. 군이나 방산 업체에서 파견 온 학생들 몇 명은 딥러닝을 사용한 레이더 신호처리 연구를 수행 중입니다.

알고리즘 측면에서는 딥러닝 네트워크를 효율적으로 학습하는 방법에 대한 연구를 주로 하고 있습니다. 준지도학습과 자기지도학습, 도메인 적용 등을 통한 데이터 효율적인 학습 방법, 지식 증류(knowledge distillation), 네트워크 프루닝(network pruning), 모델 양자화(model quantization)를 통한 경량화된 네트워크 학습이 대표적입니다.

학생들이 관심 있고 연구하고 싶은 주제를 자유롭게 선정해 연구하도록 장려하는 것이 저희 랩의 특징입니다.

◆ 그동안 진행해온 연구 성과 및 산학연 프로젝트에 대해 알려주세요.

최근 수행한 과제는 연구재단이 지원한 '차세대 정보컴퓨팅 기술 개발사업'입니다. 2017년부터 작년까지 4년간 실시했습니다. 제목은 'Thinking Machine'으로 제가 PI(President Identity)를 맡아 서울대 전기정보공학부 최진영 교수, 융합과학기술대학원 이교구 교수와 함께 진행했습니다. 궁극적인 연구목표는 영상과 음성 등 다중 감각 간의 관계 지식을 활용한 연상 기계를 만드는 것이었습니다. 해당 과제로 저희 연구실에서만 저널 논문 2편, 국제학술대회 논문 23편을 발표하는 성과를 거두었습니다.

또 다른 과제는 LG전자와 한국정보통신연구원, 안전로봇실증센터 등과 함께 실외무인경비로봇에 사용되는 알고리즘을 연구하는 과제입니다. 정보통신기획평가원에서 지원하는 사업으로 5년이 지나 올해 마무리됩니다. 저희 연구실은 로봇 카메라에서 얻은 영상에서 물체를 빠르게 검출하는 부분을 맡아 현재 각광받는 수많은 물체 검출 알고리즘을 테스트했습니다. 경량화를 위해 많은 노력을 기울인 결과 주야 자율주행을 모두 만족하는 성능을 얻었습니다.

정부 과제는 주제에 큰 제약이 없고 유연한 편이라 적극적으로 참여하고 있습니다. 기업체와 협력하는 연구는 6개월에서 1년 단위의 단기 과제인 경우가 많기 때문에 진행 중인 연구 내용과 정확히 부합하지 않는 이상 지양하는 편입니다. 장기적인 계획을 갖고 기업과의 협동 연구를 하는 것이 바람직하다고 생각합니다.

◆ 앞으로의 연구 방향 및 계획에 대해 말씀 부탁드립니다.

현재 기계 학습 분야에서는 상당한 양의 레이블(label) 된 데이터가 필요한 지도학습에서 탈피해 레이블이 없는 데이터를 활용하는 준지도학습이나 비지도학습 방법이 주목을 받고 있습니다. 합성곱 신경망을 특징 추출기로 사용하고 그 위에 트랜스포머(transformer) 구조를 덧입혀 하위문제(downstream task)에 무관하게 잘 동작할 수 있는 AI를 구현하는 것 또한 하나의 연구 동향입니다. 저희 연구실도 이러한 추세에 발맞춰 당분간 비지도학습이나 도메인 적용, 트랜스포머 구조를 개선하는 연구를 중점으로 할 계획입니다. 네트워크 경량화에 대한 연구 또한 꾸준히 수행할 것입니다.

◆ 논문 또는 특허 현황은 어떤가요?

저희 연구실 학생들은 주요 학회에 꾸준히 논문을 제출 및 발표하고 있습니다. 학생마다 연구하는 분야가 조금씩 다르지만, 컴퓨터 비전 연구가 50%, 기계 학습 연구가 40%, 자연어처리를 포함해 이외의 AI 연구가 10% 정도 차지합니다.

톱티어(Top-Tier) 학회 논문 게재를 목표로 2018년 이후 비전 학회 CVPR 4편, ICCV 2편, ECCV 4편의 논문을 등록했습니다. 기계 학습에 관련해서는 NeurIPS 4편, AAAI 4편, ICML 1편을 실었고, 자연어처리 학회 ACL에 1편의 논문을 발표했습니다 . 최근에는 연구 분야가 더 다양해져 로봇학회인 IROS나 신호처리 학회인 ICASSP, InterSpeech 등에도 논문을 게재하고 있습니다

◆ 여러 연구 프로젝트를 진행하려면 많은 예산이 필요할 것으로 예상됩니다. 주로 연구비는 어떻게 충당하나요?

제 연구실의 절반 이상의 학생들이 회사에서 지원을 받기 때문에 제가 인건비를 챙겨야 하는 학생들은 15명 정도 됩니다. 이 학생들도 수시로 국내외 회사에서 인턴으로 근무하기에 제가 꾸준히 인건비를 챙겨야 하는 학생들은 매월 평균 10명 남짓 된다고 볼 수 있습니다. 올해 연구재단의 중견연구과제에 선정되어 연구비의 상당 부분이 해결되었고, 다른 정부 과제와 기업과제 등을 통해 인건비를 충당하고 있습니다.

또, 저희 연구 분야에서는 점차 BERT나 GPT 등 초대용량 모델들이 대세를 점하고 있어서 컴퓨팅 파워가 꼭 필요합니다. 현재 랩에서 운영 중인 서버 용량에는 한계가 있어 이 문제는 향후 새로운 연구과제를 통해 해결해야 할 것 같습니다.

◆ 컴퓨터지능 및 패턴인식 연구실만의 특색은 무엇일까요?

저희 연구실의 특색은 다양성입니다. 학부 전공도 다양할 뿐 아니라 회사에서 파견 온 학생, 회사 경험 후 다시 학교로 돌아온 학생 등 여러 경험을 갖춘 학생들이 많습니다. 모두 비슷한 전공에 똑같은 교육만을 받을 경우 편협한 시각에 빠질 위험이 있습니다. 미술과 경영학, 법 전공 등 각양각색의 학생들이 모여있다 보니 시야를 넓힐 수 있고, 서로 인생과 진로 고민 등을 진지하게 토로하고 상담받을 수 있다는 점이 장점이 아닐까 생각합니다. 현업을 수행하고 있는 학생의 비율이 높아 실제 기업에서 필요로 하는 연구에 대해 생각해볼 기회가 많음으로 좀 더 실용적인 연구 또한 가능합니다.

◆ 취업하는 학생뿐 아니라 창업을 하는 학생 수도 상당하다고요. 일반적으로 대학의 입장에서는 인력 손실을 우려해 학생 창업을 꺼리는 경향이 있다고 알려져 있는데, 제자들이 창업의 길을 선택하는 것에 대해 어떤 입장이십니까?

물론 창업을 하면 자연히 졸업이 늦어지기 때문에 일부 교수님들의 우려도 타당합니다. 다만, 연구성과라는 것은 논문뿐 아니라 다양한 면에서 평가를 받는 것입니다. 연구와 창업, 두 마리 토끼를 다 잡으면 가장 좋겠지만 하나라도 제대로 하는 것이 중요합니다. 저희 연구실을 거쳐간 학생들이 배우는 바가 있고 무엇 하나라도 자랑스럽게 이야기할 수 있다면 그걸로 충분합니다.

◆ 연구실 내에 문과 출신 학생들도 있다고요. 이공계 계열을 전공하지 않아도 인공지능 분야 연구가 가능한가요?

학부 때 수학 교육 및 훈련을 충분히 받지 못해 뛰어난 아이디어를 갖고 있음에도 현실화하기 어려워하는 학생들에 대해서는 늘 안타까움을 느낍니다. 수학적 개념을 적용해 설명하는 것이 익숙지 못하다 보니 실험 결과에 비해 논문 실적이 약간 뒤처지는 경우도 있습니다. 하지만, 기본적으로 이 분야에 관심이 많은 친구들이고 깃허브 등 오픈 소스를 통해 접근이 쉽기 때문에 캐치업이 아주 어렵지는 않습니다. 조금 모자라는 부분이 있더라도 본인의 의지만 있다면 6개월 안에 따라잡을 수 있습니다.

◆ 머지않아 ‘노코딩(No-coding)’ 시대가 도래할 것이라는 견해에 대해서 어떻게 생각하시는지요?

인공지능 분야의 패러다임은 계속 변화하고 있습니다. 본래 기계만이 이해하기 쉬운 어셈블리 언어(assembly language)로 코딩을 하다가 사람이 쓰는 말을 코드로 바꿔주는 파이썬이나 자바 등 고급 프로그래밍 언어가 등장했습니다. 코딩에서 제일 중요한 것은 논리입니다. 오류가 없고 솔루션이 있는 문제를 잘 생각해내면 코드화하는 것은 문제가 되지 않습니다. 그렇기 때문에 사실상 노코딩이 중요한 것이 아니라 문제의 본질을 잘 식별해 컴퓨터에 입력할 수 있는지가 관건입니다.

◆ 교수님 연구실에 관심이 많은 학생들에게 조언을 들려주세요.

딥러닝은 공개된 코드도 많고 약간의 프로그래밍 능력만 있다면 접근하기 쉬워서 학부 전공과 상관없이 많은 학생에게 인기가 있는 것 같습니다. 하지만, 현재 사용되는 알고리즘들이 꾸준히 주목을 받을 것으로 생각하면 오산입니다. 알고리즘은 계속 발전하고 있고 언제 어디서 새로운 기술이 나와 지금의 기술을 대체할지 모릅니다. 향후 이 분야에서 꾸준히 살아남으려면 한두 개의 응용 알고리즘을 공부하는 것보다 근본적인 기계학습 전반에 대한 이해와 기초수학 공부에 매진한 뒤 이 분야에 뛰어들 것을 추천합니다.

우리나라 학생들의 일반적인 특징이 기존의 것을 공부하고 정리하는 데는 능숙하나 응용을 어려워한다는 점입니다. 그렇기에 다른 사람들의 연구 보고서를 일일이 찾아 읽는 것보다는 중요한 논문 몇 편을 통해 개념 정도만 잡아두고 본인의 생각의 폭을 넓히는 데 더욱 힘을 쏟기를 바랍니다. 좋은 연구를 위해서는 조금이라도 남들과 달리 생각할 줄 아는 능력이 필요합니다.

또, 자기 동기부여가 가장 중요한 요소 중 하나입니다. 초반에는 누구나 열의를 쏟을 수 있지만, 시간이 지날수록 매너리즘에 빠져 나태해지기 쉽습니다. 늘 초심을 생각할 줄 아는 학생이 되었으면 좋겠습니다.

◆ 컨택은 언제 어떤 방법으로 하는 게 가장 좋을까요?

저희 연구실 연락은 제 이메일을 통하면 됩니다. 지원 기간이 정해져 있는 것은 아닙니다. 대학교 2~3학년, 심지어 1학년 학생들이 인턴을 하고 싶다고 연락해오는 경우가 있는데 대학원은 어느 정도 기초가 있는 학생들이 새로운 연구를 수행하는 곳이기에 모두 거절합니다. 3학년 말이나 4학년 재학 중, 대학원 진학을 진지하게 고민하고 있을 때 상담하는 것을 추천합니다. 학생들이 상담하는 경우는 성적표와 수강한 과목을 세밀히 검토하고 관련 질문을 하기도 합니다. 정답을 떠나서 얼마나 논리적으로 답을 하는지에 주안점을 두고 있습니다. 기업에 근무하는 분들이 지원할 경우, 본인이 수행한 프로젝트 등 사회 경험과 더불어 기초적인 개념 이해에 대해 평가합니다.

곽노준

▲ 서울대학교 전기공학부 학ㆍ석사

▲ 서울대학교 전기컴퓨터공학부 박사

▲ 일리노이 대학교 어바나-샴페인(UIUC) 방문대학원생

▲ 삼성전자 책임연구원

▲ 퀄컴 AI 리서치 객원 연구원

컴퓨터지능 및 패턴인식 연구실 연구원 인터뷰

AI타임스 특별취재팀은 MIPAL에서 석ㆍ박사 과정을 밟고 있는 이호준ㆍ박성욱ㆍ송주경 연구원과 인터뷰 시간을 가졌다. 이호준 연구원은 현재 서울대 지능정보융합학과 박사과정 2년차를 지내고 있다. 데이터가 부족한 상황에서 어떻게 효과적으로 객체를 검출할 수 있을지 연구하고 있다. 학부 시절 하드웨어를 주로 공부하던 이호준 연구원은 대학원 원서 접수 전 여름방학 때 두달 간의 인턴기간을 거친 뒤 정식 지원을 결심했다. 박사과정 3년 차에 접어든 박성욱 연구원은 2017년도 입학 당시 컴퓨터 비전과 딥러닝 연구에 주력했다. 현재는 '실제 사용 가능한 딥러닝'에 이바지하기 위해 모델 압축 분야를 연구 중이다. 석사과정 2년 차 송주경 연구원은 고려대 정치외교학과를 졸업한 뒤 인공지능 분야에 흥미를 느껴 MIPAL 연구실에 지원하게 되었다. 딥러닝 기술을 이용해 컴퓨터의 시각적 능력을 향상시키기 위한 이미지 복원ㆍ생성 등의 연구를 하고 있다.

◆ 대학 커뮤니티에 게재된 곽노준 교수님 평을 살펴보니 ‘모든 분야를 잘하시는 분’, ‘애정을 갖고 학생들을 지도하시는 분’ 등 긍정적인 코멘트가 많던데요. 실제로는 어떤가요?

대학 커뮤니티 평가 그대로입니다. 실제로 정말 바쁘신데도 도움 주실 수 있는 부분은 항상 도와주려고 노력하십니다. 저희를 포함해 연구실 내 대부분의 학생이 학자로서든 인간적으로든 존경하는 롤모델입니다. 교수님 나이가 되었을 때, 꼭 그만큼 성과를 내고 싶다는 마음가짐으로 배우고 있습니다.

◆ 인공지능을 연구하는 데 학부 전공이 큰 영향을 미치는지요?

최근 학부에 AI 학과가 신설되고 있지만 저희가 입학할 당시에는 컴퓨터 공학을 제외하고 인공지능과 직접적으로 연관이 있는 전공이 없었습니다. 모두가 동일 선상에서 시작하기 때문에 학부 시절 전공은 무관한 것 같습니다. 또, 온라인에 공개된 자료도 많은 편이고 학문 자체의 진입 장벽은 높지 않아 누구든 도전할 수 있다고 생각합니다.

◆ 연구실 구성원들 간 관계는 어떤가요? 교류가 많은 편인가요? 코로나 19로 인해 타격이 있었을 것으로 예상되는데요.

기본적으로 함께 보내는 시간이 많기 때문에 연구원들 간 관계는 매우 친밀한 편입니다. 코로나 이전에는 식사나 티타임 등 간단한 모임도 자주 가졌었는데 요즘은 오프라인상의 만남이 쉽지 않다 보니 아쉬움은 남습니다. 하지만, 화상 회의 등 온라인을 통한 교류가 활성화되면서 오히려 제약이 사라진 부분도 있고, 코로나의 영향을 크게 받고 있지는 않습니다.

◆ 기억에 남는 연구실 에피소드가 있다면요?

코로나 이전에는 종종 곽노준 교수님과 술자리를 가졌습니다. 학생들이 교수님과 굉장히 허물없는 사이라 사적인 질문을 여쭤보기도 했습니다. 교수님의 인간적인 면모를 알아갈 수 있고, 공학도로서의 고민도 나눌 수 있어 재밌고 뜻깊은 시간이었습니다. 또, 방학 때마다 스터디가 많이 열리는데, 논문을 읽고 사람들과 대화를 나누는 것만으로도 연구에 대한 욕심이 충족되는 것 같습니다. 개인적인 걱정을 해소하고 한층 성장했던 과정이라 기억에 남습니다.

◆ 향후 계획은 무엇인가요?