[AI의 역사] 79 가르침 없이 스스로 고양이를 찾아낸 인공 신경망 – 브레인 프로젝트의 시작과 제프 딘

“고양이를 식별하는데 컴퓨터 몇 대가 필요한가요? 16,000”. 

2012년 6월 뉴욕 타임스의 기사 제목이다. 이때는 이미지 인식 대회 ILSVRC에서 제프리 힌튼 교수팀의 알렉스넷이 압도적인 인식 능력 차이로 우승하며 딥러닝이 AI 연구계를 충격에 빠트리기 3개월 전이었다. 그런데, 고양이 이미지를 알아보기 위해 1만6000대의 컴퓨터가 필요하다니, 당시의 컴퓨팅 파워를 고려해도 좀 과하다는 생각이 들 수 있다. 

기사 제목의 1만6000은 컴퓨터의 수로 오해되곤 하지만, 사실 1만6000대의 컴퓨터가 사용된 것은 아니었다. 당시 논문을 자세히 살펴보면, 연산 인프라로 약 1000대의 머신을 사용했고, CPU 코어가 1만6000개였다고 명시돼 있다. 당시는 개인용 PC의 인텔 CPU에도 쿼드코어를 적용하던 때였으므로, 고양이 식별 연산을 위한 컴퓨터의 수가 1만6000개는 아니었음을 짐작할 수 있다. 그렇다 하더라도, 이미지 인식을 위한 알렉스넷이 GPU 카드 2장을 추가한 개인 컴퓨터에서 학습한 것에 비하면, 거대한 컴퓨팅 인프라가 사용된 것은 사실이었다.  

그런데, 이 연구는 단순히 주어진 이미지에서 고양이를 찾아내는 프로그램 개발은 아니었다. 그것은 특정된 무엇을 식별하라는 명령이 주어지지 않은 신경망 프로그램에 유튜브 동영상을 보여주며 스스로 학습하도록 한 실험이었다. 실험에서 신경망은 스스로 학습하면서 얼굴이나 인체 같은 공통 개체나 공통 테마를 찾기도 했지만, 수많은 이미지 속에서 고양이에 대해 특별히 강하게 반응하고 인식하는 인공 뉴런을 생성했다. 신경망이 고양이 이미지를 인식한다는 것이 어떻게 보면 귀여운 아이디어이고 어떻게 보면 사소한 일 같지만, 이것은 신경망 연구에서의 획기적인 성과였다.

알렉스넷이 등장하기 이전에, 이 연구는 기존의 다른 어떤 머신러닝 방법보다 더 높은 정확도로 수많은 항목을 인식하는 정확도의 향상을 보여주기도 했지만, AI의 새로운 가능성을 제시해 준 연구이기도 했다. 프로그램은 특정된 객체를 인식하라는 명령 없이도, 많은 이미지 속에서 스스로 특정 객체의 공통된 특징을 발견하고 이를 인식하는 능력을 보여줬다. 

특히 알렉스넷과 달리, 대규모 데이터와 대규모의 컴퓨팅 파워를 활용하면 기계가 라벨이 없는 데이터 학습으로도 높은 수준의 시각 개념을 학습할 수 있다는 것을 증명한 중요한 사례이기도 했다. 이는 AI의 다양한 학습 방법 중 하나인 비지도 학습으로 특정 사물을 인식할 수 있게 된 획기적인 발전이었으며, 딥러닝에서의 큰 진전 중 하나였다.

‘고양이 논문’으로 흔히 알려진 이 연구는 당시 구글의 비밀 연구소였던 구글X에서, 선임 과학자 제프 딘과 스탠포드대학교 교수 앤드류 응이 이끈 ‘브레인(Brain)’ 프로젝트의 산출물이었다. 제프 딘(Jeffrey Dean)은 일반인들에게는 크게 알려지지 않았지만, 구글의 전설적인 프로그래머로 컴퓨터 과학자들 사이에서는 천재 개발자로 유명하다. 

“제프 딘의 키보드에는 ‘0’과 ‘1’의 두개의 자판밖에 없고 그는 이진 코드로만 프로그램을 개발하는데, 다른 프로그래머들이 이해할 수 있도록 하게 하려고 일반 프로그램 언어로 소스 코드를 재작성한다”라거나 “그가 휴가를 가면 구글 서비스가 이유 없이 멈춰버린다” “특정 자리의 피보나치 수열을 1초도 안 돼 대답하는 바람에 튜링 테스트에서 탈락했다” 등의 재미있고 과장된 농담들이 ‘제프 딘의 진실(Jeff Dean Facts)’라는 제목으로 인터넷에 떠돌아다니기도 했다. 모두 프로그래머로서의 천재성을 칭송하기 위한 것이다.

그가 고등학생일 때 미국 질병통제예방센터(CDC, Centers for Disease Control and Prevention)를 위해 개발한 역학 통계 프로그램인 ‘에피인포(Epi Info)’는 데이터 저장 방식이 바뀌고 오픈 소스가 되는 등 변화를 겪었지만, 30년 가까이 역학 조사에 사용됐다. 워싱턴대학교에서 컴퓨터과학 박사학위를 받은 뒤 PDP 시리즈 컴퓨터로 유명한 DEC에서 몇년 일하고 1999년 중반에 25번째 직원으로 구글에 입사했다. 

이후 20여년간 그는 구글 제품의 기초가 되는, 그리고 구글의 중요한 제품들 대부분의 설계에 직간접적으로 참여했다. 크롤링 및 검색 플랫폼, 애드센스(AdSense), GFS(Google File System), 맵리듀스(MapReduce), 빅테이블(BigTable), 구글 번역, 구글의 초기 신경망인 디스트빌리프(DistBelief), 최근의 텐서플로(TensorFlow)에 이르기까지 그는 구글 인프라의 상당 부분을 공동 설계하고 구현하거나 기초 개발을 담당했다. 10단계로 구분된 구글의 엔지니어 레벨에서 딘은 오랜 동료 샌제이 게마왓(Sanjay Ghemawat)과 함께 두명뿐인 ‘레벨11’ 엔지니어이자 수석 부사장이기도 하다. 2018년부터는 구글의 인공지능 개발팀, 구글 AI의 책임자가 됐다.

아침 시간에 커피머신 주위에서 연구원들과 커피를 내리고 기술적 대화를 나누거나 새로운 아이디어에 대해 토론하기를 좋아하던 딘은 2011년 초 어느 날 스탠포드대의 젊은 교수 앤드류 응을 만나서 대화를 나눌 기회가 있었다. 몇개월 전 동료 교수의 소개로 구글의 CEO인 래리 페이지를 만날 기회를 가졌던 응은 딥러닝을 활용해 이미지 인식과 기계 번역을 연구하겠다는 제안을 한 바 있었다. 

제안이 받아들여지며 구글X에서 마빈 프로젝트(Project Marvin)를 시작하긴 했지만, 검색엔진 책임자나 이미지 검색 및 동영상 검색 서비스 책임자 등 누구도 신경망에 대한 관심이 없어 곤란을 겪던 중 우연히 제프 딘을 만난 것이다. 대학 시절 신경망을 연구한 적이 있던 딘은 짧은 대화 중에서도 응의 연구가 무엇인지 바로 알아차렸고, 관심을 가지며 같이 연구해 볼 것을 제안했다. 당시 구글에서는 근무 시간의 20%를 자신이 하고 싶은 연구에 투입할 수 있게 하는 제도가 있었는데, 딘은 자신의 시간 20%를 기꺼이 응과의 신경망 연구에 투자하기로 했다.

신경과학자인 코라도(Greg Corrado)의 합류로 세 사람은 파트 타임으로 대규모 분산 컴퓨팅을 이용한 신경망 연구를 진행했는데, 인간 두뇌의 뉴런 활동을 시뮬레이션해 보려는 시도였다. 그래서 그들은 개발하던 프로그램에 구글 브레인이라는 이름을 붙였는데, 개발이 진행될수록 딘과 코라도는 프로젝트에 더욱 깊이 빠져들었고, 추가로 연구원을 고용하기도 했다. 

그렇게 앤드류 응의 마빈 프로젝트는 브레인 프로젝트로 이름이 바뀌게 됐고, 구글에 넘쳐나는 데이터를 대상으로 이미지 인식 프로그램을 구축해 나갔다. 이렇게 딘의 호기심과 파트 타임 작업으로 시작된 연구가 훗날 구글을 최고의 AI 기업 중 하나로 변화시킬 것이라고 당시에는 아무도 생각하지 못했다.

구글 최고 개발자 중 한명이었던 제프 딘의 참여는 프로젝트에 최고 수준의 기술뿐만 아니라 그의 영향력을 통한 구글의 지원금과 인프라를 확보할 수 있다는 의미였다. 그래서 2009년에 GPU를 신경망 학습에 활용하는 논문을 발표했던 앤드류 응은 브레인 프로젝트에서는 제프 딘의 제안에 따라 구글에 있던 수백, 수천대의 기계 능력을 끌어모아 문제를 해결하는 분산 컴퓨팅 방식을 적용했다. 

신경망 프로그램이 어느 정도 완성되자, 그들은 프로그램이 연결된 1만6000개의 코어에 유튜브 동영상을 올려, 3일 동안 동영상에 등장하는 공통적인 사물이나 주제를 자유롭게 감지하도록 했다. 프로그램으로 고양이를 찾는 것이 목적은 아니었지만, 실험 결과 그들은 시뮬레이션 된 일부 뉴런이 특별히 고양이 사진에만 강하게 반응하는 것을 발견하고 프로젝트의 첫 결과물로 고양이 논문을 발표했다. 

구글의 고양이 인식 연구나 3개월 뒤 ILSVRC에서 우승한 알렉스넷은 모두 이미지를 인식하는 신경망 프로그램이라는 공통점이 있다. 그러나, 시스템 구성과 작동 방법 면에서는 서로 다른 접근 방식을 취했다. 알렉스넷의 경우 객체가 무엇이라는 라벨이 포함된 이미지로 학습하는 지도 학습 방법을 택했지만, 구글의 연구는 라벨이 없는 무작위의 수많은 동영상을 통해 학습하는 비지도 학습 방식의 실험이었다. 

또 알렉스넷은 GPU를 사용한 소규모 컴퓨터에서 상대적으로 간결한 프로그램을 통해 학습했지만, 구글의 연구는 GPU를 사용하지 않고 대규모 컴퓨팅 인프라를 활용해서 초대형 신경망을 구축했다. 두 연구 모두 기존의 이미지 인식 기술보다 훨씬 높은 정확도로 객체를 인식하는 데 성공하며 신경망 연구에 대한 관심에 불을 붙였고, AI 연구의 새로운 지평선을 열어 줬다.      

문병성 싸이텍 이사 moonux@gmail.com