[AI의 역사] 80 검색엔진 회사가 AI 회사가 되기까지 – 앤드류 응과 브레인 프로젝트의 발전

앤드류 응의 마빈 프로젝트를 시작으로 제프 딘이 합류하며 브레인 프로젝트로 확대된 연구는 첫 결과물로 '고양이 인식' 논문을 공개했고, 이는 구글이 본격적으로 인공지능(AI) 기업으로 발전한 계기가 됐다. 

그러나 고양이 논문이 구글에서의 첫 AI 연구는 아니었다. 구글의 핵심 기술인 검색엔진 자체는 머신러닝 같은 AI 기술은 아니었지만, 대규모 데이터 속에서 패턴과 관계를 찾아낸다는 AI의 기본 원칙을 담고 있었다. 이후 검색어 자동 완성이나 번역 기능에 통계 기반의 머신러닝 기술을 적용했고, 지메일과 광고 그리고 음성지원 비서 서비스에 로지스틱 회귀, 결정트리, 서포터벡터머신, 부스팅 등의 앙상블과 같은 다양한 머신러닝 기술을 활용했다. 또 이미지 검색 기능에서 사용한 AI 기술도 주로 앙상블 기반의 머신러닝 기법으로, 신경망이 본격적으로 활용된 사례는 없었다.

최근 자율주행차 기술은 신경망 기술과 뗄 수 없는 관계가 되었지만, 구글은 자율주행차 개발을 시작하던 2009년부터 수년 동안 신경망을 활용하지는 않았다. 센서 데이터 처리에 나이브 베이즈와 같은 통계 기반의 머신러닝이 활용됐고, 신호등이나 표지판을 인식하는 이미지 인식에도 서포트벡터머신 같은 기존의 머신러닝이 활용됐다. 

2010년 제프리 힌튼의 제자가 원격 인턴십 중 신경망을 사용한 음성인식 시스템을 구축해 기존 시스템보다 나은 성능을 시연했지만, 다른 기술적 문제로 아직 본격 적용은 이뤄지지 않았다. 2011년에 시작된 구글의 초기 신경망인 디스트빌리프(DistBelief)는 브레인 프로젝트의 하나로 구축된 시스템이었다. 구글의 첫 본격적인 신경망 프로젝트였던 고양이 인식 실험이 마무리되고 응과 딘의 프로젝트로 시작된 브레인이 연구조직으로 바뀌어 가고 있을 때, 앤드류 응은 구글을 떠나기로 했다. 그에게는 또 다른 중요한 프로젝트가 있었기 때문이었다. 

영국에서 태어난 앤드류 응(Andrew Yan-Tak Ng, 吳恩達)의 부모님은 홍콩 출신으로, 어릴 때 홍콩과 싱가포르에서 자랐다. 의사인 아버지의 영향을 받아 12살부터 AI에 대해 배우고, 16살 때 신경망에 관한 논문 작성에 참여했다. 카네기멜론대학교에서는 컴퓨터과학, 통계학, 경제학의 세 과목을 복수 전공하면서도 우수한 성적을 거뒀는데, MIT와 버클리에서 석박사 학위를 받은 후 스탠포드대학교 교수가 됐다. 

2008년에는 학계에서 처음으로 딥러닝에 GPU를 사용할 것을 주장했다. 2010년 말부터는 구글X의 컨설턴트로 합류해 딥러닝을 연구하다, 2011년 제프 딘과 구글 브레인 프로젝트를 시작했다. 2014년부터는 바이두의 실리콘 밸리 AI 연구소를 맡았다가, 2018년에는 AI 스타트업을 지원하기 위한 AI 펀드를 공개했다. 2024년에는 아마존의 이사진에도 합류했다. 교육에 관심이 많았던 그는 2008년 스탠포드대 교육 과정 일부를 무료로 공개하는 프로젝트를 진행했고, 2012년에는 세계 최대의 온라인 교육 기관인 코세라(Coursera)를 공동 설립했다.

박사학위 논문 주제로 강화 학습(RL)을 채택했던 응은 원래 신경망을 연구한 학자는 아니었다. 스탠포드대 교수로 임용된 초기의 연구도 RL을 활용한 자율비행 헬리콥터였고, 강의 주제도 주로 빅데이터, 데이터 마이닝 그리고 머신러닝이었다. 그러던 중 신경망의 발전 흐름을 지켜보다 연구 분야를 머신러닝에서 신경망으로 바꿨다. 

딥러닝으로 이미지 인식과 기계 번역을 하겠다는 연구 제안서가 구글에 받아들여지며 구글X에서 연구할 수 있게 됐는데, 이때 제프 딘을 만나고 브레인 프로젝트를 진행할 수 있었다. 머신러닝, 딥러닝, 자연어 처리 분야에 대한 많은 연구를 해 온 응은 현재 제프리 힌튼, 얀 르쿤, 요수하 벤지오와 함께 딥러닝을 대표하는 4인으로 꼽히는 등 영향력을 발휘하고 있다.

딘과 응의 브레인 프로젝트로 시작해 2012년 구글의 딥러닝 연구성과를 처음 알린 고양이 논문의 인식 시스템은 당시의 최신 이미지 인식 프로그램보다 훨씬 뛰어난 것은 아니었다. 하지만 대규모 컴퓨팅을 이용한 비지도 학습으로 신경망 연구의 한단계 뛰어난 가능성을 충분히 보여주며 대중과 연구계의 관심을 끌었다. 또 그해 9월에는 신경망을 이용한 알렉스넷이 압도적인 차이로 이미지 인식대회에서 우승하며, 두 사건은 딥러닝 시대를 열어준 마중물 역할을 했다.

구글 사내 프로젝트 중 하나로 시작된 브레인은 구글X 내에서 가장 성공한 프로젝트 중 하나다. 구글X 수장이었던 아스트로 텔러는 2015년의 인터뷰에서 브레인은 구글X의 총비용을 상쇄하고도 남을 정도의 가치를 창출하고 있다고 밝혔다. 

브레인 프로그램의 하나로 2013년에는 DNN리서치(DNNResearch)를 인수해 제프리 힌튼 교수와 일리야 수츠케버, 알렉스 크리체브스키를 영입했으며, 2014년에는 영국의 AI 개발 스타트업 딥마인드(DeepMind)를 인수했다. 이후에도 젯팩(JetPac), 다크블루랩스(Dark Blue Labs), 비전팩토리(Vision Factory) 등 다수의 AI 관련 스타트업을 꾸준히 인수했다. 이런 인수와 내부의 인재 양성을 통해 구글은 AI 및 머신러닝 분야에서 최고의 위치를 차지할 수 있었으며, AI 연구계의 최고 인재들을 흡수해 나갔다. 전 세계 대학의 대표적인 AI 교과서인 ‘인공지능: 현대적 접근방식’의 저자인 피터 노르빅(Peter Norvig)은 구글이 머신러닝 분야에서 세계 최고의 전문가를 5% 이상 보유하고 있다고 추정했다. 

구글X 연구소 산하에서 시작된 구글 브레인은 2014년 구글로 합쳐졌고, 2018년에는 구글의 검색 연구팀과 분리돼 구글 AI의 딥러닝 전문 연구팀이 됐다. 2023년에는 구글의 자매 회사인 딥마인드에 합병되는 등 조직 변화가 많았다. 하지만 그동안 계속 모기업인 알파벳과 자율주행차 자회사 웨이모(Waymo)를 포함한, 구글 그룹 전체에 큰 영향을 주는 AI 연구팀이었다. 

고양이 인식 연구 이후 대규모 분산학습 프레임워크인 디스트빌리프를 개발했고, 텐서플로우(TensorFlow)와 AI 가속 전용 칩인 TPU를 개발했다. 또 자연어 처리의 혁명을 일으킨 Word2Vec과 Seq2Seq, 2014년과 2016의 이미지 인식 대회에서 우승한 구글넷(GoogLeNet) 등의 알고리즘을 개발했으며, '챗GPT' 등 최근의 생성 AI의 기반이 되는 트랜스포머(Transformer)도 여기서 개발됐다. 이런 기술 개발은 구글 포토의 사진 검색, 구글 번역의 정확성 향상, 유튜브 영상 추천, 안드로이드의 음성 인식, 이미지 해상도 향상과 같은 구글 그룹 내 중요 프로젝트에 크게 기여했다.

2016년 순다르 피차이(Sundar Pichai) 구글 CEO가 장기적으로는 기기가 사라지고 컴퓨팅이 모바일 우선에서 “인공지능 우선(AI First)”으로 진화할 것이라고 말하며 AI 중심으로 구글의 제품, 인력 그리고 자본을 재정렬한 배경과 자신감에는 브레인으로부터 발전해 온 구글의 AI에 대한 기술력이 있었다. 이런 기술력을 바탕으로 구글은 검색, 광고, 모바일, 클라우드 모든 영역에서 AI의 혁신을 일으켜왔고, 이는 구글을 검색 엔진의 강자에서 누구도 부정할 수 없는 AI 제국으로 거듭나게 해줬다.

한편, 브레인 프로젝트의 시작을 이끌었던 응은 고양이 논문이 공개된 2012년 구글을 떠났다. 브레인 프로젝트를 진행하며 컴퓨터과학과의 동료 교수인 다프네 콜러(Daphne Koller)와 다른 모험을 준비했는데, 대규모 온라인 교육 기관인 코세라의 설립이었다. 당시 브레인 프로젝트의 가능성을 본 구글과 딘이 인원을 충원하고 본격적으로 연구팀을 구성하려는 시기였으므로 응에게 구글에 남아 주기를 요청했지만, 응은 대신 제프리 힌튼을 영입할 것을 조언했다. 

이미 64세로 종신 교수였던 제프리 힌튼은 여름 동안만 연구소에 도움을 주기로 하고 제자들과 함께 구글을 찾았다. 길지 않은 기간이었지만, 이때의 방문은 힌튼과 구글에 모두 중요한 힌트를 제공하는 계기가 되었다. 구글로서는 AI 프로젝트를 위해는 힌튼 팀의 도움이 꼭 필요하다는 것을 확인하는 계기가 돼, 이듬해 힌튼과 제자들이 설립한 DNN리서치를 인수하게 됐다. 

학계에만 있었던 힌튼에게는 스타트업 설립과 인수에 대한 생각을 확장해 주는 계기가 됐으며, 구글의 고양이 인식 실험과 완전히 다른 접근 방식의 신경망 시스템을 공개하는 계기가 됐다. 

문병성 싸이텍 이사 moonux@gmail.com