[AI의 역사] 76 새로운 컴퓨터 군주를 환영합니다! – 퀴즈 쇼 제퍼디와 왓슨 < 기고 < 오피니언 < 기사본문

2004년 11월 IBM의 소프트웨어 그룹 부사장인 찰스 리켈(Charles Lickel)은 뉴욕의 한 스테이크하우스에서 동료들과 식사하고 있었다. 리켈은 모든 손님이 식사를 중단하고 식당 한쪽의 바 앞으로 모여 TV에 주목하는 모습을 보며 놀랐고, 동료들에게 무슨 일인지 물었다. 그날은 켄 제닝스(Ken Jennings)가 TV 퀴즈 쇼 ‘제퍼디(Jeopardy!)’에서, 최다 기록인 74연승에 도전하는 날이었는데, 제퍼디의 열성팬이 아니었던 리켈은 그 사실을 몰랐던 것이다.

제퍼디는 1964년부터 NBC 방송에서 방영한 주간 TV 퀴즈 쇼였다. 1984년부터는 소니가 일일 프로그램으로 다시 제작, 여러 채널에 신디케이티드 프로그램으로 공급하고 있으며 현재까지 방영되는 장수 퀴즈 쇼다. 상금 금액이 다른 5개씩의 문제로 구성된 6개 카테고리의 문제가 제시되면 세명의 참가자가 버저를 먼저 눌러 문제를 푸는데, 정답을 맞면 선택 문제의 상금을 받고 틀리면 그 금액만큼 감액이 된다. 또 획득한 상금을 걸고 문제를 풀어야 하는 경우도 있어 베팅에 대한 전략도 필요하다.

전체 3라운드인데, 최종 1등을 한 사람만이 자신의 성적에 해당하는 금액을 상금으로 받는다. 퀴즈는 지문 형태의 단서로 제공되며, 참가자는 그것 또는 그것이 무엇인지 자연스러운 대화로 대답해야 한다. 예를 들어 “영국계 캐나다인이고, 딥 뉴럴 네트워크를 개발했습니다. 그는 딥러닝의 대부라고도 불립니다”라는 지문에 대해 참가자는“그는 제프리 힌튼입니다”라고 답하는 식이다. 켄 제닝스는 제퍼디에서 74연승으로 최다 연승 기록을 갖고 있으며, 총상금으로 437만달러를 받았는데, 2004년 정규 게임에서만 상금으로 252만달러를 받아 최고상금 기록도 갖고 있다.

IBM은 회사의 개발 역량을 총동원해 불가능에 가까운 도전을 하는 그랜드 챌린지를 정기적으로 계획했다. 1997년에 딥블루로 세계 체스 마스터를 꺾은 뒤, 2000년 중반 IBM의 임원들은 다음 그랜드 챌린지에 대한 아이디어를 모으기 시작했다. 당시 IBM 연구소 임원인 폴 혼(Paul Horn)은 튜링 테스트 형태의 시스템을 구상하며 조직원들, 특히 찰스 리켈에게 아이디어를 재촉하고 있던 중이었다.

리켈은 그날 식당에서 사람들이 열광하는 모습을 보며, 제퍼디에서 우승하는 컴퓨터에 도전하는 아이디어를 냈다. 팀원들은 물론 폴 혼으로부터도 가능하지 않을 것이라는 반대 의견에 부딪혔지만, 그는 2005년에 개발팀을 꾸리고 제퍼디에 참가하기 위한 컴퓨터 개발에 착수했다.

지식 표현과 추론으로 박사 학위를 받은 페루치(David Ferucci)가 이끄는 연구팀에서 프로젝트는 2005년부터 개발이 시작됐다. 먼저 자연어 인식과 정보 검색을 위한 병렬처리 소프트웨어 아키텍처인 ‘DeepQA’를 개발하는 작업으로 시작했다.

DeepQA는 질문이 제시되면 이를 자연어로 처리하고, 주요 특성을 파악하기 위해 질문을 분해한 다음 다양한 소스로부터 가져온 2억페이지의 정보를 바탕으로 추론 알고리즘을 사용해서 가능한 다수의 답변을 찾았다. 답변을 위한 수백개의 검증 알고리즘은 가능한 답변의 정보의 유형, 신뢰성, 관련성 여부를 포함한 다양한 요인을 바탕으로 개별 가중치를 생성했고, 다른 답변보다 더 정답에 가까운 답변을 찾을 때까지 반복하는 방식으로 학습했다.

시스템 개발 시작 후 3년이 지났지만, DeepQA는 5살짜리 아기조차 이기기 힘든 수준으로 보였다. 여기에 질문이 끝났다는 것을 인식하고 버저를 재빨리 누르는 작업과 찾아낸 정답을 말로 표현하는 음성 합성의 인간-컴퓨터 인터페이스(HCI, Human Computer Interface) 기술도 개발해야 했다. 또 시합 중에는 인터넷이나 외부 네트워크와 연결될 수 없었기에 모든 데이터를 미리 수집하고 저장해 두며, 또 저장된 데이터에 아주 빠르게 접근할 수 있는 기술의 개발도 동시에 이뤄져야 했다.

이렇게 개발된 당시의 왓슨 AI는 딥러닝과 같은 신경망이 아닌, 자연어 처리와 전문가 시스템으로부터 발전해 온 정보 검색과 지식 표현 그리고 자동화된 추론 등과 함께 머신러닝을 기반으로 구현됐다. 개발자였던 페루치도 왓슨의 목표는 자연어를 이해하고 상호작용하는 시스템을 만드는 것이며, 인간의 뇌를 모델링하기 위한 것은 아니라고 밝혔다.

왓슨은 질의응답 시스템으로 설계됐는데, 검색만으로는 제퍼디의 진행 방법을 수용하기 없었기 때문이다. 사실 야후나 구글과 같은 검색 서비스는 1990년대 후반 이미 등장했기 때문에, 단순히 퀴즈의 정답만을 찾기 위해서는 검색 서비스로 충분히 승산이 있다고 볼 수 있다. 그러나 정답을 찾기 위해서는 반드시 인간의 지능과 판단이 들어갈 수밖에 없었다.

챗GPT와 같은 최근의 대화형 AI는 가장 유력한 하나의 답변을 줄 수 있지만, 검색 서비스는 하나의 정답이 아니라 여러 개의 관련 정보, 추가 정보와 참고 자료 그리고 그 근거에 관한 내용들을 동시에 나타내 준다. 정답을 찾기 위해서 사람은 이런 자료를 종합적으로 판단해서 정답을 선별해야 한다. 그러나 퀴즈쇼에서는 인간의 도움을 받을 수 없었기에, 자연어처리와 정보 처리 및 추론을 기반으로 한 질의응답 시스템을 개발할 수밖에 없었다.

10개의 랙에 90대의 서버로 구성된 파워 750(Power 750) 컴퓨터 클러스터로 구성된 왓슨은 사이즈가 방 하나의 크기에 해당했고, 방열 및 냉각 시스템의 소음으로 인해 제퍼디 녹화장에는 들어갈 수가 없었다. 하드웨어적으로 2880개의 병렬 처리 프로세서가 사용됐고, 16테라바이트(TB)의 램을 사용했으며 하드웨어 비용으로 300만달러가 소요됐다.

이를 통해 초당 500기가바이트(GB)의 데이터, 책으로 100만권의 양을 처리할 수 있었다. 백과사전, 어휘사전 등과 기사, 문학서, 위키피디아 및 다양한 데이터베이스로부터 가져온 2억페이지 분량의 정보를 빠르게 처리하기 위해서 하드디스크가 아닌 램에 저장했다.

IBM의 창립자 토마스 왓슨의 이름을 따서 ‘왓슨(Watson)’이라고 명명된 이 시스템은, 개발이 시작된 지 5년이 지난 2011년 2월, 74회 연속 우승자 켄 제닝스와 역대 최대 상금 수상자인 브래드 루터와 함께 제퍼디에서 승부를 겨루게 됐다. 미국 도시 시카고를 묻는 말에서 캐나다 토론토를 답으로 제시하는 등 몇몇 질문에서 불안정한 모습을 보이기도 했지만, 왓슨은 방대한 지식과 인간보다 빠른 속도로 다른 출연자들을 압도했다.

최종 결과 7만7140달러의 기록으로 2만4000달러와 2만1600달러를 기록한 두사람을 멀찌감치 따돌렸는데, 상금 100만달러는 전액 자선 단체에 기부했다. 이것은 컴퓨터가 인간을 압도한 또 다른 충격적인 사례가 되었으며, 켄 제닝스는 대결이 끝난 후 “우리의 새로운 컴퓨터 군주를 환영합니다(I, for one, welcome our new computer overlords)”라고 말했다.

이 시합은 공정하지 못한 면도 있었다. 질문이 나가는 동안 왓슨의 화면에는 지구 모양 심볼이 빙글빙글 돌아가며 질문에 대해 생각하는 것처럼 보였다. 버저를 누를 때는 무언가 생각이 났다는 듯이 둥근 형상 위에 반짝이는 도형들이 표시됐지만, 사실 왓슨은 질문을 듣고 있지 않았다.

사회자가 문제를 제시할 때 왓슨에게는 문제 내용이 문자로 전송됐기 때문에, 다른 참가자들이 문제를 듣고 있는 동안 왓슨은 이미 문제 풀이를 시작할 수 있었다. 또 문제 제시가 끝났다는 신호를 받자마자 왓슨은 1000분의 1초도 안 되어 버저를 누를 수 있었는데, 이는 인간은 도저히 따라갈 수 없는 속도다.

속사정을 뒤로 하고 왓슨은 인간을 이긴 퀴즈 쇼 챔피언이 됐고, IBM은 목표로 한 마케팅 효과를 충분히 거뒀다.

딥블루는 카스파로프를 체스에서 이긴 후 더 이상 사용되지 않았고 하드웨어는 해체돼 박물관에 전시됐지만, 왓슨은 딥블루와는 다른 길을 걸었다. IBM은 왓슨의 추가 개발을 통해서 의료, 생명공학, 과학, 법률, 금융, 심지어 음식, 요리 분야 등 현실 세계의 다양한 분야에 실용화 가능성을 실험했다.

실제로 의료, 법률, 금융 등 몇몇 분야에서는 상용화 서비스를 출시했다. 소프트뱅크의 로봇 페퍼(Pepper)도 AI 처리에 왓슨을 사용했다.

문병성 싸이텍 이사 moonux@gmail.com