GPT-3보다 더 똑똑한 AI가 온다
상태바
GPT-3보다 더 똑똑한 AI가 온다
  • 입력 2020-08-12 18:23
  • 댓글 0
이 기사를 공유합니다

GPT-3, 사소한 질문 답하고 일관성 있는 텍스트 작성하고 간단한 SW 설계
난해한 법률용어 해석과 게이머별 다른 시나리오 게임개발 상용화 준비중

뉴로-심볼릭, GPT-3 장점인 연속 단어 예측능력에 추론과 상식능력 추가
인간이 지식·규칙 암호화 입력···사용니즈 이해에 기초한 반응 전산업 영향

‘딥러닝은 이해할 수 없는 식으로 결론 이르는 블랙박스’라는 비판 피한다

새로운 언어 AI모델인 오픈AI사의 GPT-3는 글을 흉내내 쓰는 능력으로 AI시대의 새로운 물결을 일으키고 있지만 여전히 상식에는 미치지 못한다. 일부 전문가들은 최근 부상하고 있는 '뉴로 심볼릭(neuro-symbolic) AI'로 불리는 새로운 기술이 해답이라고 생각한다.

월스트리트저널은 11일(현지시간) 최근 인간을 뺨치는 글짓기 실력으로 세상을 놀라게 한 GPT-3의 단점인 추론능력까지 겸비한 이른바 ‘뉴로-심볼릭(neuro-symbolic)’ AI연구에 주목했다.

GPT-3는 난해한 법률용어 해석과 게이머마다 다른 시나리오로 구성되는 게임을 만들려는 게임개발회사에 도움을 주게 될 것이며, 추론까지 겸비한 더 진전된 뉴로-심볼릭 방식의 AI는 AI음성비서가 단순한 응답을 넘어서 추론을 통해 고객 니즈에 기반한 새로운 서비스의 길을 열어주게 될 것이라고 소개했다.

세상을 놀래킨 GPT-3보다 더똑똑한 AI가 오고 있다. GPT-3에 추론능력이 덧붙여져 산업계에 적용될 경우 고객 니즈를 이해해 답을 제공하게 된다. (사진=셔터스톡)
세상을 놀래킨 GPT-3보다 더똑똑한 AI가 오고 있다. GPT-3에 추론능력이 덧붙여져 산업계에 적용될 경우 고객 니즈를 이해해 답을 제공하게 된다.
(사진=셔터스톡)

인간에 근접하는 글짓기 AI ‘GPT-3’도 부족한 상식과 추론

지난달 소프트웨어(SW) 개발자 케빈 래커는 샌프란시스코에 있는 소프트웨어(SW)업체 오픈AI가 개발한 최신 AI언어 시스템 버전인 GPT-3를 시험했다. 이 시스템은 아직 공개되지 않았지만 엄선된 연구자와 개발자에게 이 AI에 대해 피드백을 제공할 수 있도록 접근 권한을 부여한 후 기술계에 대폭발이 일어났다.

그들은 사소한 질문에 답하고, 일관성 있는 긴 텍스트 구절을 만들고, 간단한 SW 응용프로그램을 설계하고, 아침식사용 부리또를 만드는 그럴 듯한 요리법을 제공하는 이 괴상하고 전례없는 능력의 AI를 관찰했다.

인터넷 상의 약 3000억 단어로 훈련된 GPT-3는 인간의 프롬프트를 따르는 가장 그럴 듯한  단어를 예측한다. 그러나 그것을 이치에 따르는 질문을 요청하면 답을 내는데 어려움을 겪는다.

캘리포니아주 피에몬트에 있는 래커 씨는 “만약 한 상자에 두 짝의 신발이 있는데, 그 상자에 연필을 넣고, 한 개의 신발을 빼면 무엇이 남을까?”라고 입력했다. GPT-3는 “신발 한짝”이라고 잘못 답했다

이 실수는 오늘날 언어 모델의 중심에 있는 단점 중 하나를 반영한다. 그들은 연속해서 다음에 이어질 가장 가능성 높은 단어를 예측하는 데는 뛰어나지만 추론과 상식에 있어서는 부족하다.

뉴로-심볼릭 방식으로 글짓기와 추론을 동시에 잘하는 AI 만든다

앨런 AI연구소 연구책임자인 최예진 워싱턴대 컴퓨터공학과 교수는 “틀림없이 맞는 척하지만 실은 잘못된 이유로 맞춘다. GPT-3는 문제를 전혀 잘 이해하지 못한다”고 말한다.

최 교수는 GPT-3가 사용하는 딥러닝이라는 AI 기법과 상징학습이라는 또 다른 기법을 결합해 이러한 단점을 해결하고자 하는 AI 연구자 가운데 한 명이다.

뉴로-심볼릭 AI로 알려진 이 결합 접근법은 자연어 처리(NLP) 시스템이 상징을 빠르게 인지하고, 질문에 대답하기 위해 생각하고, 심지어 그들의 결정을 설명하도록 도울 수 있다.

딥러닝은 기계에 공급된 엄청난 데이터 세트를 통해 훈련함으로써 이미지나 텍스트 구문을 인식하거나 재창조하는 방법을 배우지만 설명될 수 없는 방식으로 의사 결정을 내리게 된다.

심볼릭(상징적) 학습은 기계의 결정과 논리를 명확하게 보여주지만, 그렇게 하기 위해서는 인간이 지식과 규칙을 암호화해 주어야 한다. 기계에 ‘배트’, ‘히트’같은 기호의 형태로 명시적 지식을 부여하면, 기계는 예를 들어 ‘박쥐가 공을 치면 어떻게 되는지’와 같은 시나리오에 대해 자신이 알고 있는 것을 사용해 추론할 수 있다는 생각을 반영한 방식이다.

만약 성공한다면, 뉴로심볼릭 AI는 단지 질문이 아닌 사용자의 니즈 이해에 기초해 행동토록 함으로써 음성비서에 새로운 길을 열어줄 수 있고, 좋든 나쁘든 미디어·의료·은행·제조·소매 등을 포함한 산업계에 잠재적인 영향을 미치는 세계를 파악한 영화 대본을 쓸 수도 있을 것이다.

베른 엘리엇 가트너사 부사장은 “그들은 사람들을 더 잘 이해하고 소통할 수 있기 때문에 이들을 돕는 데 훨씬 더 능숙해질 것”이라고 말했다. 마이크 데이비스 인텔 뉴로모픽(인간의 신경 구조를 모방한) 컴퓨팅 연구소 소장은 “오늘날의 AI에서 빠뜨린 것은 딥러닝 모델이 배우는 경향이 있는 통계적 상관관계의 수준을 넘어서야 한다는 것”이라고  말한다.

자연어 처리는 이미 널리 사용되고 있다. 그것은 고객 서비스 챗봇, 예측 텍스트, 소셜 미디어 감정 분석 등을 구동시킨다. 이는 또한 뉴스 요약본을 쓰거나 숫자로 된 비즈니스 데이터를 일반 영어 요약으로 번역하는 것같은 필기된 텍스트를 사람소리처럼 들리게 만드는 시스템을 뒷받침한다.

자연어 처리 기반의 건강과 환경 데이터 개요를 만드는 뉴욕의 어플라이드XL의 프랜세스코 마르코니 설립자는 “이러한 시스템들은 아직 초기 단계지만 기술 발전에 따라 향후 광고·미디어, 그리고 필름의 측면에서 완전히 새로운 분야, 창조적인 분야를 상상할 수 있을 것”이라고 말한다. 사이람 래그헤이븐 IBM 리서치 AI 부사장은 “뉴로심볼릭 AI는 ‘딥러닝은 이해할 수 없는 식으로 결론에 도달하는 블랙박스’라는 비판을 피하면서 스스로 시스템을 설명하는 능력을 향상시킬 수 있을 것”이라고 말했다.

미국에서 가장 많이 자연어 처리에 투자하는 5개 산업은 소매유통·은행·제조·의료·증권 및 투자 서비스다. IDC는 이 업계가 올해 16억 달러 규모인 이 분야 투자를 오는 2023년에는 두배 인 32억 달러로 늘릴 것으로 전망했다.

◆오픈AI, GPT-3 상업화 준비···초기 고객은 법률회사와 게임개발 업체

GPT-3를 내놓은 오픈AI는 일론 머스크 테슬라 창업자의 후원하에 지난 2015년 비영리 AI 연구회사로 출범했다. 지난해 마이크로소프트(MS)는 GPT-3를 개발하고 있는 오픈AI의 영리법인 자회사에 10억 달러를 투자했다

GPT-3는 단어를 분류하거나 텍스트 문자 열을 예측하기 위해 딥러닝을 사용하는 구글의 버트(BERT)를 포함한 AI 언어 시스템 부류의 일부다. 샘 앨트먼 오픈AI의 최고 책임자는 GPT-3가 추리 작업에 어려움을 겪고 있는데, 그 이유는 부분적으로 추리가 아닌 단어 예측에 초점을 맞추도록 설계되었기 때문이라고 말한다. 그러나 GPT-3는 이미 제한적 설득력을 가지고 있으며 이는 개선될 수 있다고 그는 말한다.

그는 “GPT-3를 그렇게 하도록 훈련시킨 게 아니라 다음 단어를 순차적으로 예측하는 과정에서 나타난 것”이라고 말한다. 그는 “우리는 딥러닝이 결국 꽤 잘 추론할 수 있을 것이라고 믿지만, 우리 앞에 많은 연구가 있고 물론 그것을 확실하게 예측할 수는 없다”고 덧붙였다.

GPT-3는 GPT-2의 후속 버전이며 예측을 개선하기 위해 조정될 수 있는 매개 변수 또는 가중치가 1750억 개에 이른다. 전작 GPT-2는 지난해 2월 발표됐으며 15억개의 매개변수 또는 가중치를 가지고 있었다. 

이 회사는 지금 이것을 상품화하려 하고 있다. 초기 고객으로는 난해한 법률 용어를 쉬운 영어로 번역하고자 하는 법률 업계, 그리고 이를 게임 시나리오를 생성해 사용자별로 다른 게임(choose-your-own-adventure)을 제공하려는 게임개발 회사가 있다.
 
샘 앨트먼 오픈AI 대표는 GPT-3를 마치 아이폰이 우버같은 회사를 탄생시킨 것처럼 새로운 비즈니스 모델을 가능케 해 줄 플랫폼으로 보고 있다.

그는 “우리는 다양한 생명체가 출현한 캠브리아기 대폭발처럼 새로운 제품과 서비스, 그리고 전체 회사들을 새롭게 이끌 이 새로운 ‘플랫폼으로서의 AI(AI-as-a-platform)’시대를 이끌어 들이기를 원한다”고 말했다. 

◆앨런 AI 연구소, “신경 모델은 이전에 못보던 사건에 대한 추리력 습득할 수 있어”

앨런 AI 연구소의 최혜진 교수는 언어를 이해하기 위해서는 세상이 어떻게 돌아가는지에 대한 지식에 바탕을 둘 필요가 있다고 믿는다. 기계에 실제 세계를 나타내는 상징(기호) 데이터베이스(물체, 시간의 경과에 따른 행동 및 관계 포함)가 있는 경우 그러한 상징과 관련된 시나리오에 대해 추론하는 방법을 배울 수 있다.

최 교수와 동료들은 시스템이 주어진 상황에서 가정할 수 있는 것에 대해 답하도록 훈련시키기 위해 약 90만 개의 수작업으로 작성된 썸네일 규칙 데이터 세트를 사용하는 뉴로-심볼릭 AI 접근법을 사용했다.

예를 들어, 누군가 성냥을 불쏘시개에 떨어뜨리는 것을 포함하는 상황에 대해, 이 시스템은 그 사람이 “불을 피우고 싶었다”거나 “라이터가 필요했다”고 추론할 수 있다.

이 단체의 연구 결과 “신경 모델은 이전에 보지 못했던 사건에 대한 단순한 상식 능력과 추리력을 습득할 수 있다”는 것을 발견했다.

최 교수는 AI 시스템이 인간의 삶의 더 큰 부분이 되면서, 생각과 추론은 AI시스템이 사람들에게 더 유용하게 쓰이도록 도울 수 있다고 말한다. 그녀는 “그들은 전화, 차 등 어디에나 있다. 그들은 또한 어리석은 실수를 하지 않기 위해서 인간을 더 잘 이해할 필요가 있다”고 말한다.

[관련기사] "GPT-3는 희망인가, 위협인가"...논란 '팽팽'

[관련기사] 오픈AI, 자연어 처리(NLP) 모델용 API 출시

기자 프로필


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
유용한 리스티클
  • [특집] 한국의 8대 인공지능대학원 총 집합
  • 코딩 필요없는 8가지 ‘노코딩’ ML 플랫폼
  • 9월 오픈하는 AI대학원 차별화 포인트는?
  • 2021년 주목할 인공지능(AI) 10대 트렌드
  • 바이두, AI 신기술 4개 공개
  • [특집] 한국의 인공지능 대학원: 울산과학기술원(UNIST)