이경전 경희대 교수
이경전 경희대 교수

“Q: 1600년 미국의 대통령은 누구인가?”

“A: 엘리자베스 여왕 1세다.”

GPT-3는 N개의 단어 배열이 입력으로 주어지면 N+1번째 나올 가장 그럴듯한 단어를 출력하는 시스템이다.

그렇게 N+1번째의 단어가 나오면 다시 그 N+1개의 단어 배열을 입력으로 해 N+2번째의 단어를 출력하는 방법을 반복, 대답과 문장을 만드는 아주 단순한 구조를 가지고 있다.

인터넷에 존재하는 영어 문서를 다 긁어 모아 학습데이터로 하고, 이 데이터의 일부로 훈련을 시키고, 이 데이터의 일부로 성능을 테스트하여 1750억개의 파라미터를 학습시킨 딥러닝 네트워크다.

이 단순한 구조로 세상 모든 자연어 생성 행위를 해결하겠다는 근본적인 접근 방법이다.

GPT는 생성하는 사전훈련된 변환기(Generative Pretrained Transformer)의 약자이면서 일반목적기술(General Purpose Technology)이라는 중의성을 가지고 있다. 인공지능과 자연어 생성의 범용 기술을 만들겠다는 Open-AI의 야심이 느껴진다. 이 범용 기술을 계속 발전시켜, 문답처리, 작문, 상식문답, 연산, 문법 체크 등 여러 업무에 사용하겠다는 것이다.

GPT-3는 기존에 각 문제 영역을 위해 개발된 시스템들의 성과보다 낫거나 필적한 성과를 보여주었다.

사진=셔터스톡
사진=셔터스톡

예를 들어

“Q: 기린은 눈이 몇 개야?” 라고 적으면

“A: 기린은 눈이 2개야.”라는 문장을 생성한다. 신기하다.

그러나

Q: 내 발은 눈이 몇 개야?”라고 적으면

“A: 네 발은 눈이 2개야”라고 실망스럽게 답하고,

Q: 거미는 눈이 몇 개야?”라고 물으면

“A: 거미는 눈이 8개야.”라고 대답한다.

왜 8개라고 답했는지는 짐작할 만하다. 아무말 대잔치를 해도 혹시나 깊은 뜻이 있나 싶은 '시'를 쓰는 데 사용하는 것은 괜찮아도, 아직은 한계가 많음을 확인할 뿐이다.

한편, “Q: 1600년 미국의 대통령은 누구인가?”라고 적으면

A: 엘리자베스 여왕 1세이다.”라고 대답한다.

역시 왜 그렇게 이야기했는지 짐작할 만하다.

앞서 말했듯이, GPT-3는 가장 그럴듯한 다음 단어를 차례차례 생성하는 기계일 뿐이기 때문이다. 거미에 관한 문서에는 8이라는 숫자가 많이 나왔을 것이다. 또 ‘1600년’, ‘미국’, ‘대통령’이라는 단어의 조합이 있는 문서에서 많이 언급된 사람은 당시 미국을 지배한 영국의 엘리자베스 여왕 1세였을 것이기 때문이다.

사진=셔터스톡
사진=셔터스톡

GPT-3는 두자리수와 세자리수의 덧셈 뺄셈은 100%는 아니지만, 어느 정도 한다. 왜냐하면 인터넷의 많은 문서들이 그 작은 수의 덧셈 조합은 어느 문서에선가 중복되어 나타났을 수 있기 때문이다.

그러나, 네자리 이상의 연산은 오류가 많다. 왜냐하면 숫자의 크기가 너무 커서 인터넷에 존재하는 문서에서 그 두 숫자가 같이 연산의 관계에서 나올 확률이 작기 때문이다. GPT-3의 성과는 어쩌면 충분히 예측 또는 그 해석이 가능한 것이다.

과학이란, 그렇게 만든 만큼만의 성과를 낸다. 그 연결 관계가 불분명하거나 이해가 안갈 때 우리는 신비감을 느끼거나 마술로 생각한다.

GPT-3는 가장 그럴듯한 다음 단어를 생성해내는 기계이다. 그에게 이해란 없고, 성찰이란 없다. 그러한, 생성기가 우연히 이해를 나타내고 성찰을 나타낼 것으로 기대해 볼 수는 있지만, 과학은 그런 것이 아니다.

GPT-3는 설계된 대로 잘 작동하고, 설계된 대로 잘 실수하고 있다. GPT-3는 인류의 대단한 성취이다. 멋지다. 그러나 여전히 갈 길이 멀다.

글쓴이 : 올해 2월 세계인공지능학회(Association for Advancement of AI, AAAI) ‘혁신적 인공지능 응용상(Innovative Applications of AI, IAAI Award)’을 수상했다. 지난 1995년, 97년에 이은 세번째 수상. 빅데이터 및 인공지능 핵심기술과 그 응용에 관한 연구를 수행한다.

▷KAIST 경영과학과 학사, 석사, 박사 ▷서울대학교 행정대학원 행정학 석사, 박사 수료 ▷경희대학교 정교수 & 비즈니스 모델 연구소 (http://bmer.net/) 소장

 

키워드

Tags #GPT-3