최근 인공지능(AI) 기술이 빠르게 발전하면서 과거에는 볼 수 없었던 성과들이 쏟아지고 있다. 특히 글이나 이미지, 동영상 그리고 프로그래밍 코드까지 만들어내는 생성 AI는 많은 분야에서 혁신을 이끌고 있다.
이런 AI 기술의 발전 경향을 이해하는데 요긴한 핵심 개념들을 영국의 가디언이 정리해 1일(현지시간) 소개했다. 신경망과 대형언어모델(LLM), 생성적 적대 신경망(GAN), 컴퓨팅, 블랙박스, 미세조정, 정렬의 7개 개념이다.
신경망(Neural Network)
AI 붐의 핵심에 있는 기본 기술이다. 1차 산업혁명의 증기 엔진과도 같이 다양한 산업을 바꿀수 있는 범용 기술이다. 1940년대에 처음 고안된 신경망은 동물의 뇌를 인공적으로 모방하려는 노력에서 비롯됐다.
동물의 신경망은 각기 다른 몇 개의 뉴런에 연결된 수백만 개의 단순 뉴런으로 구성된다. 각각의 개별 뉴런은 매우 단순하지만 대량으로 결합하면 질적으로 다른 일을 할 수 있고 복잡한 작업을 수행하는 방법을 배울 수 있다.
인공 신경망도 같은 구조다. 단 여기서 뉴런은 물리적 방식이 아니라 알고리즘으로 연결된다. 증기기관 처럼 신경망도 발명의 진정한 힘을 이해하는데 수십 년이 걸렸다. 신경망은 엄청난 컴퓨팅 성능과 대량의 데이터로만 작동되므로 지난 70년 동안 대부분 호기심의 대상이기만 했다. 그러나 2천년대 들어 상황이 바꼈다.
LLM(Large Language Model)
대형언어모델은 GAN과 함께 AI분야에서 최근 폭발적인 발전을 이끈 신경망이다. 오픈AI의 GPT 시리즈, 구글의 팜(PaLM) 또는 메타의 라마(LLaMa) 등이 LLM으로 방대한 텍스트 데이터를 사용해 훈련된다.
LLM은 고품질의 웹 문서, 책, 위키피디아의 기사들, 블로그 글과 깃허브의 오픈소스 코드 등 공개된 데이터를 활용해 학습한다. 이를 토대로 텍스트가 주어지면 다음에 어떤 텍스트가 올지를 확률적으로 예측해 내고 그 결과 더 긴 텍스트가 생성되면 또 다시 다음 텍스트를 예측하는 과정을 되풀이한다.
이렇게 하면 전체 문장과 단락, 기사 또는 책을 생성하는 결과를 만들어낼 수 있다. 언어모델의 클수록 즉 매개 변수가 많을수록 더 좋은 성과를 낸다. 매개변수 1750억개인 GPT-3는 GPT-1 보다 1500배 더 크고 성능도 더 뛰어나다.
GAN(Generative Adversarial Network)
생성적 적대 신경망은 이미지나 동영상, 음성의 생성에 쓰인다. GAN은 생성 모델과 판별 모델의 두 개 신경망으로 구성된다. 사실적인 사진을 만들어 내는 AI를 구축하는 경우를 예로 들어보자.
우선 판별 모델에게 무수한 사진들을 학습시킨다. 판별 모델은 이를 통해 특정 사진에 ‘개’라거나 ‘고양이’라는 레이블을 붙일 수 있도록 한다. 다음으로 생성 모델이 개나 고양이와 비슷한 이미지를 생성해 판별 모델을 속이도록 한다.
판별 모델은 생성 모델이 생성한 이미지가 가짜라는 것을 식별하면 레이블을 붙이지 않게 되고 생성 모델은 이 결과를 학습해 더 비슷한 이미지를 다시 생성한다. 이처럼 두 모델은 적대적(또는 대립적)으로 경쟁을 하면서 각기 성능이 향상된다.
그 결과 나중에는 실제와 구별하기 어려운 사실적인 개나 고양이의 이미지가 생성될 수 있다. 음성이나 동영상 그리고 3D 이미지도 같은 방식으로 만들어 낼 수 있다.
컴퓨팅
대형 AI 모델을 훈련하기 위해서는 그만큼 컴퓨팅 성능도 크고 강력해야 하기 때문에 여기에 비용이 많이 든다. GPT-3를 개발하는데는 1000만달러(약 131억원) 정도가 든 것으로 알려져 있다.
챗GPT를 개발한 오픈AI는 2018년에 이미 AI 훈련에 들어가는 컴퓨팅의 규모가 3개월 반마다 배로 증가한다고 밝혔다. 비영리 기업으로 출발한 오픈AI가 결국 마이크로소프트의 후원을 받게 된 배경이다.
LLM 같은 대형 AI도구는 이런 컴퓨팅 능력의 한계 때문에 기술대기업이 아니면 손을 대기 어려운 실정이다.
블랙 박스
신경망은 종종 블랙 박스로 묘사된다. 신경망이 가진 매개 변수가 많아질수록 입력과 출력 사이에 있는 작업 과정이 어떻게 진행되는지 파악하기 어려워진다.
인공 신경망의 각 매개변수는 한 뉴런이 다른 뉴런에 어떤 영향을 미치는지 설명할 수 있지만 이런 변수가 1000억개나 5000억개 라면 사실상 파악이 불가능해지기 때문이다. 사실 이런 대규모 신경망이라면 작동되는 구조 자체가 미스터리다.
미세조정(Fine tuning)
GPT 시리즈와 같은 대형 AI는 범용성이 뛰어난 기초(foundational) 모델이기 때문에 특정한 AI도구 개발에 쓸 때 이용할 수 있다. 이때 미세조정이 필요하다.
예를 들어 좋은 과학 기사를 쓸 수 있는 AI를 개발한다면 언어모델을 처음부터 개발할 필요가 없다. GPT 같은 기초 모델에 과학 기사와 관련된 특정 데이터를 학습시켜 적은 비용으로 매우 특화된 기술을 가진 모델을 개발할 수 있다.
하지만 이 미세조정 과정에서 개발자는 어려움을 겪을 수 있다. 개발자로서는 GTP가 당초 훈련받은 데이터셋을 모르기 때문에 본인 의도와 맞지 않는 결과가 나올 경우 원인을 알 수 없는 상황을 겪을 수 있다.
정렬(Alignment)
AI 시스템을 설계자가 의도한 목표나 관심사에 맞게 조정하는 것을 의미한다. 잘 정렬된 AI는 의도된 목표를 달성하지만 정렬이 잘 되지 못한 AI는 오작동이나 피해를 초래할 수 있다. 이런 경우는 훈련 데이터가 잘못됐을 때 나타난다.
정렬의 개념은 AI가 인간의 가치를 따르도록 한다는 의미로도 사용된다. 인간을 능가할 만큼 고도로 발전한 AI가 출현하는 경우 인간의 가치를 따르도록 정렬돼 있지 않다면 대재앙을 부를 것이라고 우려하는 과학자들이 상당수 있다.
정병일 위원 jbi@aitimes.com
