사카나, 재훈련 없이 실시간 미세조정 가능한 '적응형 AI' 기술 공개

대형언어모델(LLM)이 복잡한 재훈련 없이도 성능을 향상할 수 있도록 하는 '실시간 미세조정' 기술이 나왔다. 이를 통해 LLM 미세조정 및 모델 실행 비용을 획기적으로 줄일 수 있을 전망이다.

사카나 AI는 15일(현지시간) LLM을 위한 새로운 자기 적응형 머신러닝(ML) 프레임워크 '트랜스포머²(Transformer²)'에 대한 논문을 아카이브에 발표했다.

전통적인 미세조정은 LLM의 모든 매개변수를 업데이트해야 하기 때문에, 수십억개의 매개변수를 포함하는 모델에서는 비용이 많이 들고 시간이 오래 걸릴 수 있다.

따라서 이제까지는 다운스트림 작업에 맞춰 일부 매개변수만 조정해 이 문제를 해결하는 '매개변수 효율적 미세조정(PEFT)'이 주로 사용됐다. 특히 마이크로소프트(MS)에서 개발한 PEFT 기술 '로라(LoRA)'는 모델의 성능 향상에 필요한 매개변수의 일부만 업데이트해 효율성을 높인다.

하지만 로라는 성능이 다소 떨어질 수 있다는 담점도 있다. 특히 텍스트 분류나 지시 조정 작업에서는 효과적이지만, 수학적 추론이나 복잡한 사전 훈련을 요구하는 작업에서는 새로운 지식을 학습하거나 기억하는 능력이 제한된다. 또 업데이트하는 매개변수가 적어 계산 비용은 줄일 수 있지만, 과적합에 취약하고 다양한 작업에 확장하기 어려운 한계가 있다.

이를 대체할 트랜스포머²는 두 단계로 작업을 처리한다.

먼저 모델은 주어진 작업을 분석해 필요한 사항을 파악한 다음, 그에 맞게 적응해 최적의 결과를 생성한다는 설명이다. 즉 가중치의 중요한 부분만 조정, LLM이 새로운 작업에 실시간으로 빠르게 적응할 수 있게 한다.

사카나 AI는 이를 통해 트랜스포머²가 수학과 코딩, 추론, 시각적 이해 등 다양한 작업에서 기존 로라보다 효율적이고 뛰어난 성능을 보여주며, 더 적은 매개변수로도 높은 효율성과 작업 특화 능력을 제공한다고 소개했다.

LLM은 인간의 뇌처럼 가중치 행렬에 학습한 지식을 저장한다. LLM을 이해하고 이를 새로운 작업에 효과적으로 활용하려면 가중치 행렬 내부 구조를 분석해야 한다. 이때 도입한 '특이값 분해(SVD)'는 LLM에 축적된 방대한 지식을 작고 독립적이고 의미 있는 구성 요소로 나눠 분석할 수 있게 한다. 즉, SVD는 LLM 가중치 행렬에서 핵심 요소를 찾아내 이를 분석할 수 있게 도와준다.

트랜스포머²는 SVD를 활용해 LLM의 가중치 행렬을 여러 독립적인 구성 요소로 분해하고, 각 구성 요소를 z-벡터로 표현한다. 각 z-벡터는 특정 작업에 대한 전문가 역할을 하며, 모델의 동작에서 각 구성 요소가 미치는 영향을 조정한다.

예를 들어 SVD가 가중치 행렬을 다섯개의 구성 요소 [A, B, C, D, E]로 나눈다고 가정하면, 수학 작업에 대해 학습된 z-벡터는 [1, 0.8, 0, 0.3, 0.5] 등으로 표현할 수 있다. 이는 구성 요소 A는 수학 작업에 중요한 반면, C는 성능에 큰 영향을 미치지 않는다는 것을 말해 준다. 반면, 언어 이해 작업에 대해서 z-벡터가 [0.1, 0.3, 1, 0.7, 0.5]로 나타난 경우에는, C가 언어 이해 작업에서는 중요한 역할을 한다는 것을 보여준다.

이처럼 트랜스포머²는 학습 과정에서 '특이값 미세조정(SVF)' 방법을 통해 각 작업에 맞는 z-벡터 세트를 학습한다. SVF는 강화 학습(RL)을 통해 미리 정의된 작업에 대해 z-벡터를 학습하고, 이를 통해 다양한 작업에 빠르게 적응하면서 필요한 매개변수를 최소화한다.

추론 과정에서 트랜스포머²는 두 단계의 적응 전략을 사용해 작업별 z-벡터들을 결합한다. 첫번째 단계에서는 작업이나 입력에 대해 작업을 식별하고 적절한 z-벡터를 선택한다. 두번째로는 z-벡터들을 결합, 가중치를 조정하고 새로운 환경에 가장 적합한 응답을 생성한다.

벤치마크 평가에서도 뛰어난 성능을 보였다. 시각적 질문-답변 분야에서 39% 이상 성능 향상을 보였고, GSM8K 데이터셋을 사용한 수학 문제 해결에서는 약 4% 성능이 향상됐다. 프로그래밍 작업에서도 정확도 향상과 함께 도메인 특화 작업에서 좋은 성과를 보였다.

특히 SVF 방법의 효율성 덕분에 훈련 시간은 단축되고, 계산 자원의 부담이 크게 줄었다는 설명이다. 예를 들어, GSM8K 데이터셋에서 SVF는 39만개의 매개변수로 훈련을 완료한 반면, 로라는 682만개의 매개변수를 사용해야 했다.

또 트랜스포머²는 하나의 작업에 대해 전문가로 학습된 벡터를 다른 작업에 재사용하거나 결합할 수 있는 등 확장이 가능하다는 것을 입증했다.

사카나는 이런 방식을 '적응형 AI(self-adaptive AI)'라고 칭했다. 문어가 살아남기 위해 피부색을 바꾸는 것처럼, AI도 익숙하지 않은 환경에서 번창하기 위해 동적으로 가중치를 조정할 수 있다는 것이다. 즉, 학습하면서 진화하는 시스템을 보여준다는 것이다.

"우리의 연구는 AI 모델이 더 이상 정적이지 않은 미래를 제시한다"라며 "이런 시스템은 테스트-타임 컴퓨팅을 동적으로 확장하며 마주치는 작업의 복잡성에 적응, 지속적인 변화와 평생 학습이 가능한 '살아있는 지능'을 구현한다"라고 강조했다.

현재 깃허브에서 트랜스포머²의 코드를 다운로드할 수 있다.

박찬 기자 cpark@aitimes.com