'트랜스포머' 저자들 “더 나은 아키텍처가 필요해”...GTC 패널 토론 나서

트랜스포머(Transformers) 신경망 아키텍처를 소개한 획기적인 논문 '어텐션 이즈 올 유 니드(Attention is All You Need)'의 저자들이 엔비디아의 GTC 2024에서 패널 토론에 나섰다. 이들은 트랜스포머를 뛰어넘는 연구가 등장하길 바란다고 밝혔다. 

벤처비트는 20일(현지시간) 트랜스포머 공동 저자 8명 중 7명이 이날 젠슨 황 엔비디아 CEO가 진행하는 패널토론에 참석했다고 전했다.

이에 따르면 논문 제 1저자인 아시시 바스와니 에센셜 AI 공동 창립자 겸 CEO를 비롯해 ▲노암 샤지어 캐릭터닷AI 공동 창립자이자 CEO ▲에이단 고메스 코히어 공동 창립자 겸 CEO ▲릴리언 존스 사카나 AI 공동창립자 겸 CTO ▲일리야 수츠케버 니어 프로토콜 공동 창립자 ▲제이콥 우스코레이트 인셉티브 공동 창립자 겸 CEO ▲루카스 카이저 오픈AI의 기술 담당 등이 참석했다. 에센셜 AI의 공동 창업자인 니키 파마르는 참석하지 못했다.

트랜스포머 논문으로 알려진 '어텐션 이즈 올 유 니드'는 2017년 작성됐으며, 이후 공동 저자 8명은 모두 구글을 떠나 창업 등에 나섰다. 이들은 각자 수천만달러의 투자금을 모으며, 승승장구하고 있다.

단어의 맥락과 의미를 더 정확하게 포착하는 획기적인 자연어 처리 신경망인  트랜스포머 아키텍처는 오픈AI의 'GPT-4', 구글의 '제미나이', 앤트로픽의 '클로드'와 같은 대형언어모델(LLM)뿐만 아니라 오픈AI의 '코덱스', 딥마인드의 '알파폴드' 등 비어 모델의 기반이 됐다.

하지만 이제 트랜스포머 창조자들은 자신들이 만든 것을 넘어, AI 모델의 다음 단계가 등장하기를 기대하고 있다. 

그들은 “2017년 트랜스포머가 발표된 이후 변화가 없다”라며 "세계는 트랜스포머보다 나은 것을 필요로 한다"라고 역설했다.

고메스 코히어 CEO는 "트랜스포머가 최선이라면 정말 슬플 것"이라며 "10배 더 나은 것으로 대체되길 원한다. 그래야 모든 사람이 10배 더 나은 모델에 액세스할 수 있다"라고 말했다.

저자들은 트랜스포머 아키텍처의 문제점도 지적했다. 트랜스포머는 메모리 측면에서 많은 비효율성이 있으며, 매우 긴 컨텍스트를 처리하는 데 비용이 많이 들고 확장도 불가능하다고 짚었다. 또 매개변수화가 불필요하게 커서 압축할 여지가 많다고 밝혔다.

고메스 CEO는 “모두가 더 나은 것을 원하지만, 그것이 언제일지에 대한 생각은 다르고 심지어 그것이 가능할 것인지에 대한 확신도 다르다”라며 “다만 과학자로서 진전을 보고 싶을 뿐”이라고 말했다. 

릴리언 존스 CTO는 "무조건 더 나아져야만 한다는 것만으로는 충분하지 않다. 명백하고 분명하게 더 나아져야만 한다”라며 “현재는 기술적으로 원래 모델에 갇혀 있다”라고 지적했다.

고메스 CEO는 트랜스포머가 인기를 얻은 이유가 "좋은 아키텍처일 뿐만 아니라, 사람들이 그것에 흥분했기 때문"이라고 설명했다. 다음에 등장할 아키텍처도 “두가지 모두 필요하다”라고 전했다.

"이 두가지 중 하나를 놓치면 커뮤니티를 움직일 수 없다. 따라서 아키텍처를 다른 것으로 전환하는 원동력을 촉진하기 위해서는 사람들이 흥분할 만한 것을 제시해야 한다"라고 강조했다.

박찬 기자 cpark@aitimes.com