설 연휴 기간 중 전 세계가 중국의 인공지능(AI) 업체 딥시크로 들썩했습니다. 국내외에서 쏟아지는 뉴스는 모니터링하기도 벅찰 정도였습니다. 사실 딥시크의 혁신은 지난해 12월26일 'V3' 출시로 주목받았는데, 미국에서는 지난 20일 'R1' 출시 이후 실리콘밸리의 기술 리더들이 이를 본격 거론하며 부각됐습니다.
재미있는 점은 기술 전문 매체에서도 자주 사용하지 않던 AI 용어가 이제는 일상화됐다는 것입니다. 대표적인 것이 '증류(distillation)'와 '전문가 혼합(MoE)'입니다. 또 딥시크의 비용이 기존 오픈AI보다 저렴하다는 것을 설명하는 과정에서, 모델의 사전 훈련과 추론에 대한 비용이 혼재되는 경우도 눈에 띄었습니다.
지식 증류는 쉽게 설명하자면 큰 모델의 많은 지식 중 핵심 부분만을 뽑아내 이를 작은 모델에게 전달하는 방식입니다. 그 과정에서 지식 상당수가 증발해 버린다는 의미로 이런 용어를 채택한 것으로 보입니다.
2006년 코넬대학교 연구진이 발표한 논문 '모델 압축(Model Compression)'에서 유래된 것으로 알려지고 있습니다. 또 2015년에는 제프리 힌튼 등이 '신경망에서 지식 증류(Distilling the Knowledge in a Neural Network)'라는 논문을 발표했습니다. 즉, 오래된 모델 경량화 기술 중 하나입니다.
이 용어는 AI타임스도 한달에 한번 사용할까 말까 했던 것인제, 이제는 유행어가 돼버린 느낌입니다. 딥시크의 성능 향상을 설명하기 위해서는 피할 수 없기 때문입니다.
같은 이유로 MoE라는 용어도 자주 등장하고 있습니다. 이는 2023년 오픈AI가 'GPT-4'에 적용, 유명해진 기술입니다. AI 모델을 단일 모델이 아닌, 작은 전문가 모델로 구성한다는 개념입니다. 이를 통해 특정한 질문에 맞는 전문가 모델만 활용, 전반적인 모델의 성능을 유지하면서 활용 비용은 줄이는 방식입니다.
이후 오픈 소스 진영에서도 미스트랄 AI가 MoE를 본격 도입, 이미 널리 알려져 있습니다, 다만, 비 전문 매체에서 MoE를 거론하는 모습은 최근 처음 본 것 같습니다.
이처럼 딥시크는 기술적인 이유로 부각됐기 때문에, 그 과정에서 오해와 혼선도 일어나고 있습니다. 대표적인 예가 딥시크의 모델은 비용이 획기적으로 적게 든다는 점입니다.
AI 모델의 비용은 ▲사전 훈련에 들어간 리소스와 ▲모델 서비스, 즉 추론에 들어가는 비용으로 분리돼 있습니다.
우선 딥시크는 V3 모델을 통해 기존 메타 '라마'의 10분의 1에 불과한 557만달러로 학습을 진행했다고 밝혀 충격을 줬습니다. 그러나 상당수 전문가는 이를 과장이라고 지적합니다. 이 정도의 비용으로는 사전 학습 한차례를 실행하는 정도에 그친다며, 모델 개발 비용에는 이 외에도 많은 요소가 포함돼 있어 실제 비용은 훨씬 더 클 것이라는 설명입니다. 딥시크도 이를 시인했습니다.
그리고 추론 비용의 경우, 딥시크는 V3의 API의 100만 입력 토큰이 30센트(약 520원), 출력 토큰이 약 1달러(약 1400원)로 '챗GPT'에 비해 약 30~40배 저렴하다고 밝혔습니다.
하지만 엔비디아와 마크 저커버그 메타 CEO 등은 이런 설명이 GPU가 덜 필요하다는 말은 아니라고 말했습니다. 정확한 비용 관계를 밝히지는 못했지만, 하루 수억명이 서비스를 사용한다면 어차피 GPU가 많이 필요할 것이라는 말입니다.
물론 추론 계산량을 줄이는 기술에 대해서는 이전부터 많은 연구가 등장했고, 메타도 딥시크의 장점은 흡수할 뜻을 전했습니다.
그러나 결국 딥시크의 비용이 기존 모델보다 10분의 1에 불과하다고 단정할 수는 없다는 말입니다.
어쨌든 딥시크의 등장으로 이런 점이 거론되는 모습을 보면 신기하다는 생각이 듭니다. 과거 챗 GPT가 그랬듯, 이제는 딥시크가 '살아있는 AI 학습 교재'가 된 것으로 보입니다.
이런 현상은 앞으로 더 흔해질 것으로 보입니다. 알리바바를 비롯, 딥시크의 성능을 넘었다는 모델이 벌써 몇개나 등장했습니다. 또, 마이크로소프트 등 관련 기업들은 딥시크를 마케팅 용어처럼 활용하고 있습니다.
이처럼 2025년은 정초부터 기술과 AI 문제가 글로벌 이슈의 핵심이 된 모습입니다. 트럼프 행정부 출범에 따른 틱톡 문제에 이어, '스타게이트'와 딥시크 등이 1월을 점령했습니다. 이 가운데에는 트럼프 대통령과 미국의 기술 패권주의 등이 자리 잡고 있습니다.
이럴 때 딥시크의 성능을 능가한다는 모델이 국내에서도 등장한다면 어떨까요. 국내 AI 기업들의 선전을 기대합니다.
이어 30일 주요 뉴스입니다.
■ "오픈AI, 소프트뱅크와 최대 36조 투자 협상"...MS 대신 갈아타나
손정의 회장이 오픈AI에 최대 250억달러 규모의 투자를 논의 중이라는 소식입니다. 오픈AI는 컴퓨팅 인프라 확대를 위해 MS 대신, 소프트뱅크와 본격적으로 손을 잡은 모습입니다.
■ 미 저작권청 "AI 생성 콘텐츠라도 인간 기여 인정되면 저작권 보호"
미국이 생성 AI 작품에 대한 엄격한 정책을 완화, 인간의 기여가 인정되는 경우에는 저작권을 인정하기로 했습니다. 물론, 국내에는 이미 이를 적용 중이라, 큰 영향은 없을 것으로 보입니다.
■ "트럼프 정부, 엔비디아 중국 수출 규제 강화 검토"...주가 또 폭락
트럼프 행정부가 이전 정권보다 더 강한 반도체 수출 금지를 검토 중이라는 내용입니다. 트럼프에 기대를 건다던 엔비디아는 뒤통수를 얻어맞은 기분일 겁니다. 그래서 주가가 또 내려갔습니다.
AI타임스 news@aitimes.com
