확산 모델와 일관성 모델 비교: 확산 모델 생성 이미지(상)1단계 일관성 모델 생성 이미지(중), 2단계 일관성 모델 생성 이미지(하) (사진=오픈AI)
확산 모델와 일관성 모델 비교: 확산 모델 생성 이미지(상)1단계 일관성 모델 생성 이미지(중), 2단계 일관성 모델 생성 이미지(하) (사진=오픈AI)

오픈AI가 달리, 미드저니 및 스테이블 디퓨전과 같은 이미지 생성 도구의 기반이 되는 ‘확산 모델(Diffusion Model)’보다 효율적인 ‘일관성 모델(Consistency Model)’을 공개했다. 

테크크런치는 12일(현지시간) 오픈AI가 확산 모델을 능가하는 ‘일관성 모델’이라는 새로운 종류의 이미지 생성 인공지능(AI) 모델에 대해 논의하는 논문을 아카이브(arXiv)에 발표했다고 소다.

일관성 모델을 이해하려면 확산 모델과 비교하는 것이 좋다. 확산 모델은 완전히 노이즈로 구성된 원본 이미지에서 노이즈를 점진적으로 제거하면서 단계적으로 원본 이미지에 더 가까운 이미지를 생성하는 방법을 학습한다.

이 접근 방식은 인상적인 AI 이미지를 생성하는 데 성공했지만 좋은 결과를 얻으려면 수천 단계가 필요할 수도 있다. 이는 실시간 애플리케이션에 비용이 많이 들고 비실용적이다.

예를 들어, 확산 모델에서는 GPU 클러스터를 사용해 1~2분 동안 1500회 반복을 수행해야 원하는 결과를 얻을 수 있다.

이미지가 대부분 노이즈인지 데이터인지 여부에 관계없이 일관성 모델은 최종 결과로 바로 이동한다. (사진=오픈AI)
이미지가 대부분 노이즈인지 데이터인지 여부에 관계없이 일관성 모델은 최종 결과로 바로 이동한다. (사진=오픈AI)

일관성 모델의 목표는 단일 계산 단계 또는 최대 두 단계에서 적절한 결과를 생성하는 것이다.

확산 모델과 마찬가지로 일관성 모델은 노이즈에 의한 이미지 파괴 과정을 관찰하지만 노이즈 수준에 관게없이 단 한 단계만으로 원본 이미지를 생성하는 방법을 학습한다.

결과 이미지가 놀랍지 않을 수 있지만 단일 단계에서 생성되었다는 사실은 중요하다.

일관성 모델은 색상화, 업스케일링, 인페인팅 및 초고해상도와 같은 다양한 작업에도 적용할 수 있다.

또한 설계에 따라 빠른 1단계 생성을 지원하는 동시에 몇 단계 샘플링을 통해 결과 이미지의 품질을 향상시킬 수 있다.

일관성 모델을 차별화하는 것은 효율성이다. 확산 모델은 좋은 결과를 얻기 위해 상당한 양의 계산이 필요하지만 일관성 모델은 최소한의 계산으로 괜찮은 결과를 생성할 수 있다.

따라서 라이브 채팅 인터페이스나 배터리 소모 없이 휴대폰에서 이미지 생성기를 실행하는 것과 같이 실시간 결과가 필요한 애플리케이션에 이상적이다.

오픈AI가 일관성 모델과 같은 새로운 기술 개발에 중점을 둔다는 것은 그들이 확산 모델을 넘어선 차세대 사용 사례를 적극적으로 찾고 있음을 나타낸다.

일관성 모델을 확산 모델과 직접 비교하는 것은 아직 이르지만 이 새로운 기술의 잠재력은 상당하다.

박찬 위원 cpark@aitimes.com

관련기사
저작권자 © AI타임스 무단전재 및 재배포, AI학습 및 활용 금지