ICLR 2021 내 개발도상국 관련 PML4DC에 기술 등재
고성능 GPU, 비싼 컴퓨팅 리소스 필요한 CTR 예측 모델 문제 해결
한정된 자원 환경 가진 개발도상국에 유용하게 쓰일 예정
한정된 데이터 자원을 가진 개발도상국 등에 유용하게 쓰일 AI 기반 딥러닝 훈련시 사용될 클릭률 예측 모델 논문을 공개했다.
최근 인공지능 딥러닝은 자연어 처리(NLP)는 BERT, VilBERT, ALBERT 및 GPT-2, 3 등 더 복잡하고 큰 모델에 의존해 레이블이 지정되지 않은 대규모 말뭉치를 사전 학습하고 있다.
하지만 개발도상국에서는 대부분 데이터 및 자원이 적거나 한정적이기 때문에 이러한 방식을 채택하기 어려운 현실이다.
국내 AI 글로벌 소셜 플랫폼 기업 하이퍼커넥트는 ICLR 2021(국제 학습 표현 컨퍼런스)에서 '표 형식 학습으로 개발 도상국에서 효율적인 클릭률 예측'(Efficient Click-Through Rate Prediction for Developing Countries via Tabular Learning) 기술을 소개했다.
하이퍼커넥트에서 선보인 표를 이용한 클릭률 예측 모델은 개발도상국의 온라인 광고 및 추천 등에 사용이 가능하다. 하이퍼커넥트는 해당 연구 및 결과를 지난 4일 라이브 스트리밍 형태로 열리는 ICLR 2021 PML4DC 워크숍에서 구두로 발표해 공유했다.
기존의 클릭률 예측 모델은 제한된 컴퓨팅 리소스로 인해 과도하게 매개 변수화 되면 배포가 어렵다는 문제가 있었다.
클릭률 예측 모델에서 흔히 사용되지 않았던 ‘표 학습 모델’(Tabular Learning) 기술은 고성능 GPU를 포함, 고가의 컴퓨팅 리소스가 필요했지만 표 학습 모델로 이 요소들이 없이도 빠르게 학습이 가능, 비용을 절감했다.
하이퍼커넥트는 8개의 클릭률 예측 데이터 세트를 공개, 실험을 통해 표 형식 학습 모델이 최신 클릭률 예측 모델을 능가하는 것으로 나타났다.
이 기술은 개발도상국 같이 최첨단 딥러닝 오픈소스 도구 이용 방법인 소타(SOTA)를 원활하게 적용하는 것이 어려운 곳에 알맞다. 제한적이거나 낮은 리소스 등의 자원 환경을 가지고 있는 곳에서 AI를 학습시키는 데 유용하다.
ICLR 2021는 딥러닝에 초점을 맞춘 제 9차 연례 회의를 오스트리아 비엔나에서 5월3일부터 7일까지 온라인으로 개최했다.
하이퍼커넥트는 동영상을 통한 화상 채팅 앱인 아자르(Azar)를 보유, 라이브 스트리밍을 통해 만남, 채팅 등으로 친구를 사귈 수 있는 어플 하쿠나 라이브(Hakuna Live) 등을 출시한 바 있다.
PML4DC은 ICLR 2021 내 개발도상국을 위한 실용적인 ML 워크숍으로 AI의 민주화를 국경을 넘어 확장하는 것이 목표다. 개발도상국에서 실제 테스트 사례를 반영하지 않는 사전 훈련 데이터 세트가 가지고 있어 대규모 모델을 미세 조정하는 데 드는 엄청난 비용 등 문제를 해결하는 데 초점을 맞추고 있다.
한편, 6월에 열릴 국가관제 AI 딥러닝 분야 컨퍼런스인 'CVPR 2021'에서 하이퍼커넥트는 '이미지 분류에서 클래스가 불균형할 때 학습 데이터의 클래스 분포에 대한 사전 정보를 제거해 해결하는 방법' (Disentangling Label Distribution for Long-tailed Visual Recognition)에 관한 논문을 발표할 예정이다.
AI타임스 이하나 기자 22hnxa@aitimes.com
[관련기사] EBS 특집 다큐 'AI 사피엔스 시대', 디지털 소외를 넘어선 모두를 위한 AI 고민 던져
[관련기사] IT 업계 '연봉 인상 도미노'…광주 AI 스타트업 깊은 한숨만
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com