엔비디아 A100, 금융 서비스 부문 추론 벤치마크에서 최고 성능 기록

엔비디아는 슈퍼마이크로 서버의 A100 텐서 코어 GPU가 최신 STAC-ML 마켓 벤치마크의 추론 부문에서 최고 성능을 기록했다고 10일 밝혔다. STAC-ML은 금융 서비스 관련 기술의 성능을 측정하는 주요 벤치마크다.

엔비디아는 A100 GPU가 가장 까다로운 모델에서 초당 수천개의 추론을 제공하는 등 처리량 면에서 뛰어난 성적을 달성했으며, 최신 STAC-ML 추론 표준의 지연시간 부문에서도 다수의 금융 기관들을 제치고 선두에 올랐다고 설명했다. 최근 조사에 따르면 이들 금융 기관의 4분의 3이 머신러닝이나 딥러닝, 고성능 컴퓨팅에 의존하고 있다.

STAC-ML 추론 벤치마크는 장단기 메모리(LSTM) 모델 추론의 지연시간을 측정하도록 설계됐다. 슈퍼마이크로 울트라 슈퍼서버에서 구동되는 A100 GPU는 99점의 백분위 점수로 낮은 지연시간을 기록했다고 엔비디아는 전했다.

또 A100은 STAC-ML 추론을 비롯해 STAC-A2 옵션 가격 예시 벤치마크와 STAC-A3 모델 백테스팅 벤치마크에서 뛰어난 성능을 달성했다고 덧붙였다. 이를 통해 엔비디아 AI 컴퓨팅이 거래 환경의 파이프라인을 가속할 수 있음을 입증했으며, 나아가 금융 기관에 최고의 성능과 워크로드의 다기능성을 제공할 수 있는 역량이라는 것을 증명했다고 강조했다.

금융 부문에서는 예측 가능한 성능과 그에 따른 낮은 지연시간 환경을 구축하는 것은 매우 중요하다며, 엔비디아는 그 지연시간에 큰 이상값이 없었다는 점에서 이목을 끌었다고 밝혔다.

한편 엔비디아는 STAC 타카나 스위트 벤치마크의 성능 결과를 최초로 제출했다. 타카나 스위트는 각 추론 작업에 새로운 시간 단계가 추가되고 가장 오래된 것은 제거되는 슬라이딩 윈도에서 추론을 실행한다. 따라서 시장 데이터의 업데이트 전체에서 추론을 수행해야 하는 초단타 매매에 유용하다고 설명했다.

또 FP16 정밀도의 수마코 스위트용으로 동일한 하드웨어에서 처리량을 최적화한 구성을 제출했다고 덧붙였다.

이 밖에 엔비디아 GPU가 전자 거래 스택의 소유 총비용(TCO) 절감에도 활용될 수 있으며, 쿠다 프로그래밍 모델은 GPU 가속 임베디드 시스템, 데스크톱 워크스테이션, 엔터프라이즈 데이터센터, 클라우드 기반 플랫폼, HPC 슈퍼컴퓨터 전반에 걸쳐 애플리케이션의 개발과 최적화, 배포를 지원한다고 전했다.

금융 서비스 업계는 데이터 처리량의 개선과 더불어 운영 효율의 향상을 통해 이익을 창출할 수 있다는 주장이다.

엔비디아 측은 "이번 벤치마크 결과를 통해 GPU가 백테스팅과 시뮬레이션 같은 워크로드의 처리량과 에너지 효율 부분에서 압도적인 성능을 제공함을 다시 한번 입증했다"고 밝혔다.

임대준 기자 ydj@aitimes.com