인공지능(AI) 전문 슈퍼브에이아이(대표 김현수)는 비전 AI 모델의 성능을 평가할 수 있는 '모델 진단' 기능을 출시했다고 14일 밝혔다.
모델 진단 기능은 슈퍼브에이아이의 '슈퍼브 큐레이트' 솔루션에 적용된다. 슈퍼브 큐레이트는 컴퓨터 비전 데이터를 한 곳에서 쉽게 관리하고 선별할 수 있는 솔루션이다. 머신러닝(ML) 지식이 없더라도, 가이드라인에 따라 누구나 모델 개선 방안에 대한 인사이트를 얻고 개선 조치를 취할 수 있다.
새로 도입한 모델 진단은 이미지를 판독·식별하고 인식할 수 있는 비전 AI 모델의 성능을 진단하고, 오류 유형을 파악하는 기능이다. AI 모델에 대한 각종 성능 지표 수치를 시각화해서 보여주기 때문에 개발자가 아니라도 쉽게 취약 데이터를 찾을 수 있다고 설명했다. 개선 전후 모델을 직관적으로 비교, 클래스별 성능 변화도 한눈에 파악 가능하다고 전했다.
모델 진단을 통해 여러 모델 중 보유한 데이터셋에 가장 적합한 모델을 선택하고, 모델 배포시 성능을 모니터링하고 개선할 수 있다고 밝혔다. 또 추가 확보해야 하는 데이터는 어떤 유형인지, 라벨링 오류를 수정해야 하는 데이터는 무엇인지 등 성능 개선을 위한 방안을 마련할 수 있다고 소개했다.
슈퍼브에이아이의 플랫폼 내에서 다양한 솔루션들을 함께 활용해 모델 품질을 높이고, 모델 버전 및 히스토리 관리도 가능하다고 강조했다. 모델 진단을 통해 모델 성능이 취약한 데이터 유형을 파악한 후, 자동선별(오토 큐레이트) 기능으로 취약 데이터를 선별하고, 모델 학습및 배포 솔루션인 '슈퍼브 모델'로 재학습해서 성능을 높일 수 있다.
해당 유형의 데이터를 신규로 수집할 경우, '슈퍼브 라벨'로 데이터 라벨링 후 재학습에 활용하면 된다. 학습 데이터에서 사용된 정답 데이터의 라벨링이 잘못됐다고 판단될 경우, ‘슈퍼브 라벨' 솔루션을 통해 데이터를 다시 라벨링할 수 있다.
김현수 슈퍼브에이아이 대표는 "AI 개발에서 모델을 진단하는 것은 모델의 성능은 물론 안정성과 효율성을 평가하고 개선하는 과정으로 AI 개발 성공을 위해 반드시 필요한 단계"라며 "모델 성능 개선에 대한 고민이 많은 ML 엔지니어부터 AI 서비스를 기획하고 설계하는 기획자까지 모델 진단 기능을 활용해 시간과 비용을 절감하며 모델을 개선할 수 있다"라고 말했다.
이주영 기자 juyoung09@aitimes.com
