서덕진 누아 대표 인터뷰...싸이월드 출신 20년 경력 엔지니어
과기정통부 ‘2020 인공지능 그랜드 챌린지’ 행동인지트랙서 2위
AI로 CCTV 영상에서 실신 환자 판별...전이학습으로 데이터 한계 극복
인공지능(AI) 기반 여행 서비스 스타트업이 응급 환자 판별 기술로 국내 최대 AI 대회서 2위를 기록했다. 과기정통부 주관 ‘2020 인공지능 그랜드 챌린지’ 2단계 대회 행동인지트랙에서 두 번째로 높은 점수를 받은 누아(Nuua)의 이야기다.
AI 그랜드 챌린지는 과기정통부가 국내 기업들의 기술개발(R&D) 도모를 위해 매년 역점을 두는 사업 중 하나다. 사업계획서로 연구 수행기관을 선정하는 기존 방식에서 벗어나, 특정 문제를 제시하고 이를 해결하는 참가자들의 연구 역량을 평가한다. 우수한 성과를 거둔 팀에게는 후속 연구개발비를 지원한다.
지난달 18일 2단계 대회 입상자 발표 결과, 누아는 행동인지트랙에서 2위를 차지했다. 해당 트랙에서는 영상에서 실신하는 사람이 등장할 때 현장 위치를 찾는 과제를 냈다. 전이학습 기술을 사용해 스타트업 최대 난제인 적은 데이터 인프라를 극복한 덕에 좋은 성적을 거둘 수 있었다.
이번 대회 경험을 토대로 누아는 본 사업인 AI 기반 여행 서비스를 올해 상반기 내 출시할 예정이다. 비슷한 시기에 엔비디아 인셉션 프로그램에도 선정되면서 컴퓨팅 파워를 강화할 수 있게 됐다. 길게는 딥러닝 자연어처리 기술을 활용해 개인 맞춤형 맛집 검색 서비스를 선보이는 것이 목표다.
서 대표는 개발자들의 실전 역량을 키울 수 있는 정부가 주도하는 인공지능 챌린지 대회가 훨씬 더 강화돼야 한다고 말한다.
“전체 과기정통부 예산 중 챌린지에 투자되는 금액은 1%도 안 되는 상황이다. 이런 대회들이 활성화되면 연구 문화와 기반 기술 개선은 물론 실생활에 쓸 수 있는 기술을 개발하는데 큰 힘이 될 것이다.”
Q. 작년 AI 그랜드 챌린지 행동인지트랙에서 2위를 차지했다. 입상한 기술에 대해 설명하자면?
이번 대회의 전체 주제는 AI 기술을 활용해 다양한 지역 문제를 해결하는 것이다. 큰 주제 아래로 행동인지, 음성인지, 사물인지, AI 모델 최적·경량화 4개 트랙이 있는데 이 중 누아는 행동인지트랙에 참여했다.
행동인지트랙 과제는 영상 속에서 실신하는 사람이 나오면 해당 대상의 위치를 찾는 것이었다. 누아팀은 사람 감지 모델, 행동(실신) 판별 모델, 후처리 알고리즘 총 3단계로 분리해 구현했다.
보통 다른 팀들은 특정 영상 내에서 넘어지는 사람이 있는지 여부를 인식하는 식으로 기술을 구현한다. 우리 팀은 사람 개개인을 구별하는 모듈과 사람 행동을 구분하는 모듈을 따로 구분해 차별점을 뒀다. 모든 사람을 디텍션한 후 실신 혹은 정상 여부를 판단하도록 만들었다.
Q. 주요 성과 중 하나로 많은 스타트업이 겪는 적은 데이터양 문제를 전이학습으로 해결한 것을 들었는데?
그렇다. 가장 어려운 점이 적은 데이터로 모델을 학습하는 것이었는데 전이학습 기술을 활용해 소규모 데이터셋으로도 성과를 낼 수 있었다. 분리 구현을 통해 기존에 공개된 pre-trained weight를 최대한 활용했다. 스타트업이라는 특성상 데이터를 많이 준비할 수 있는 상황이 아니었기에 기존 웨이트들을 최대한 활용했다.
소규모이지만 데이터세트도 구축도 쉽지 않았다. 직원들이 거리로 나가서 직접 촬영하기도 했다. 이를 통합, 조합하는 부분도 힘들었다. 이외 활용 데이터로는 AI 허브 데이터와 오픈소스 형태로 제공되는 인터넷 상 CCTV 영상 내 사용자 행동 데이터를 사용했다.
Q. 싸이월드를 비롯한 IT기업에서 20년 동안 엔지니어로 일한 경험도 도움이 됐는지?
AI 개발도 결국 데이터가 관건이다. 싸이월드에서 사용자 데이터를 다루는 일을 한 만큼 전통적인 데이터 처리방식에 대해 잘 알고 있기에 대용량 데이터 처리 부분에 자신있다. 경험이 있는 만큼 새로운 패러다임이 나올 시 빠르게 캐치할 수 있다는 장점도 있다.
사실 이번 대회는 누아에게 AI 챌린지 대회로 2번째다. 누아 이름으로 나간 첫 AI 챌린지에서는 사실 대표인 나 혼자 출전해 입상(3위)했다. 가짜뉴스 찾기를 주제로 제목과 다른 내용의 낚시성 기사, 내용 중 엉뚱한 맥락을 넣은 기사 등을 가려내는 것이 과제였다. 난이도가 높고 도전적인 주제이지만 수익을 내긴 어려워 기업에서 시도가 더딘 만큼 챌린지 과제로 적합했다고 생각한다.
이번 챌린지에서는 대표인 내가 총괄책임을 맡았지만 개발자를 비롯한 다양한 직무의 직원들 역할이 컸다. 실무책임은 이호성 연구원, 모델 구현은 박상준 연구원, 김영근 연구원, 데이터 고도화는 김동국 연구원, 임운취 연구원이 담당했다.
Q. 이번 대회를 통해 누아가 얻은 것을 말하자면?
먼저 다른 쟁쟁한 팀과의 경쟁으로 입지를 확인한 것을 꼽을 수 있다. 2위를 기록했지만 1위 팀과 점수 차가 크게 나지 않았다. 1단계보다 2단계 대회에서 데이터세트와 평가지표 관련 난이도를 올리면서 고도화된 모델을 사용하는 기술력도 향상시킬 수 있었다. 무엇보다도 내부 팀원들이 AI 성능을 고도화하는 과정을 직접 경험한 것이 수확이다.
2017년때만 해도 IITP, NIPA, 민간에 작은 규모의 소수 대회 이외에는 AI 챌린지를 찾아보기 어려웠다. 매년 정부에서는 그랜드 챌린지를 R&D 지원책으로 강조하지만 전체 조단위 예산 중 챌린지에 할당된 예산은 1%도 안 되는 실정이다. 그랜드 챌린지와 같은 대회가 훨씬 활성화된다면 연구 문화 발전과 기술 발달에 큰 도움이 될 거라고 생각한다.
Q. 2단계 대회 결과가 지난달 18일에 나왔다. 요즘은 어떤 일에 주력하고 있나?
좀더 레벨을 높인 3단계 대회가 올해 말 최종 4단계 대회가 지금으로부터 약 2년 후 열린다. 이들 단계에서는 모델 정확도를 높이고 경량화해 크기가 큰 GPU가 아닌 CCTV와 같은 작은 디바이스에서 엣지 형태로 구현하는 것이 목표다.
2020년 연구에서는 전이학습을 최대한 활용할 수 있는 구조를 만드는 것이 핵심이었다. 올해는 데이터를 보강해 성능을 개선하고 실생활에 활용 가능할 수 있도록 모델 경량화, 알고리즘 최적화를 실현하는데 집중할 계획이다.
Q. 원래 AI 기반 여행 서비스가 주요 사업이었다. 대회 이외 집중하는 업무가 있는지?
기존 주요 서비스 구축에도 힘쓰고 있다. 그랜드 챌린지로 확보한 기술력을 바탕으로 올해 상반기 중 새로운 AI 기반 여행 서비스를 출시할 예정이다. 최근 선정된 엔비디아 인셉션 프로그램 지원책도 적극 활용할 계획이다.
해당 프로그램은 엔비디아가 운영하는 가상 엑셀러레이팅 프로그램으로 회원사들은 엔비디아 전문가 협력 네트워크, GPU 관련 혜택 등을 받을 수 있다. 우리 회사는 리더스 시스템을 통해 GPU 장비를 새로 도입, 보강할 계획이다.
챌린지를 통한 모델 개발 능력 강화와 GPU 업그레이드를 토대로 올해 하반기에는 AI 기반 맛집 추천 서비스를 구축할 예정이다. 딥러닝 자연어처리 기술을 사용해 사용자 개개인에 맞는 추천을 제공할 수 있을 것이다. 이후 서비스를 아시아 주요 도시로 확장해 가이드, 검색, 추천 등 여러 기능으로 여행객들이 쉽고 빠르게 여행할 수 있도록 돕는 것이 목표다.
AI타임스 박성은 기자 sage@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com