[기고] 바야흐로, 머신러닝이다
상태바
[기고] 바야흐로, 머신러닝이다
  • 입력 2020-09-29 16:58
  • 댓글 0
이 기사를 공유합니다

김일호 AWS코리아 솔루션즈아키텍트 매니저
김일호 AWS코리아 솔루션즈아키텍트 매니저

전 세계적으로 스타트업에서 대기업에 이르기까지 대부분 기업은 머신러닝(Machine Learning) 애플리케이션 도입이 최우선과제라는 것을 깨닫고 있다. 사실상 모든 산업, 모든 부문의 수만 개의 기업들이 핵심 워크로드에 머신러닝을 적용하기 시작했다.

머신러닝을 도입해 의료서비스를 향상한 미국의 체인지 헬스케어(Change Healthcare), 생명과학 기술 발전을 거둔 제약회사인 아스트라제네카(Astrazeneca), 공급망 비효율 문제를 개선한 시애틀의 물류 회사인 콘보이(Convoy)가 대표적이다.

머신러닝 기술 적용을 어렵게 하는 제약들도 대부분 사라졌으며, 클라우드 같이 보다 쉽게 머신러닝을 적용할 수 있도록 돕는 기술이 확산됐다. 머신러닝의 황금기가 시작됐다.

머신러닝의 적용을 가속화하는 주요 요인으로 다음 4가지를 꼽을 수 있다. 

▲다양한 용도와 다양한 수준의 클라우드 서비스 
▲쉬워진 머신러닝 워크플로로 개발자가 편하고 쉽게 사용 
▲쉽게 데이터를 저장하고 이용할 수 있도록 지원하는 클라우드 서비스 증가 
▲보다 쉽게 인공지능(AI) 활용을 지원하는 클라우드 서비스 증가

다양한 용도와 다양한 수준의 클라우드 서비스 

머신러닝은 여러 통계 알고리즘으로 기존 데이터를 학습하는 학습(training), 새로운 데이터에 대해 모델로부터 결과를 얻는 추론(inference)을 포함한다. 

학습 중 찾아 낸 데이터의 패턴이나 관계를 통해 모델을 구축한다. 사용자들은 해당 모델을 통해 처음 접하는 데이터에 대해서 현명한 결정을 내릴 수 있다. 

머신러닝 모델을 학습하기 위해 CPU, GPU와 같은 프로세서와 페타바이트(PB) 단위의 데이터를 처리하고 저장할 수 있는 적절한 도구가 필요하다. 

또한 모델 학습을 자주 진행하는 기업들은 기계 학습 모델 구축 환경을 전담하는 팀을 별도로 두고 있다. 

이런 이유로 머신러닝을 직접 적용하기 위해서는 많은 비용이 들고, 확장성을 확보하기 어렵다. 

머신러닝 워크로드를 클라우드로 이전하는 것은 적합한 모델 학습을 위한 환경 구성과 효율적으로 학습할 수 있는 확장성을 의미한다. 또한 직접 시행착오를 거쳐 수 일, 때로는 수 주가 걸릴 수 있는 작업을 클라우드로 여러 모델을 동시에 학습·튜닝해, 빠르게 완료할 수 있다. 

클라우드 서비스의 도움으로 이제 머신러닝은 더 이상 기술력이 강한 큰 기업이나 학술 연구자에게만 국한된 기술이 아니다. 클라우드를 이용하면 머신러닝 모델 학습과 배포에 필요한 데이터 보관, 보안, 분석, 머신러닝 서비스뿐 아니라, 고성능 CPU와 GPU를 모두 활용할 수 있다.

(사진=셔터스톡)
(사진=셔터스톡)

모든 개발자 및 데이터 사이언티스트를 위한 머신러닝

기업들이 머신러닝을 광범위하게 사용하도록 하기 위해서는 모든 개발자, 데이터 과학자들이 머신러닝에 접근할 수 있도록 해야 한다. 관련 연구원(applied researcher)과 학자들은 머신러닝 인프라와 프레임워크에 접근할 수 있지만, 그 숫자가 턱없이 부족하다.

아마존웹서비스(AWS)를 비롯한 클라우드 서비스 업체들은 이 문제를 다음과 같이 접근하고 있다. 

과거에는 AI 모델을 구현(authoring), 학습, 배포 과정이 쉽지 않았고, 대부분의 개발자들은 이 과정에 접근할 수 없었다. 머신러닝의 숨겨진 사실 중 하나는 머신러닝 관련 작업의 80%가 머신러닝과 전혀 관련이 없다는 것이다. 

학습 데이터 수집, 정제, 데이터 형식에 많은 시간과 비용이 든다. 학습 데이터 세트가 생성된 다음 알고리즘과 연산처리 환경의 설정을 확인하고, 효율적인 학습을 빠르게 진행할 수 있어야 한다. 

프로덕션 단계에 진입한 뒤에도 새로운 문제가 발생할 수 있다. 

모델 개발자가 모델을 다른 팀에 전달하면 이를 대규모 운영과 대량의 추론 처리를 해결하기 위한 고민을 시작하게 된다. 이 과정에는 대규모 분산 시스템의 효율적인 운영과 관련된 완전히 다른 컴퓨터 사이언스 관련 고민이 필요하다. 이 프로세스를 계속 고민하지 않으면, 매우 느리고 번거로운 과정이 될 수 있다.

클라우드 서비스는 머신러닝 워크플로의 각 단계마다 모두 도움을 줄 수 있다. 이를 통해 모든 개발자와 데이터 과학자가 머신러닝을 쉽게 성공적으로 구현할 수 있다. 

클라우드는 전체 머신러닝 워크플로를 관리할 수 있도록 서비스 형태로 제공해, 데이터 레이블링·준비, 알고리즘 선택, 모델 학습, 모델 배포를 위한 튜닝·최적화, 예측, 모델 관리까지 아마존 세이지메이커를 통해 모델을 빠르고, 쉽게, 낮은 비용으로 만들 수 있도록 지원한다.

누구나 쉽게 할 수 있는 데이터 준비

성공적인 모델에는 고품질 학습 데이터가 요구된다. 

신호등, 정지 표지판, 또는 보행자 같은 물체를 식별하도록 신뢰할 수 있는 컴퓨터 비전 시스템을 구축해야 하는 예를 들어보면, 수억 개의 동영상 프레임으로 구성된 수천 시간의 영상자료가 필요하다. 또한 개별 프레임을 레이블링해 학습에 사용될 데이터 세트를 만들어야 한다.

수십만 명의 레이블링 작업자들에게 레이블링을 할당하는 일은 대규모의 복잡한 작업이기 때문에 상당한 직간접 비용이 발생한다. 레이블 작업자가 레이블을 잘못 지정할 경우, 시스템이 잘못된 정보를 학습하게 된다. 이는 잘못된 예측을 제공해 차량이 정지 신호를 감지하지 못하는 등 실제 상황에 영향을 미치게 된다.

클라우드를 이용하면 누구나 쉽게 머신러닝 학습을 위한 데이터 준비 기능을 사용할 수 있다. 머신러닝을 활용해 고도로 정확한 훈련 데이터세트를 구축하고, 데이터 레이블링 비용도 절감할 수 있다. 또 학습용 데이터 세트 생성에 드는 시간과 노력을 크게 줄여 비용절감효과를 거둘 수 있다. 

누구나 쉽게 만드는 AI

직접 고객들과 대화해 보면 모든 개발자들이 모델 작업을 원하는 것은 아니라는 점을 알 수 있다. 개발자에게 필요한 것은 API를 통해 만들어진 모델에 연결할 수 있는 서비스다.

일반적인 사례는 컴퓨터 비전이다. 고객들은 이미지나 영상 속 물체, 사람, 문자, 장면, 활동, 부적절한 자료 등을 식별하기를 원한다. 예를 들어, 쏜(Thorn)은 아동 성적 학대를 예방하는 기술을 개발하고 있다.

또 다른 사례는 추천이다. 기업은 AI 서비스를 이용해 자사 제품과 서비스를 추천하고 고객들의 만족도를 높이고 있다. 서브웨이는 AI 서비스를 이용해 서브웨이 앱으로 샌드위치를 주문하는 고객 맞춤형 샌드위치를 추천하고 있다. 

문자를 음성으로 전환하는 기능도 흔히 사용되는 사용 사례다. 음성 서비스는 말하는 애플리케이션을 제작해 완전히 새로운 음성지원 제품을 만들 수 있도록 지원한다. 

듀오링고(Duolingo)라는 전 세계에서 가장 많이 다운로드 된 교육용 앱을 제공하는 스타트업으로 언어 학습을 위해 문자 음성 변환(TTS) AI 서비스를 이용한다.

다양한 고객들이 AI 서비스를 활용해 글에서 인사이트와 연관성을 얻으려고 한다. 구조화되지 않은 데이터는 엄청난 잠재력이 들어 있는 보물창고와 같다. 

고객들의 이메일, 고객지원 요청, 제품 리뷰, SNS, 심지어 광고 카피와 같은 데이터도 사업에 유용하게 사용할 수 있는 고객의 감정과 연관된 정보를 담고 있다. 예를 들어, 자연어 처리기술을 사용해 글 속에 담긴 인사이트와 연관성을 파악하고 있는 기업들도 많다. 

클라우드 기술의 발달로 인해 오늘날 비즈니스에 AI를 적용하는 것이 그 어느 때 보다 쉬워졌다. 사전에 머신러닝 경험이 충분하지 않거나, 서비스를 구현하는 머신러닝 모델에 대한 걱정 없이 이미 구축된 AI 기능들을 앱에 연결하기만 하면 된다. 

국내 기업 전자상거래 기업인 인터파크도 머신러닝을 적극 활용하고 있다. 이 회사는 클라우드 서비스를 사용해서 머신러닝 전문가를 채용하지 않고도 제품 추천 엔진을 한층 고도화할 수 있었다. 대한항공도 클라우드 기반의 머신러닝을 사용해 항공기 엔진 마모를 예측적으로 정비, 유지, 보수에 활용할 계획이다. 

모든 산업에서 머신러닝과 관련된 혁신이 놀랍도록 빠르게 진행되고 있다. 전 세계적으로 다양한 분야의 많은 기업, 기관들은 인공지능과 머신러닝을 통한 혁신을 이루어 나가고 있다.

[기고] 챗봇 시장 활성화 먼저, 카카오 유료화는 그 후에

[기고] GPT-3는 멋지다. 그러나 여전히 갈 길이 멀다.

기자 프로필

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
유용한 리스티클
  • AI 재현 기술, 로마 황제 얼굴을 살려냈다
  • EU가 뽑은 인공지능(AI)ㆍ로봇 기술 9가지
  • 차세대 콘텐츠에 활용할 수 있는 인공지능(AI) 기술 6가지
  • "당신의 외모는 몇 점?"…AI가 평가하는 내 얼굴은?
  • 비대면 시대, XR(확장현실)기술 사용 국내외 건축ᆞ부동산 기업 7
  • 코로나19 대유행 시대, 학교가 갖춰야 할 7가지 필수품은?