페이스북, 더 직관적인 개발 플랫폼으로 AI 친화 개발 조직으로 진화한다

코드 수정없이 모델을 구성하고 교육하기 위한 종단간 솔루션 제공
커뮤니티 표준 강화 위해 오픈소스 히드라 프레임워크 사용
딥러닝은 다른 부문 AI 연구자간 협업을 가능케 해
파이토치 덕분에 머신러닝 프로젝트 개발 속도가 더욱 빨라져

페이스북은 인공지능(AI)을 쇼핑 추천 서비스, 유해 콘텐츠 탐지, 텍스트 번역, 자동 자막 생성 등 다양한 방식으로 사용하고 있다. 페이스북은 딥러닝 플랫폼을 다수 구축했으며 신규 서비스도 테스트 후 페이스북에 적용하고 있다고 21일(현지시간) 발표했다.

클라시비전(ClassyVision), 페어섹(Fairseq), 파이텍스트(PyText) 같은 딥러닝 플랫폼은 코드수정 없이 모델을 구성하고 훈련하는 종단간(end-to-end) 솔루션을 제공한다. 구성(config) 파일을 플랫폼에 넣으면 훈련된 모델이 나오는 셈이다.

페이스북 AI 팀은 페이스북이 더 모듈화(잘 정의된 인터페이스 이외에는 내부구조 접근 차단)되고 상호운용이 가능하도록 재설계하기 위해 노력하고 있다. 재사용 가능한 요소를 독립형 라이브러리로 분할하고 종단간 훈련을 위한 하위호환성을 제공한다. 페이스북은 커뮤니티 전체 표준을 강화하기 위해 페이스북 오픈소스 히드라(Hydra) 프레임워크를 활용한다.

페이스북은 구성요소를 조직하고 반복되는 훈련을 관리하기 위해 경량 오픈소스 파이썬ㆍ파이토치 라이브러리 통합본도 제공한다. 표준화는 페이스북 라이브러리를 이용하는 사용자에게 도움이 될 것이다. 페이스북 라이브러리 사용자는 카탈리스트, 패스트에이아이(Fast.ai), 이그나이트와 같은 강력한 훈련용 프레임워크를 페이스북 오픈소스 프레임워크와 통합해 활용할 수 있다.

다양한 AI 하위 분야에 걸쳐 표준화되고 상호호환이 가능한 단일구성 요소를 갖추게 되면, 다른 분야의 연구와 엔지니어링 혁신과 새로운 AI 활용 방법을 더 빠르게 찾을 수 있게 된다.

◆ 콘텐츠 이해의 진화

콘텐츠 이해 분야 연구자들은 컴퓨터비전이나 자연어 처리(NLP)와 같은 커뮤니티로 나뉘어 항상 분열되어 왔다. 개별 커뮤니티는 각기 다른 사용 사례에 맞춘 자체 도구를 개발해 사용하면서 상호 소통이 없었다. 반면 딥러닝은 그 어느 때보다도 두 커뮤니티를 더 가깝게 만들었다.

한 분야에서 다른 분야로 아이디어를 적용하는 작업은 딥러닝을 적용하기 전에는 매우 어려웠다. 페이스북 AI팀은 생산성을 향상하고 서로 다른 분야 개발자 간 언어 통일을 실현하기 위해 수년간 프로그래밍 도구 개선에 힘써 왔다.

페이스북은 신규 딥러닝 프로젝트가 상당한 규모의 투자가 필요할 시점에 루아 토치, 카페2(Caffe 2)등 플랫폼 상에서 도구를 제작했다. 사용자가 코드 작성 없이 ‘통합 API(단일 구성 파일을 제공하는 API)’를 구축하는 것이 가장 타당했다. 코드작성 없이 모델을 산출해 내는 통합 API는 시간을 절약했고 딥러닝으로 콘텐츠를 모델링(기획ㆍ생산 등)하는 데 큰 역할을 수행했다.

그 이후로 상황은 상당히 달라졌다. 파이토치 덕분에 머신러닝 프로젝트 개발 속도가 더욱 빨라졌다. 페어섹, 파이텍스트, 클라투스비전 같은 최신 도구는 몇 년 전만 해도 실행 불가능했던 고급 모델을 딥텍스트(DeepText) 같은 구형 플랫폼에서도 구축ㆍ교육할 수 있게 됐다. 훨씬 더 읽기 쉽고 관리할 수 있는 코드로 프로그램을 실행할 수 있게 된 것이다.

파이토치 라이트닝은 딥러닝 프로젝트에서 과학과 엔지니어링을 깔끔하게 분리해 표준화와 자동화를 향상한다. 최근에 출시된 1.0 버전은 안정적인 API를 제공한다.

또 사용자는 페이스북 AI 오픈소스 ‘히드라’ 프레임워크로 안전하게 프로그래밍을 구성하고 작성할 수 있다. 히드라는 애플리케이션 코드 수정없이 서로 다른 클러스터로 시작하고 하이퍼파라미터 최적화 구현 기능도 제공한다. 이를 통해 연구자들은 더 중요한 업무에 집중할 수 있게 됐다.

◆향후 시나리오

페이스북 라이브러리와 외부 라이브러리의 협업은 단순히 신속한 AI 작업을 지원하는건 아니다. 복잡한 프로젝트에서 통일된 코드 스타일과 조직 시스템에 향상된 모듈화된 도구 개발과 통합을 확실하게 촉진시킨다.

이전에는 웹 개발자가 프레임워크를 완성하고 하위 영역에 걸친 스타일과 프로젝트 조직을 융합하는 데 몇 년을 보냈다. 이를 통해 커뮤니티 구성원은 대규모 개발자 생태계에서 서로 다른 구성요소와 도구를 훨씬 쉽게 사용ㆍ재사용할 수 있게 됐다.

개발자 세계에서 머신러닝계의 리액트(React)로 여겨질 만한 것을 만들려면 조금 더 시간이 걸릴 수 있다. 리액트는 페이스북이 개발한 사용자 인터페이스 빌드를 위한 자바스크립트 라이브러리다. 현장에서 일하는 모든 사람을 위한 라이브러리를 만들 수 있기 때문에 AI 시스템을 만드는 능력을 한 영역에서 다른 영역으로 확장하는 것은 아주 쉽다.

반면 서로 다른 하위 AI 분야 연구자들을 친숙하게 만들어 페이스북 내부와 AI 산업 전체에서 지식공유가 더 쉬워졌다.