메타(Meta)가 위키피디아 항목을 보다 정확하게 만들기 위해 수십만 건의 인용을 한번에 자동으로 검증할 수 있는 AI 모델을 개발했다.
약 650만 개의 기사가 있는 역사상 가장 인기 있는 백과사전인 위키피디아(Wikipedia)는 연구 정보, 배경 자료 또는 대중 문화에 대한 질문에 답을 찾기 위해 가장 먼저 찾는 곳이다.
그러나 우리가 읽고 있는 내용이 정확한지 어떻게 알 수 있을까? 위키피디아는 크라우드소싱(crowdsourcing) 되기 때문에 사실을 확인해야 한다. 특히 논쟁의 여지가 있는 진술이나 논란의 소지가 있는 자료에는 인용이 포함되어야 한다. 자원 봉사자들은 위키피디아의 각주를 다시 확인하지만 사이트가 계속 성장함에 따라 매월 17,000개 이상의 새로운 기사가 추가되는 속도를 따라가기가 어렵다.
자동화된 도구는 횡설수설하는 것이나 인용이 부족한 진술을 식별하는 데 도움이 될 수 있지만, 출처(source)가 실제로 주장을 뒷받침하는지를 결정하도록 인간 편집자를 돕는 것은 훨씬 더 복잡한 작업이다. 메타 AI는 한 번에 수십만건의 인용을 자동으로 스캔해 해당 주장을 진정으로 뒷받침하는지 확인할 수 있는 첫 번째 모델을 개발했다. (여기에서 오픈 소스로 제공되며 여기에서 검증기의 데모를 볼 수 있다.)
모델의 지식 소스로 1억 3,400만개의 공개 웹페이지로 구성된 새로운 데이터 세트를 만들었다. 의심스러운 인용에는 주의를 환기시켜 인간 편집자가, 인용된 수천 개의 진술을 선별하지 않고도 결함이 있을 가능성이 가장 높은 사례를 평가할 수 있도록 한다. 인용이 관련이 없는 것 같으면 모델은 주장을 뒷받침하는 더 적절한 출처를 제안한다.
궁극적인 목표는 위키피디아 편집자가 체계적으로 인용 문제를 발견하고 인용을 신속하게 수정하거나 해당 기사의 내용을 대규모로 수정할 수 있도록 돕는 플랫폼을 구축하는 것이다.
텔아비브 대학교의 연구원이자 위키미디어 파운데이션(Wikimedia Foundation)이사회의 부회장인 샤니 이븐스타인 슈가로프(Shani Evenstein Sigalov)는 "이것은 인용과 정확한 출처를 효율적으로 추천함으로써 자원 봉사자의 작업을 확장하는 데 도움이 될 수 있는 기계 학습 도구의 강력한 예다. 이러한 프로세스를 개선하면 새로운 편집자를 위키피디아로 끌어들이고 주변의 수십억 사람들에게 더 좋고 신뢰할 수 있는 정보를 제공할 수 있다. 특히 머신 러닝 도구가 300개 이상의 언어로 위키미디어(Wikimedia) 커뮤니티에 서비스를 제공하기 위해 보다 맞춤화된 인용 및 다국어 옵션을 제공할 수 있기 때문에 이 분야에서 지속적인 개선을 기대한다"고 말했다.
위키(Wiki) 항목과 인용된 기사와 같은 복잡한 텍스트 구절 간의 관계를 이해하도록 기계를 가르치는 것은 연구 커뮤니티가 실제 지식에 대해 추론할 수 있는 보다 스마트한 시스템으로 AI를 발전시키는 데 도움이 될 것이다.
처음에는 고급 AI 시스템에서도 작업의 규모가 어마어마해 보였다. 확인해야 할 수백만 건의 인용과 고려해야 할 수백만 건의 잠재적 증거 문서가 있었다. 더 무서운 것은 인용 편집을 하려면 인간에 가까운 언어 이해력과 통찰력이 필요하다는 것이다. 이 작업에서 성공하려면 AI 모델은 문제의 주장을 이해하고 인용된 웹사이트에서 해당 구절을 찾고 출처가 해당 진술을 진정으로 검증하는지 예측해야 한다.
메타 AI에서는 이미 차세대 인용 도구의 구성 요소를 개발하기 시작했다. 작년에 정보 검색 및 검증을 통합하는 AI 모델을 출시했으며, 신경망이 인터넷 크기의 데이터 풀에서 관련 소스 자료를 정확히 찾아낼 수 있도록 언어의 미묘한 표현을 학습하도록 훈련하고 있다.
사람이 추론과 상식을 사용하여 인용을 평가한다면 메타의 AI 시스템은 자연어 이해(NLU) 기술을 적용해 출처에서 주장을 추론할 수 있는 가능성을 평가한다. NLU에서 모델은 인간의 문장(또는 단어, 구 또는 단락)을 복잡한 수학적 표현으로 변환한다. 또한 한 진술이 다른 진술을 지지하는지 모순되는지를 결정하기 위해 이러한 표현을 비교하는 도구를 설계했다.
시스템의 주요 구성 요소 중 하나로서 1억 3,400만 웹 페이지가 포함된 새로운 데이터 세트인 스피어(Sphere)는 오픈 소스로 제공되는 웹 규모 검색 라이브러리 역할을 한다. 라이브러리에 있는 수백만 개의 웹 페이지 중에서 적절한 소스를 찾기 위해 AI를 사용하여 방대한 양의 정보를 색인화하는 방법을 설계했다. 또한 알고리즘에 위키피디아의 400만 클레임을 제공하고 방대한 웹 페이지 풀에서 단일 소스에 집중해 각 진술을 검증하도록 가르쳤다.
검색하는 동안 모델은 개별 단어가 아닌 전체 문장의 의미에 대한 수학적 표현을 만들고 비교한다. 웹 페이지에는 긴 텍스트가 포함될 수 있기 때문에 모델은 콘텐츠를 청크로 나누어 평가하고 URL 추천 여부를 결정할 때 가장 관련성이 높은 구절만 고려한다. 다른 위키피디아 인덱스보다 40배 더 많은 콘텐츠를 카탈로그화하는 이러한 사전 구축 인덱스는 스피어에 포함된다.
색인은 새로운 텍스트를 원본 인용과 비교하는 증거 순위 모델(evidence-ranking model)에 잠재적 출처를 전달한다. 세분화된 언어 이해력을 사용해 모델은 주장을 뒷받침할 가능성에 따라 인용된 출처와 검색된 대안의 순위를 지정한다. 실제 세계에 배포되면 모델은 편집자가 검토하고 승인할 수 있는 예상 인용으로 가장 관련성이 높은 URL을 제공한다.
일반적으로 이와 같은 모델을 개발하기 위해 입력은 한,두 문장일 수 있다. 주장을 뒷받침할 수도 있고 지원하지 않을 수도 있는 전체 웹사이트와 함께 위키피디아의 복잡한 설명으로 모델을 훈련했다. 결과적으로 모델은 인용의 정확성을 감지하는 측면에서 성능이 비약적으로 향상됐다. 예를들어 모델은 위키피디아 기사 “2017 in Classical Music”에서 인용에 대한 더 나은 출처를 찾았다. 주장은 다음과 같다.
"로스앤젤레스 필하모닉은 2018년 1월 22일부터 사이먼 우즈를 차기 회장 겸 CEO로 임명한다고 발표했다."
이 성명에 대한 현재 위키피디아 각주는 2018년 1월 22일에 발효된 새로운 회장 겸 CEO의 임명을 발표하는 Dallas Symphony Association의 보도자료로 연결한다. 유사성에도 불구하고 증거 순위 모델은 보도 자료가 주장과 관련이 없다고 추론했다. 그리고 AI 인덱스는 Violinist.com 웹사이트의 블로그 게시물인 또 다른 가능한 출처를 제안했다.
"목요일 로스앤젤레스 필하모닉은 2018년 1월 22일부터 사이먼 우즈를 새로운 CEO로 임명했다고 발표했다."
그런 다음 증거 순위 모델은 이것이 주장에 대한 위키피디아의 기존 인용보다 더 관련성이 있다고 올바르게 결론지었다.
배포할 준비가 되면 모델은 위키피디아의 지식 품질을 강화해 거의 모든 사람이 사용하는 리소스의 정확성을 유지하는 데 도움이 된다. 그 외에도 이 프로젝트는 궁극적으로 연구 커뮤니티가 AI의 어려운 문제를 해결하는 데 도움이 될 수 있다. 모델은 전례 없는 규모로 현실적인 데이터에 대해 훈련됐다. 자동 사실 확인 시스템의 개발을 위한 예비 단계를 나타내는 것 외에도 예를 들어 사전 훈련된 모델 역할을 함으로써 고전적인 자연어 추론, 해당 검색과 같은 다른 많은 작업에서 더 나은 결과를 얻을 수 있도록 길을 안내할 수 있다.
AI타임스 박찬 위원 cpark@aitimes.com
