미니인터뷰(Mini Interview)
◆ API 2종 기술을 개발하게 된 연구 계기는
ETRI에서 행정문서QA와 패러프레이즈 인식 API를 개발한 목적은 널리 쓰이기 위함입니다.
인공지능 기술은 딥러닝의 발전으로 많은 향상이 있었으나, 일반 사용자들이 “아! 정말 편하게 바뀌었네!”라고 느낄만한 서비스는 많지 않았어요.
예를 들어, 저희가 국토교통부와 같은 부처 사이트에서 원하는 정보를 검색하는 방법은 10년 전이나 지금이나 큰 차이가 없었습니다. 하지만, 행정문서QA API와 같이 문서를 이해하고 사용자의 질문에 올바른 정답을 제시하는 기술을 이용하면, 사용자들이 이전보다 빠르고 효율적으로 원하는 정보를 검색할 수 있게 됐습니다.
그리고, 두 문장이 동등한 의미인지 인식하는 패러프레이즈 인식 API 역시 딥러닝 기술의 발전으로 성능은 향상됐습니다. 그러나 실세계에 적용되기 위해서는 ‘견고성’에 대한 고려가 필요하고, 금번에 공개한 패러프레이즈 인식 API도 딥러닝의 견고성을 향상하기 위해 많은 노력을 하게 됐습니다.
◆ 기술 개발 과정에서 힘들었던 점은
기술 개발에 가장 어려웠던 점은 ‘데이터(DATA)’에 있었습니다.
예전에는 기술 개발 시 알고리즘이나 모델을 설계하고 실험하는 것이 주요 과정이었다면, 최근에는 BERT, GPT와 같은 딥러닝 언어모델을 주로 활용하면서 알고리즘, 모델 개발은 상대적으로 정형화된 과정을 거치게 되었어요.
행정문서QA API는 다양한 서식, 포맷의 오피스문서 데이터에서 어느 부분이 단락 제목 또는 내용인지, 표에 해당하는 캡션은 무엇인지를 인식하여 딥러닝 언어모델을 활용할지가 어려운 부분이었어요.
또 패러프레이즈 인식 API는 딥러닝 언어모델이 사람과 다르게 쉽게 틀리는 유형의 데이터를 분석하고, 이와 같은 유형의 데이터에 대해 견고성을 향상하는 게 힘든 부분이었습니다.
◆ 이번 기술로 연구진이 기여하고자 한 것은
최근 인공지능 기술 경쟁이 언어분야에 집중되고 있는 추세이고, 구글 및 페이스북 등 글로벌 기업에서 다국어 모델을 개발하여 한국어도 처리 가능한 인공지능 모델을 개발하고 있습니다.
엑소브레인 과제에서 개발한 기술을 보급하여 한국어AI 산업 생태계를 활성화하고, 외국 솔루션 대비 한국어AI 산업 경쟁력을 향상하는 것이 목표입니다.
국내 연구진이 사람처럼 똑똑하게 문서를 이해하고 원하는 정보를 찾을 수 있는 기술을 개발했다. 이로써 필요한 내용을 빠르게 파악해 업무 생산성을 높이고 정보 공유와 활용도를 대폭 높이는 데 큰 도움이 될 전망이다.
한국전자통신연구원(ETRI)은 7일 오피스 문서로부터 사용자의 질문에 정답을 알려주고 두 문장이 같은 의미인지 이해하는 API’ 2종을 개발했다고 밝혔다.
일반적으로 기업을 비롯한 조직에서는 업무와 관련된 여러 정보와 지식들을 전자문서 형태로 만들고 있다. 회사내 출장 관련 규정 문서의 경우, 출장비, 정기여권비 등 예산과 관련된 정확한 내용을 사용자가 찾아야 하는 경우가 있다.
기존의 홈페이지나 그룹웨어에 저장된 정보들은 게시물 제목과 파일 이름에 포함된 '단어'로 검색하며, 일일이 문서를 열어보며 원하는 내용을 찾아야 해 검색의 효율성이 떨어졌다.
이번에 ETRI에서 개발한 API 2종 기술은 사용자가 질문시 오피스 문서에서 두 문장이 같은 의미인지 이해해 정답을 찾아 알려준다.
기존 컴퓨터 찾기 기능인 'CTRL+F'와 ETRI에서 개발한 API 2종 기술과의 가장 큰 차이점은 단어가 완전히 일치하지 않아도 답을 찾아준다는 것이다.
임준호 ETRI 책임연구원은 "사실 단어 일치율이 높을수록 정확도는 높아질 수 밖에 없다. 하지만 이를 AI 딥러닝으로 해결하게 됐다"고 밝혔다.
API 2종 기술은 크게 행정문서 질의응답(QA) API 기술과 패러프레이즈(Paraphrase) 인식 API 기술로 나뉜다.
행정문서 질의응답(QA) API 기술은 AI 딥러닝 언어모델을 이용해 단락과 표를 보고 정답과 근거 문장을 인식하는 기술이다.
예를 들어 '출장 경비 100만원, 결재 어느 선까지 받아야 하나' 같은 사내 규정 관련 질문시 '100만원 이하, 실장 전결'이라는 답변으로 관련 정보가 담긴 문서와 그 이유가 되는 문장 부분까지 찾아 준다.
공동연구기관인 한글과 컴퓨터에서 블라인드 평가로 정확도를 측정한 결과, 상위 5개 결과 중 단락을 대상으로 검색해 나온 결과는 89.65%의 정확도를, 표를 대상으로 진행한 검색 결과는 81.5%의 높은 정확도를 보였다.
패러프레이즈(Paraphrase) 인식 API 기술은 사람처럼 똑똑하게 문서를 보고 다른 형태의 문장인데도 같은 뜻을 지니는지 파악하는 기술이다.
기존 AI 딥러닝 기술은 사람과 달리 문장이 조금만 달라져도 의미 관계를 올바르게 인식하지 못하는 견고성(robustness)에 문제가 있었다.
AI가 문장 의미 관계를 사람처럼 인식하지 못했던 견고성 관련 문제 유형은 크게 대체형, 부정형, 도치형 3가지였다.
예를 들어 '그는 서울을 여행했다' 와 '그가 여행한 곳은 서울이다' 같은 문장은 사람과 기계 둘다 쉽게 구분 하지만 '그는 제주도를 여행했다'와 같은 대체형 문장과 '서울을 여행하지 않았다' 같은 부정형 문장은 AI가 잘 구분하지 못했다. '서울에서 제주도로 갔다'와 '제주도에서 서울로 갔다' 처럼 도치형 문장도 마찬가지로 AI가 잘 구분하지 못했다.
ETRI는 딥러닝 기술의 견고성 한계를 개선, 다양한 유형의 문장에서 의미 관계를 인식하도록 본 기술을 개발했다.
평가셋 대상 견고성을 평가한 결과, 96.63% 정확도를 보이며, 기존 오픈소스 딥러닝보다 성능을 크게 올렸다.
한편, 본 기술은 ETRI 공공 인공지능 오픈 API‧데이터 서비스 포털 사이트에서 누구나 쉽게 이용할 수 있다.
개발된 기술은 표준인 XML 기반으로 문서 서식을 처리한다. 현재는 한글 문서 대상으로 서비스를 제공하지만 개발 기술 자체는 워드, PDF 등 다른 문서에도 범용적으로 쓰일 수 있어 사내 규정, 매뉴얼, 온라인 공고 등 다양한 문서와 분야에 적용될 전망이다.
AI타임스 이하나 기자 22hnxa@aitimes.com
