환경 적응 신경망, 이미지 정보를 형태·스타일 정보로 분리 활용
한 모델로 이미지 변환 자유롭게 가능...CVPR 2021서 논문 발표
기존 이미지 변환해 새로운 AI 학습용 데이터로 사용 가능

DGIST 정보통신융합전공 임성훈 교수(오른쪽), 제1저자 이승훈 학위연계과정생(왼쪽)(사진=DGIST)
DGIST 정보통신융합전공 임성훈 교수(오른쪽), 제1저자 이승훈 학위연계과정생(왼쪽)(사진=DGIST)

인공지능(AI) 연구 주제 중 가장 경쟁이 치열한 분야인 컴퓨터 비전(Computer Vision)에 새로운 신경망 기술을 도입해 성능을 대폭 끌어올린 성과가 국내에서 나왔다. DGIST 정보통신융합전공 임성훈 교수팀이 개발한 ‘환경 적응 신경망’ 이야기다.

임 교수팀이 개발한 기술은 이미지 정보를 기존과 같은 추상적인 정보가 아니라 이미지의 형태 정보와 스타일 정보로 분리해 활용한다. 한 모델로도 이미지 변환이 자유자재로 가능하며, 기존 시각인지 AI 성능을 2배 이상 개선했다.

특히 딥러닝 학습을 위한 데이터가 부족한 상황에서 학습 데이터 확보에 유용하게 쓰일 것으로 기대된다.

DGIST(총장 국양)는 임성훈 교수 연구팀이 딥러닝 기술을 활용해 복잡하고 다양한 이미지에서 영상의 환경 정보를 분리, 변환하는 AI 신경망 모듈을 개발했다고 14일 밝혔다.

해당 연구는 성과를 인정받아 비전 분야 대표적인 국제학술대회 CVPR 2021서 지난 6월 25일 발표됐다. 논문명은 ‘DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation’이다. 제1저자는 정보통신융합전공 이승훈 학위연계과정생이다.

그간 시각인지 연구에서는 도메인 차이로 발생하는 성능 저하를 어떻게 해결할 것인가가 큰 관건이었다. 도메인(Domain)은 여러 비슷한 특징을 가진 이미지 집합을 의미한다.

문제 해결을 위해 기존 연구에서는 여러 도메인에서 공통으로 나타나는 이미지 정보를 찾는데 집중했다. 해당 방법에서는 공통 정보가 추상적인 경우가 많아 이미지 정보를 제대로 활용하기 어려웠다. 결과적으로 적용 가능한 데이터와 모델 성능이 제한적이었다.

활용한 이미지 정보를 선형적으로 단순하게 구성하는 만큼 각 이미지 당 변환된 이미지 하나씩만 얻을 수 있는 것도 한계점이다.

문제 해결책으로 임성훈 교수팀은 이미지 정보를 전체적인 형태 정보와 스타일 정보로 나눠 도메인마다 다른 가중치를 적용하는 방식을 고안했다.

먼저 이미지 정보의 구성이 도메인마다 다를 수 있고 선형적 구성처럼 단순한 구성이 아닐 것이라는 가설을 세웠다. 다음으로 이미지 정보를 전체적인 형태 정보와 스타일 정보로 뚜렷하게 나눌 수 있는 분리기를 설계했다.

이를 이용해 도메인마다 다른 가중치를 사용해 도메인 간의 차이를 반영할 수 있게 했다. 또한 분리된 이미지 정보들 간의 연관성을 이용해 각 이미지 구성에 알맞은 스타일 정보를 찾는 새로운 신경망 구조를 개발하는 데 성공했다.

임성훈 교수팀이 고안한 신경망 구조(사진=DGIST)

연구팀은 “이미지 정보들 간 연관성을 이용해 각 이미지 구성에 맞는 스타일 정보를 찾는 모듈을 개발했다. 이를 적용한 결과, 단순한 데이터셋과 복잡한 데이터셋 모두에서 기존보다 높은 성능을 보였다”고 말했다.

각 도메인 이미지를 다른 도메인 이미지로 변환한 결과(사진=DGIST)
각 도메인 이미지를 다른 도메인 이미지로 변환한 결과(사진=DGIST)

새로운 신경망은 한 모델로도 여러 도메인의 이미지 변환이 자유자재로 가능한 장점이 있다. 더불어 시각 인지 문제에 연구팀이 개발한 도메인 적응 알고리즘을 적용했을 때 기존보다 2배 높은 정확도를 보였다는 설명이다.

복잡한 구성의 이미지에 대한 이미지 변환 결과(사진=DGIST)
복잡한 구성의 이미지에 대한 이미지 변환 결과(사진=DGIST)

이번 성과 의미에 대해 임성훈 교수는 “딥러닝 모델을 학습하기 위해 충분한 양의 데이터가 필요하지만, 실제 상황에서는 데이터가 부족한 경우가 많다. 본 연구에서 고안된 신경망은 새로운 데이터들도 기존 데이터들을 활용해 자유자재로 이미지 변환을 할 수 있기 때문에 데이터 확보에 효과적”이라고 강조했다.

이미지 변환, 도메인 적응(Domain Adaptation)과 같은 연구에도 큰 기여를 할 것으로 예상된다. 도메인 적응은 여러 도메인에서도 모델의 성능을 높게 유지하는 것을 목표로 하는 연구를 의미한다.

임 교수는 “기존의 연구들을 살펴보면서 이미지 정보에 대한 분석 없이는 한계가 있을 것이라 생각하였고, 도메인 간의 차이도 결국 스타일의 차이가 큰 몫을 할 것이라는 생각을 하게 됐다”며 연구를 시작한 계기를 설명했다.

더불어 “이번 연구를 통해 개발한 신경망은 이미지 정보에 대한 새로운 분석이 담긴 신경망이다. 향후 관련 기술을 좀 더 개선한다면 많은 분야들에 적용돼 AI 기술 발전에 긍정적인 영향을 줄 것”이라 전했다.

 

AI타임스 박성은 기자 sage@aitimes.com

[관련기사]비판받던 AI안면인식 기술, 대형 산불 방지에 최적...한국업체 '알체라'도 기술 제공

[관련기사]"'보는' 인공지능의 등장" ⑨ 단일감각지능 고도화_시각지능

키워드 관련기사
  • CVPR 2021서 누가 가장 활약했나? 연세대·네이버 최다 논문, 카이스트·LG 연구팀과 카카오·고대팀도 뛰어난 성과 내
  • 서울대, 국제 '컴퓨터비전·패턴인식' 학회서 '17편' 역대 최다 논문 채택...논문 수, 카이스트와 양강 구도
  • '임금부터 NO업데이트까지'...데이터 라벨링 이래서 문제였다