스마트인재개발원 '프루스트' 팀, 멘토기업 '리바캉스'와 협업
여행지 이미지 분석을 통한 바디스파 제품 추천 서비스 고안
마음에 드는 이미지만 선택하면 '취향 저격' 향기의 제품 추천
텍스트 아닌 이미지 기반 고객 맞춤형 제품 추천 서비스 제공
고객 취향 분석해 신제품 콘셉트 선정‧매출 증대에 도움될 것

스마트인재개발원의 '프루스트(Proust)' 팀은 최근 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스' 아이디어를 고안해냈다. (사진=셔터스톡).
스마트인재개발원의 '프루스트(Proust)' 팀은 최근 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스' 아이디어를 고안해냈다. (사진=셔터스톡).

 

【편집자주】 광주광역시 소재 스마트인재개발원은 올해 한 해 동안에만 800여 명의 인재를 양성해 배출할 계획이다. 그동안 스마트인재개발원의 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 최근 인공지능‧빅데이터 분야 5개 과정에서 약 960시간의 교육을 마친 120명의 청년들이 최종 프로젝트를 시연하면서 성과를 발표했다. 기자는 Aidea 기획시리즈를 통해 청년들의 갈고닦은 역량이 결집된 기발한 아이디어들을 소개하려 한다.

#1 코로나19로 해외여행은 꿈도 못 꾸는 요즘 A씨는 최근 알게 된 인공지능(AI) 기반 서비스 덕에 잠시나마 예전 여행지에서의 추억을 떠올려본다. 이 서비스는 마음에 드는 여행지의 이미지들만 선택하면 내 취향에 꼭 맞는 향을 알려준다. 뿐만 아니라 해당 향기를 지닌 바디스파 제품도 추천해준다. A씨는 대학 시절에 배낭여행으로 돌아다녔던 프랑스 도시들의 이미지를 선택했다. 이미지 분석을 통해 추천 받은 제품을 구입해 사용해보니 기분 좋은 향이 온몸을 감싼다. 여행 당시 그리운 추억들이 새록새록 떠올라 행복해지는 A씨다.  

#2 나는 마들렌 조각이 녹아든 홍차 한 숟가락을 기계적으로 입술로 가져갔다. 그런데 과자 조각이 섞인 홍차 한 모금이 내 입천장에 닿는 순간, 나는 깜짝 놀라 내 몸속에서 뭔가 특별한 일이 있다는 사실에 주목했다. 이유를 알 수 없는 어떤 감미로운 기쁨이 나를 사로잡으며 고립시켰다. (...) 그러다 갑자기 추억이 떠올랐다. 그 맛은 내가 콩브레에서 일요일 아침마다 레오니 아주머니 방으로 인사를 하러 갈 때면, 아주머니가 곧잘 홍차나 보리수차에 적셔서 주던 마들렌 과자 조각의 맛이었다.

프랑스 소설가인 마르셀 프루스트의 '잃어버린 시간을 찾아서'의 한 대목이다. 주인공은 홍차에 적신 마들렌의 맛과 냄새를 통해 어린 시절을 떠올리게 된다. 이처럼 과거에 맡았던 향기나 냄새로 기억이 환기되는 현상을 일명 '프루스트 효과'라고 말한다. 그만큼 후각은 오래도록 잊고 있던 기억을 되살리는 강력한 요소 가운데 하나라는 것.

스마트인재개발원의 '프루스트(Proust)' 팀은  세계 유명 여행지들의 이미지 데이터와 색상을 분석하고 사용자가 선호하는 분위기의 향기 취향을 파악함으로써 그에 어울리는 맞춤형 바디스파 제품을 추천해주는 서비스를 제안했다. (영상=프랑스 관광청 유튜브).
스마트인재개발원의 '프루스트(Proust)' 팀은 세계 유명 여행지들의 이미지 데이터와 색상을 분석하고 사용자가 선호하는 분위기의 향기 취향을 파악함으로써 그에 어울리는 맞춤형 바디스파 제품을 추천해주는 서비스를 제안했다. (영상=프랑스 관광청 유튜브).

과거 여행지에서의 행복했던 추억을 향으로 간직할 수 있을까.

스마트인재개발원의 '프루스트(Proust)' 팀은 최근 '리바캉스(Re:Vacance)'라는 기업과 손을 잡고 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스' 아이디어를 고안해냈다. 리바캉스는 '휴가의 기억을 다시 상기시킨다'는 의미로 전 세계 유명 여행지들의 이름을 딴 바디스파 제품 런칭을 준비 중인 신규 브랜드다.  

프루스트 팀은 세계 유명 여행지들의 이미지 데이터 색상을 분석해 고객이 선호하는 분위기의 향기 취향을 파악함으로써 그에 어울리는 맞춤형 바디스파 제품을 추천해주는 서비스를 제안했다. 사용자가 선택한 이미지를 기반으로 개개인의 취향을 분석함은 물론 이를 반영한 고객 맞춤형 제품 추천 서비스를 제공하겠다는 구상이다. 

스마트인재개발원 '프루스트' 팀의 양고은 팀원이 팀에서 고안한 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스'에 대해 설명하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).
스마트인재개발원 '프루스트' 팀의 양고은 팀원이 팀에서 고안한 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스'에 대해 설명하고 있다. (사진=스마트인재개발원 인쌤TV 유튜브 캡처).

사용자가 다양한 여행지 사진들 가운데 마음에 드는 사진을 선택하면, 해당 이미지 분석을 통해 그 이미지를 대표하는 색상들을 추출하고 색상에 따른 감정 형용사를 시각화해 보여준다. 이 같은 데이터를 토대로 뽑아낸 대표 향을 반영해 제품을 추천해주는 서비스다. 최근 고객 맞춤형 추천 서비스 수요가 날로 늘어나고 있는 가운데, 프루스트 팀은 텍스트보다 이미지‧영상 정보를 선호하는 소비 트렌드에 맞춰 글이 아닌 이미지에 내포된 추상적인 분위기와 느낌을 객관화해 사용자의 취향을 파악할 수 있다는 강점을 무기로 내세웠다.

이미지는 텍스트에 비해 담고 있는 정보가 많기 때문에 사용자에 따라 받아들이는 정보가 다르다는 점에서 객관적인 지표를 만들기 어렵다. 그렇지만 프루스트 팀은 이미지가 텍스트보다 직관적이고 감성 공학적 측면에서 효과적이라 판단, 시장에서 차별화된 경쟁력을 갖출 수 있을 것으로 기대했다. 양동일 팀장을 통해 해당 아이디어에 대한 이야기를 들어봤다. 

(영상=양동일 팀장 제공).

【인터뷰】 '프루스트(Proust)' 팀의 양동일 팀장 

Q. 아이디어를 고안하게 된 계기가 궁금합니다.

 우리 팀은 '리바캉스(Re:Vacance)'라는 멘토기업과 협업해 프로젝트를 진행했다. '리바캉스'는 전 세계 유명 여행지들의 이름을 딴 바디스파 제품 런칭을 준비 중인 신규 브랜드다. 제품을 통해 여행지를 떠올리게 함과 동시에 향과 패키지 컬러로 여행지를 녹여내 스토리를 담은 감성공학 제품 판매를 목적으로 하고 있다.

이에 우리는 신생 브랜드를 홍보하고 소비자들의 관심을 끌 수 있도록 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스'를 포함한 브랜드 프로모션 웹페이지를 제작하기로 결정했다.

텍스트보다 이미지나 영상으로 소통하는 것을 선호하는 요즘 소비자들의 트렌드를 반영해 이미지를 통한 분석을 기획했다. 또 향기를 통해 여행지의 행복했던 기억을 상기시킨다는 기업의 비전을 담아 분석에 사용될 이미지를 여행과 관련한 이미지로 한정시켰다.

Q. 아이디어에 대한 구체적인 설명 부탁드립니다. 어떤 기술이 접목되었는지요.

▶ 우리 팀은 이미지의 색 분석을 통한 서비스를 기획했다. 프로젝트 진행 시에 많은 논문을 참고했다. 인간은 80%의 정보를 시각을 통해 얻으며, 시각은 색채와 형태로 분류할 수 있다고 한다. 특히 색채는 시각적인 감각 요소임에도 불구하고, 청각‧촉각‧후각‧미각과 같은 다른 감각에도 영향을 미친다는 점에 주목했다. 이에 우리는 이미지 분석을 통해 향을 추출하는 모델을 고안했다.

우리가 프로젝트에서 활용한 IRI 색상표(I.R.I. Hue&Tone 120 System)는 지식경제부(현 산업통상자원부)의 지원 아래 IRI색채디자인 연구소에서 만들었다. 기존 여러 유형의 색상 체계에 한국인의 감각을 수용해 개발됐다. 색상표에는 120가지의 색상이 있는데 110개의 유채색과 10개의 무채색으로 이뤄져 있다. 우리 팀은 이 색상표와 함께 'IRI 단색 이미지 스케일'과 'IRI 형용사 이미지 스케일' 자료를 프로젝트에 사용했다. 

IRI 색상표. (사진=양동일 팀장 제공).
'IRI 색상표(I.R.I. Hue&Tone 120 System)'. (사진=양동일 팀장 제공).

우선 우리가 가장 먼저 한 작업은 IRI 색상표를 데이터화하는 일이었다. 그림판으로 색을 찍어내 RGB값을 얻어냈고, 파이썬(python)의 오픈CV(OpenCV)에서 사용하기에 알맞은 HSV값으로 변환을 했다. RGB값으로 프로젝트를 진행하기에는 부적합하다고 생각했기 때문이다. 그 이유는 색을 3차원으로 표현할 때 RGB값은 빨강‧초록‧파랑으로 구분하기 때문에 3차원으로 120가지의 색을 좌표화시켜 보면 기준이 없는 것처럼 펼쳐져 있었다. 이에 색상‧채도‧명도를 나타내는 HSV값으로 변경한 것이다.

그 다음 작업은 감정형용사와 색상을 좌표화시키는 것이었다. 색상과 감정 형용사의 연관성 데이터를 수집하기 위해 이미지 스케일에서 색상과 감정 형용사를 분리하고 파이썬으로 그리드(grid)를 통해 좌표 데이터로 변환하는 과정을 진행했다. 

이어 이미지에서 5가지의 대표 색상을 뽑는 함수를 만들었다. 이때 머신러닝 사이킷런(sklearn)의 클러스터(cluster)와 케이민즈(KMeans)를 사용했다. 쉽게 말하면 비슷한 것끼리 군집화시킨 것이다. 이미지를 파이썬의 오픈CV로 불러오면 배열 형태로 자동 변환되는데 비슷한 색상들끼리 묶이게 되어 최종적으로 5개의 대표 색상이 추출된다. 그리고 우리는 IRI 색상표를 HSV값으로 변경했기 때문에 대표 색상들도 모두 HSV값으로 변경했다.

프루스트 팀은 이미지에서 5가지의 대표 색상을 뽑는 함수를 만들었다. (사진=양동일 팀장 제공).
이미지 분석 모델 생성 과정. (사진=양동일 팀장 제공).
프루스트 팀이 고안한 서비스의 이미지 분석 모델 생성 과정. (사진=양동일 팀장 제공).

HSV로 변경된 대표 색상들을 IRI 색상표의 색으로 단순화하기 위해 앞서 진행한 120가지 색과 대표 색 하나의 거리를 비교했다. 3차원 좌표에서 대표 색 하나당 총 120번 거리를 비교해 가장 거리가 가까운 색을 선택하게 했다. 그런데 거리의 값이 50을 넘는 순간 색이 너무 달라지는게 눈에 보여서 50을 초과하는 거리에 해당되는 색은 사용하지 않기로 했다.

이렇게 IRI 색상으로 바뀐 대표 색상은 이미 좌표화해둔 이미지 스케일에서 색상의 좌표에서 좌표 거리가 17 이하인 형용사들을 모두 반환한 후 빈도가 높은 형용사를 기준으로 최대 15가지의 형용사들을 추출하도록 했다. 이 결과를 파이썬의 워드클라우드로 시각화했고, 향도 대표 색상에 맞게 뽑을 수 있었다.

작업했던 코드들을 통합시켰고 웹페이지에 적용시켰다. 사용자는 웹페이지에서는 총 5개의 이미지를 선택하게 된다. 이미지를 분석하는 데에는 약 40초가 걸린다. 분석이 완료되면 워드클라우드로 감정형용사들을 시각화해 사용자에게 맞는 향을 알려준다. 그 다음에 그 향에 맞는 제품을 추천해주는 것이다. 제품 추천은 조향사가 정해놓은 제품의 향과 분석 결과의 향을 매칭시키도록 설계했다.

프루스트 팀이 고안한 서비스는 웹페이지에서 이미지 선택 시 이미지 분석을 통해 감정형용사들을 시각화해 고객에게 맞는 향을 알려준다. 그리고 그 향에 맞는 제품까지 추천해준다. (사진=양동일 팀장 제공).
프루스트 팀이 고안한 '여행지 이미지 분석을 통한 바디스파 제품 추천 서비스'의 이미지 분석 페이지와 상품 페이지. (사진=양동일 팀장 제공). 

Q. 프로젝트를 수행하는 과정에서 어려움은 없으셨나요.

 방향성을 정하는 게 너무 어려웠다. 우리는 무조건 딥러닝과 머신러닝 써야하는 줄 알고 정말 엉뚱하게 이미지 딥러닝을 하고 있었다. 프로젝트 기간의 절반이 지나고서야 이 방법이 아니라는 생각을 하게 됐고, 선생님의 조언을 받아 다른 방식으로 수정하게 됐다.

다른 방식을 찾아 최종적으로 쓰인 모델을 만들게 됐다. 우선 IRI 색상표를 데이터화해야 했다. 그런데 색상표가 국내에서 만들어진 것이라 외국 사이트에는 전혀 없는 데다 이 표를 데이터로 표현한 사람이 아무도 없었다. 그래서 그림판으로 한땀한땀 색을 뽑아내 다시 모델에 맞게끔 변환해야 했다. 그리고 색상‧형용사 이미지 스케일도 2차원 좌표에 놓고 한땀한땀 좌표를 뽑아냈다.

Q. 이번 성과가 향후 어떻게 활용될 수 있을지요.

 우리는 키워드가 갖는 직관적 의미뿐만 아니라 이미지가 함축하고 있는 분위기와 같은 추상적인 요소를 고려했다. 고객들이 인지하지 못한 부분을 구체적인 텍스트를 통해 보여줌으로 향에 대한 사전 지식이 없는 고객에게도 취향 분석 서비스를 제공할 수 있다.

또한 고객들의 편의성을 고려한 단순한 화면 구성으로 취향 분석 서비스의 참여도를 높였다. 분석 서비스 결과는 데이터베이스(DB)에 저장돼, 향후 해당 데이터를 활용해 신제품 컨셉 선정에도 도움이 될 것으로 기대한다.

Q. 향후 계획에 대해.

 우리 팀원 모두 이번 프로젝트를 경험하면서 앞으로도 개발자로서 이 분야 진로를 희망하고 있다. 업계 전문가가 되어 사회에 도움이 되고 싶다.

Q. 마지막으로 강조하고 싶은 한 말씀.

 이러한 프로젝트를 진행할 때에는 역시 팀워크가 중요한 것 같다. 우리 팀원 모두 배려심이 넘쳐 프로젝트를 원활하게 진행할 수 있었다. 그리고 더욱 끈끈한 팀 결속을 위해 중간중간 회식도 하고, 방탈출도 하고, 점심시간 멀리 있는 맛집도 가곤 했다. 서로 존중하고 배려해 좋은 결과를 낼 수 있었던 것 같다.

프루스트 팀의 단체사진. 양동일 팀장(우측 하단)과 신동희(좌측 상단)‧양고은(우측 상단)‧장우진(좌측 하단) 팀원. (사진=양동일 팀장 제공).
프루스트 팀의 단체사진. 양동일 팀장(우측 하단)과 신동희(좌측 상단)‧양고은(우측 상단)‧장우진(좌측 하단) 팀원. (사진=양동일 팀장 제공).

 

AI타임스 윤영주 기자 yyj0511@aitimes.com

[관련기사] [Aidea] ⑫ 도로 위 지뢰 ‘포트홀’…이제 주행만 해도 알아서 찾아내고 신고까지 척척

[관련기사] [Aidea] ⑪ “어디로 떠나볼까”…가고 싶은 곳 사진만 올리면 AI가 맞춤형 차박 캠핑지 추천