국내 연구진이 촉각으로 소리를 인식할 수 있는 기술을 개발했다. 이 기술을 활용하면 청각장애인이 기존보다 정확한 음을 내며 원하는 목소리를 내고 노래를 부를 수 있다.
한국전자통신연구원(ETRIㆍ김명준)은 주위 소리 및 자신 목소리의 음높이(Pitch)를 분석해 촉각 패턴으로 변환해주는 '촉각 피치 시스템'을 개발했다고 19일 밝혔다. 이 기술을 활용하면 주변 소리 및 목소리의 음높이를 피부로 느낄 수 있다.
최근 정보통신기술(ICT)을 활용한 의료 기술이 발전하면서 청각장애인과 일반인의 원활한 구어 대화가 가능해졌다. 하지만 의사소통에 필요한 소리의 의미를 파악할 수 있는 정도며, 음의 높낮이를 구분하는 데 한계가 있다. 이 때문에 청각장애인이 음악을 감상하거나 노래를 부르는 활동에 많은 제약이 있었다.
이에 착안한 연구진은 주변에서 4옥타브 계이름 '도' 소리가 들리면 사용자가 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 했다. 청각 정보로부터 소리의 주파수 신호를 뽑아내 음을 인식한 뒤, 촉각 패턴으로 만들어 착용자의 피부에 전달하는 '사용자 인터페이스(UI)' 기술이다.
손의 구조와 인지 용이성을 설계에 반영했고, 반음을 포함해 3옥타브 '도'에서 5옥타브 '시'까지에 해당하는 3개 옥타브 범위인 36개 음계를 촉각 패턴으로 표현했다. 손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있어 한 달가량 훈련을 하면 주변 소리와 내 목소리의 높낮이를 촉각으로 익힐 수 있다. 함께 개발된 학습 방법을 익히고 훈련 과정을 거치면 자신의 목소리를 원하는 음에 맞춰 낼 수도 있다. 청각장애인뿐 아니라 고령인 등도 언어 및 음향 학습 보조수단으로 활용할 수 있다.
연구진은 촉각 피치 시스템의 효과를 관찰하기 위해 강남대학교와 위탁 연구를 수행했다. 임상연구에는 인공와우 수술(전기 자극을 줘 소리음을 들을 수 있게 하는 의료술)을 받은 청각장애인 2명이 참여해 약 한 달간 15시간가량의 훈련을 수행했다. 그 결과, 연구진은 촉각을 이용해 음높이를 이해하는 참가자의 능력이 약 3배 향상된 것을 확인했다. 또 참가자가 훈련한 노래를 정확한 음으로 낼 수 있게 됐다.
이전에도 스탠포드대학교와 라이스대학교, 페이스북 등이 음성 및 텍스트 정보를 촉각으로 전달하는 연구를 진행했다. 하지만 모든 정보를 촉각으로만 전달할 수 있는 후속 연구가 필요해 기술의 상용화가 힘든 상황이었다.
ETRI의 촉각 피치 시스템은 인공와우 시술자 및 보청기 사용자가 음의 높낮이라도 파악하고 싶다는 실제 요구사항을 토대로 개발한 시스템이다. 따라서 사용자 환경에 바로 적용할 수 있으며, 관련 연구 중 임상을 거쳐 증명한 최초 사례다.
연구진은 본 기술로 단순히 청각장애인의 음악 활동뿐만 아니라 의사소통을 개선하는데도 크게 도움을 줄 수 있을 것으로 전망했다. 실제로, 언어 재활 훈련 과정에 음악 활동을 병행하면 음성 언어 및 소리에 관한 이해력 발전에 도움이 된다는 기존 연구가 있다.
연구진은 시스템의 착용성 및 완성도를 개선시켜 효과적인 특수교육법 및 훈련 기법 표준안을 만들기 위해 관련 협회 및 단체와도 협력을 진행할 예정이다. 또 향후 시스템의 편리한 착용이 이뤄질 수 있도록 손목 및 암배드 등 웨어러블 형태로 장비를 개발할 계획이다.
이외에, ETRI는 화재 알람이나 교통 신호 등 위험 상황을 알리는 소리가 어느 위치에서 발생했는지 파악할 수 있는 기술을 개발 중이다. 웨어러블 기기를 통해 촉각으로 전달하는 기술이며, 현재 청각장애인 대상 필드 테스트를 준비 중이다.
연구책임자인 신형철 ETRI 휴먼증강연구실장은 "사회 소수자에게 정말 필요한 적정(適正) 기술 개발을 위해 노력했다"고 말하며 "본 기술이 여러 사람을 도울 수 있는 복지 ICT로 활용되길 바란다"고 밝혔다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com