2150년 배경의 영화 ‘아바타(Avatar)’. 영화는 인류가 외계 행성인 '판도라'에서 값비싼 자원인 '언옵타늄'을 채취하기 위해 대규모 부대를 파견하고, 임무를 원활하게 수행하기 위해 '아바타'를 만들어 이용한다는 상상에서 시작합니다.
아바타는 판도라 원주민과의 소통을 위해 인간과 원주민 '나비족'의 DNA를 혼합해 제작한 인공 육체입니다. 아바타는 조종자와 연결한 링크 장치를 통해 생각만으로 조종할 수 있습니다. 뇌파 전달만으로 아바타를 움직일 수 있는 것이지요.
아주 먼 미래의 이야기입니다. 하지만 지금도 장애 환자의 뇌파로 로봇을 움직일 수 있는 기술 개발이 한창입니다. 바로 뇌와 컴퓨터를 연결하는 인터페이스 기술인 'BCI(Brain-Computer Interface)'입니다. 이 기술을 완성하면 인공 육체를 조종하거나 뇌와 다른 장치를 연결해 정보를 주고받을 수 있게 되는 것이지요.
BCI 기술 개발은 1970년대부터 시작됐습니다. 환자 재활이나 가전제품에 적용해 삶의 질을 향상시키기 위한 것이었습니다. 그런 것이 공상과학영화의 소재로 자주 활용되고 있는 것입니다.
BCI 기술의 기본 구조는 뇌파 측정을 위한 전처리 및 정보 추출과 분류로 나눌 수 있는데 추출 방식에 따라 침습식과 비침습식으로 구분합니다. 침습식 BCI는 두피를 뚫고 직접 뇌 안에서 신호를 측정하고, 비침습식 BCI는 외부에서 간접적으로 신호를 측정하는 방식입니다.
BCI 기술은 뇌 질환 치료에 적용할 수 있습니다. 침습식 BCI를 통해 파킨슨병 등을 치료하는 것도 가능합니다.
뇌에 자극을 준 뒤 인공지능(AI) 알고리즘을 이용해 반응을 분석하고 새로운 자극을 생성해 치료할 수 있습니다. 미래에는 뇌 속의 인공 신경망을 재구축하는 수준까지 발전할 것으로 기대됩니다. 이러한 방식은 뇌 질환 치료에 효과적일 것으로 기대됩니다.
물론 현재의 뇌-컴퓨터 인터페이스 기술만 가지고는 영화에서와 같은 아바타를 만들어내기는 어렵습니다. 인간의 모든 생각과 감정을 주고 받기에는 아직 기술적 한계가 존재합니다.
다만 비슷한 분야의 연구는 지속되고 있습니다. 지난 수십년간 상당한 발전도 이루었습니다.
특히 BCI 기술에 대한 최근의 연구 성과는 낙관적인 전망을 가능하게 합니다. 여기서는 BCI 기술에 대한 최근의 연구 성과에 어떤 것이 있는지 살펴보도록 하겠습니다.
스위스 로잔 공과대학 연구진은 뇌 신호를 읽어 영상으로 변환해주기 위한 연구의 일환으로 쥐의 뇌 신호를 실시간으로 해석한 다음 쥐가 보고 있는 비디오를 재현할 수 있는 기술을 개발했다고 과학저널 ‘네이처’에 발표했습니다.
연구진은 뇌의 시각 피질 영역에 삽입된 전극 탐침을 사용하여 쥐의 뇌 활동을 측정한 다음 어떤 뇌 신호가 보고있는 영화의 어떤 프레임과 연관되어 있는지를 학습시키는 방식으로 연구를 진행했는데요.
연구진은 50마리의 쥐에게 30초 분량의 비디오를 9번 시청하게해 뇌 활동 데이터를 수집해 ‘세브라(CEBRA)’라는 AI 모델을 학습시켜, 뇌 신호을 비디오의 특정 프레임에 매핑했습니다.
그런 다음 새로운 쥐에게 동일한 비디오를 시청하게 하면서 뇌 활동을 측정하고 이 뇌 활동 데이터를 세브라로 해석했습니다.
그 결과 세브라는 쥐가 보고 있는 프레임을 실시간으로 예측할 수 있었고, 연구진은 예측한 프레임을 영상으로 변환했는데요. 쥐가 돌아다니고 완전히 주의를 기울이지 않은 경우를 제외하고는 재구성된 영상이 약간의 결함은 있었지만 원본 영상과 거의 일치했습니다.
연구진은 뇌 활동 패턴과 시각적 입력 사이의 연결을 밝혀냄으로써 이 도구가 시각 장애가 있는 사람들에게 시각적 감각을 생성하는 방법을 밝혀낼 수 있을 것으로 기대하고 있습니다.
텍사스대 연구진의 최근 연구 성과도 주목할 만합니다. 연구진은 사람의 뇌 활동을 기능적 자기공명영상(fMRI)으로 측정해 생각하거나 상상하는 내용을 문장으로 재구성해주는 AI 시스템을 개발했다고 과학저널 ‘네이처’에 발표했습니다.
fMRI는 전자파를 통해 뇌 혈류와 관련된 변화를 감지해 뇌 활동을 바침습적으로 측정하는 기술입니다. 머리에 전극이나 임플란트를 삽입할 필요는 없지만, 뉴런 신호를 직접 인식하는 장치에 비해 해석에 시간이 오래 걸리고 실시간성이 떨어졌지는 단점이 있는데요..
연구진은 사람이 듣거나 생각하는 것을 단어 단위로 낱낱이 해독하기 보다는 AI 모델을 사용해 듣거나 생각한 것의 요지를 파악하는 방식으로 문제를 해결했습니다.
연구진은 우선 3명의 피실험자가 fMRI 장치를 사용한 상태에서 오디오 드라마나 팟캐스트를 듣도록 한 다음 총 16시간 측정한 fMRI 스캔 데이터와 원본 문장을 오픈AI의 대규모 언어 모델인 GPT-1에 학습시켜, fMRI 데이터를 바탕으로 생각을 해석하는 알고리즘 '시맨틱 디코더(Semantic Decoder)'를 만들었습니다.
그런 다음 피실험자들에게 훈련 중 들려주지 않은 새로운 이야기를 들려주면서 뇌 활동을 측정하고, 이 뇌활동 데이터를 디코더로 해석했습니다.
그 결과 디코더는 새 이야기의 의미 파악에 필요한 단어들을 포착해냈고, 일부는 이야기에서 사용된 정확한 단어와 구문까지 생성해내는 것으로 나타났습니다.
연구진은 특히 디코더가 단어까지 일치하지는 않아도 이야기의 요지를 파악하는 데 뛰어났다고 밝혔습니다.
또한 같은 방식으로 참가자들이 fMRI내에서 시청한 무성 영화의 내용을 상당히 정확하게 재현하는 데도 성공했는데요.. AI가 말이 아닌 생각까지도 이해할 수 있다는 의미죠.
연구진은 뇌손상, 뇌졸중, 전신 마비 등의 환자들이 주변 사람들과 의사소통을 할 수 있도록 도움을 줄 수 있다는 기대를 가지고 있습니다.
일본 오사카 대학 연구진은 이미지 생성 AI 모델인 '스테이블 디퓨전'을 사용해 시각적 자극을 받은 뇌를 fMRI 스캔한 뇌파를 사진 이미지로 바꾸는 기술을 개발했습니다.
연구진은 피실험자가 얼굴 이미지를 볼 때 fMRI를 이용해 시각을 담당하는 뇌 영역에서 뉴런의 활동을 스캔한 다음 스테이블 디퓨전 모델에 입력해 fMRI 스캔 정보를 기반으로 정확한 이미지를 생성할 수 있었습니다.
피실험자가 이미지를 보는 동안 fMRI 기계에서 뇌 신호를 캡처하고 작은 선형 모델을 이용해 fMRI 데이터로부터 이미지의 잠재적 표현을 예측합니다. 이미지의 잠재적 표현은 가장 관련성이 높은 특징만 포함하는 이미지의 압축된 버전입니다.
이렇게 예측한 결과물은 fMRI 데이터를 대략적으로 나타내는 이미지가 됩니다. 이 대략적인 이미지는 오토인코더의 인코더로 처리하고 확산 프로세스를 통해 노이즈를 추가합니다.
그런 다음 뇌 상부 영역에서 측정한 fMRI 신호를 이용해 잠재적인 텍스트 표현을 디코딩하고, 이렇게 생성한 대략적인 이미지와 텍스트 표현을 노이즈 제거 모델에 공급해 오토인코더의 디코딩 모듈로 전달, 최종 이미지를 생성하는 방식입니다.
이 기술은 혼수 상태에 있는 환자의 뇌파를 읽고 이미지로 번역하여 환자와 의사 소통하는 데 도움을 주거나 병이나 사고로 실명한 사람들의 시력 회복에도 도움이 될 수 있습니다.
미국의 BCI 스타트업 싱크론은 뇌 수술 없이 혈관을 통해 이식하는 뇌 임플란트를 개발, 7명의 환자에게 성공적으로 이식하고 테스트를 진행중이고 합니다.
싱크론이 개발한 BCI는 뇌 신호를 해독해 외부 장치를 구동하는 명령으로 변환하는 시스템인데요. 두개골에 구멍을 뚫거나 뇌 수술을 할 필요 없이, 심장에 스텐트를 삽입하는 것과 유사한 혈관 내 시술로 경정맥을 통해 뇌의 운동피질 내에 삽입됩니다.
이식된 장치에 장착된 ‘스텐트로드(Stentrode)’라는 전극 장치들이 혈관 벽에 자리를 잡고 가슴 부분의 피부 아래에 연결된 안테나를 통해 뇌 신호를 외부 장치로 전송하는 방식입니다.
특히 첫 번째 시험 환자에게 이식한 장치가 부작용 없이 12개월 동안 신호 품질이나 성능이 저하되지 않는 것으로 나타나 장기적인 안전성을 입증했다고합니다.
연구진은 이 기술을 통해 이제 마비 환자들도 온라인 뱅킹과 온라인 쇼핑을 하고 친구나 가족에게 문자나 이메일을 보내는 정도의 일상 생활이 가능해질 것으로 기대하고 있습니다.
일론 머스크의 뉴럴링크의 창립 멤버인 벤자민 라포트가 공동 설립한 스타트업 프리시즌 뉴로사이언스는 사람의 두개골 안에 작은 전자 장치를 이식하기 위한 BCI 개발하고 있습니다.
프리시즌 뉴로사이언스가 개발중인 BCI는 뇌 신호를 해독해 외부 장치를 구동하는 명령으로 변환하는 시스템입니다. 뇌 조직을 관통하지는 않고 사람의 두개골 바로 아래에 센서를 배치하고 임플란트를 사용해 신경학적 상태를 치료하는 것을 목표로 합니다.
인간의 대뇌 피질은 6개의 세포층으로 구성되어 있지만 프리시즌은 7층을 연상시키는 ‘레이어 7 코티컬 인터페이스(Layer 7 Cortical Interface)’ 장치를 만듭니다. 레이어 7코티컬 인터페이스는 마비 환자가 신경 신호만을 사용해 디지털 장치를 작동하도록 돕는 뇌 임플란트입니다.
레이어 7 코티컬 인터페이스 임플란트는 스카치 테이프 조각과 유사한 사람의 머리카락 두께 정도의 얇고 유연한 필름 소재 스트립입니다. 특수한 최소 침습 두개골 미세 슬릿 기술을 활용해 이식할 수 있으며 조직 손상 없이 뇌 표면에 맞도록 설계되었다고 하죠.
두개골은 센서 어레이가 통과할 수 있도록 너비 약 2cm, 길이 400㎛의 슬릿을 만들어 약간만 절개하면 되는데요. 실제 임플란트 장치는 뇌 조직 위에 있는 보호막인 경질막 아래에 배치됩니다.
센서는 슬릿을 통과하는 작은 전선 모음에 의해 두개골 외부에 있지만 피부 아래에 있는 회로에 연결됩니다. 미세전극 배열 하나당 1024개의 전극이 있어 일반적인 피질 배열보다 전극 밀도가 600배나 높아 많은 데이터를 처리할 수 있습니다.
뇌졸중, 외상성 뇌 손상, 치매와 같은 파괴적인 신경학적 상태를 마침내 치료할 수 있는 세상을 기대하고 있다고 합니다
중국 텐진 대학, CEC 클라우드 브레인 및 스우위쉬 인텔리전스 테크놀로지가 공동으로 두피에 전극을 부착해 뇌 신호를 감지하고 이를 컴퓨터에 연결해주는 헤드셋 형태의 BCI용 오픈 소스 플랫폼 '메타BCI(MetaBCI)'를 개발했습니다.
메타BCI 플랫폼은 파이썬 언어로 개발해 사용자의 두뇌 의도를 유도, 획득, 분석 및 변환하는 전체 프로세스를 실현할 수 있도록 한 것이 특징입니다. 이 플랫폼은 14개의 BCI 공개 데이터 세트를 지원하며 16개의 데이터 분석 방법과 53개의 뇌-컴퓨터 디코딩 모델을 제공합니다.
메타BCI는 비침습적 BCI 장치에만 적용되고, 두개골에 구멍을 뚫거나 뇌 수술을 통해 사람의 두피 아래에 이식한 BCI 칩에는 적용되지 않습니다.
네덜란드 라드바우드 대학 연구팀은 AI 기술을 활용해 시각적 자극을 받은 뇌를 fMRI 스캔, 뇌파를 사진 이미지로 바꾸는 기술을 개발했습니다.
연구진은 피실험자가 얼굴 이미지를 볼 때 fMRI를 이용해 시력을 담당하는 뇌 영역에서 뉴런의 활동을 스캔했습니다. 그런 다음 컴퓨터의 AI 알고리즘에 입력해 fMRI 스캔 정보를 기반으로 정확한 이미지를 구축할 수 있었는데요.
연구진은 AI 시스템을 훈련시키기 위해 피실험자들에게 컴퓨터로 생성한 얼굴 사진 세트를 보여주고 fMRI로 시력을 담당하는 뇌 영역에서 뉴런의 활동을 스캔했습니다.
컴퓨터로 생성한 얼굴 사진을 구성하는 각 점에는 고유한 숫자 코드를 부여해 AI 시스템이 뇌 신호와 숫자 코드간의 관계를 학습하게 했습니다.
그런 다음 새로운 얼굴 사진을 보여주고 AI 시스템으로 각 피실험자의 뇌 신호를 숫자 코드로 다시 변환해 얼굴 사진를 재현했습니다.
미국 스탠퍼드 대학교 연구진은 기존 BCI 기술보다 2배 더 빠른 타이핑이 가능한 AI기술을 개발하고 이를 과학저널 ‘네이처’에 발표했습니다.
이 연구에서 연구진은 척추 장애로 수십 년간 거동이 어려웠던 65세 노인의 운동 피질에 마이크로 전극을 삽입하고, 딥러닝 알고리즘을 활용하여 상상만으로도 빠르게 타이핑할 수 있는 시스템을 구현했습니다.
이 시스템에서는 '순환신경망(RNN)'이라 불리는 딥러닝 알고리즘이 사용되었습니다. 일반적으로 신경망을 학습시키기 위해서는 방대한 양의 음성 데이터나 이미지가 필요합니다. 연구진은 100~500개의 문장을 단어로 분리해 재조합하여 수많은 문자를 만들어내고, 이를 활용하여 딥러닝 알고리즘을 학습시켰습니다.
이러한 알고리즘을 적용한 결과, 피실험자는 분당 18개의 단어를 타이핑하며 신기록을 세웠습니다. 이는 기존 BCI 기술로는 분당 8개 단어를 타이핑할 수 있었던 것과 비교해 매우 빠른 속도입니다.
이번 연구 결과로 개발된 시스템을 활용하면, 몸을 자유롭게 움직이지 못하는 사람들도 상상만으로도 빠르게 타이핑할 수 있게 됩니다.
예를 들어 뇌졸중이나 교통사고 등으로 인해 몸을 자유롭게 움직이지 못하는 환자들도 이 시스템을 활용하여 타이핑할 수 있을 것으로 전망되며, 이는 장애를 가진 사람들의 일상 생활을 크게 향상시킬 수 있는 기술일 것입니다.
최근 피츠버그대학교의 연구진이 선보인 성과는 매우 주목할 만합니다. 로봇 과학자들은 오랜 기간 동안 BCI 기술을 로봇 팔이나 핸드에 적용하여 생각만으로 물체를 잡을 수 있는 기술을 연구해왔습니다.
사람들이 과일, 연필, 컵, 공, 돌 등 다양한 물체를 잡을 때는 시각뿐만 아니라 손의 촉각도 함께 사용합니다. 시각적으로 물체의 형태를 파악하고 동시에 촉각을 이용해 물체를 적절한 세기로 잡아야 할 지 판단합니다. 그러나 기존의 BCI 기술은 뇌 신호를 일방적으로 전송하는 것에 그쳤습니다.
하지만 피츠버그대학교 연구진은 이러한 한계를 극복하고자 촉각 신호를 뇌쪽으로 전송하는 기술을 개발해냈습니다.
이를 위해 교통사고로 팔을 사용할 수 없는 환자인 나탄 코플랜드와 함께 BCI 기술 기반의 로봇 팔 연구를 시작한 후, 뇌 운동피질에 전극을 꼽아 뇌 신호를 로봇 팔에 보내고, 로봇 핸드가 물체를 잡는 순간의 촉감을 다시 뇌 쪽으로 전달하는 실험을 진행했습니다. 운동 피질뿐 아니라 감각피질에도 전극을 삽입하여 물체를 만질 때 느껴지는 촉감을 뇌에 전송할 수 있도록 했습니다.
최근 이 연구 성과를 과학저널 '사이언스'에 발표한 피츠버그대학교 연구진은, 이 기술이 상용화되면 생각만으로 다양한 물체를 잡을 수 있을 뿐 아니라 독감과 같은 복잡한 물체도 인식할 수 있는 로봇 팔이 실용화될 수 있다는 가능성을 제기하고 있습니다.
최근 미국 식품의약국(FDA)은 재활장치 전문기업 뉴롤루션스가 개발한 BCI 기반의 재활기기 '입시핸드(IsiHand)'에 대해 드 노보(De Novo) 승인을 부여했습니다.
드 노보는 새로운 기기에 대한 FDA 승인 절차 중 하나인데, 이번에 처음으로 이 기기에 승인이 내려졌습니다. 입시핸드는 뇌졸중 환자의 머리에 비침습적 전극을 부착하여 뇌의 활동을 기록하고, 이를 무선으로 태블릿과 로봇핸드에 전송할 수 있습니다.
이 기기를 이용하면 환자들은 재활훈련을 통해 물체를 잡을 수 있습니다. 이러한 기술의 발전으로 사고로 손이나 팔을 잃은 환자들도 생각만으로 로봇의수를 제어할 수 있게 될 것으로 예상됩니다.
BCI 기술은 앞으로 가전제품이나 컨슈머 기기들에도 적용될 것으로 예상됩니다. 생각만으로 가전제품을 조작하는 것이 가능해질 것입니다. 최근 BCI 기술을 활용해 뇌의 상태를 파악할 수 있는 기술들이 많이 개발되고 있습니다.
미국 보스턴에 위치한 신경과학 전문기업 뉴러블은 BCI를 지원하는 헤드폰인 ‘엔텐(Enten)’을 개발하고, 인디고고를 통해 출시했습니다.
이 제품은 비침습적 전극 센서가 생산성이 높은 뇌파의 패턴을 분석해 사람들이 집중력을 최대한 발휘할 수 있도록 시간 관리를 제안하고, 뇌의 피로도가 높아지면 적절한 휴식을 권유합니다. 또 자신의 플레이리스트 중에서 뇌의 생산성을 높여주는 음악을 추천해준다고 합니다.
뉴러블은 스페인 가상현실 그래픽업체 이스튜디오퓨처와 협력하여 2017년 세계 최초로 BCI 기반 VR 게임 '더 어웨이크닝(The Awakening)'을 개발하고 '시그래프 2017' 전시회에서 주목받았습니다.
이 기술을 채택한 헤드마운트를 착용하면 가상현실 게임 속에서 게임 컨트롤러 없이 생각만으로 가상 세계의 캐릭터와 싸울 수 있습니다.
뉴러블은 이 가상게임의 아케이드 버전 계획도 발표한 바 있습니다. 뉴러블의 사례에서 볼 수 있는 것처럼, 앞으로는 메타버스와 BCI 기술의 접목도 기대할 수 있습니다.
BCI 기술을 구현하기 위해서는 피실험자의 뇌 신호를 외부 컴퓨터 장치로 유선으로 전송해야 합니다. 최근 개발된 무선 BCI 기술은 외부 컴퓨터 장치와의 유선 연결이 필요하지 않아 혁신성을 인정받고 있습니다.
브라운 대학의 BCI 연구진은 최근 사지마비 환자 2명의 머리에 무선 송수신기를 부착하여 케이블 없이 외부 신호를 전송하는 실험을 진행했습니다. 연구성과는 의공학 분야 국제학술지 'IEEE 의생명공학처리기술'에서 발표했습니다.
실험 대상자들은 무선 BCI 기술을 사용하여 컴퓨터 화면의 윈도우 시작 메뉴를 조작하고, 유튜브나 판도라와 같은 인터넷 서비스를 검색하며, 컴퓨터에 글을 입력하는 것도 성공했습니다.
또 BCI 분야에서는 다양한 연구가 활발하게 진행되고 있습니다. 마인드엑스와 같은 미국 스타트업은 스마트 글래스를 착용하고 뇌를 통해 디지털 세계로 연결하는 AR 연구를 진행하고, 넥스트마인드는 ‘CES 2020’에서 비침습적 BCI 기술과 개발자 키트를 선보였습니다.
페이스북 인수로 주목받은 콘트롤 랩스, 일론 머스크가 설립한 뉴럴링크, 그리고 뉴로시티, 커널, 할로 뉴사이언스, 싱크론, 마인드메이즈 등의 기업도 BCI 분야에서 큰 관심을 받고 있습니다. 특히, 뉴럴링크는 원숭이의 뇌에 전극을 삽입하여 '퐁(Pong)' 게임을 하는 실험을 진행하며 주목을 받았습니다.
몇 년 전부터 실리콘밸리를 중심으로 뇌 과학에 기반을 두고 있는 BCI 열풍이 확산되고 있습니다.
이 기술은 몸을 제어하기 어려운 장애인이나 사지마비 환자들에게 도움을 줄 수 있다는 긍정적인 측면이 있지만, 뇌 해킹 등의 부작용에 대한 우려도 있습니다.
이러한 명암은 BCI 기술뿐 아니라 모든 첨단 기술에 공통적으로 존재합니다. BCI 분야에서 축적된 지식과 경험은 인류의 보편적인 행복 증진을 위해 기여할 수 있으며, 부작용을 최소화하기 위해 기술에 대한 진지한 고민이 필요합니다.
박찬 기자 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com
조직이 다를경우 방법이 틀릴수있어요
나노 반도체 이용합니다.
아주 작지만 피부안으로 파고들어갑니다. 얼굴 이나 최대한 겉으로 들어난 얼굴신경 등을 마비 시킵니다. 얼굴세포에 착상한 소형 가해용 반도체는 제거할수 있습니다. 물론 피부손상이 있지만 제거할려면 손톱으로 미세하게 걸리는느낌이 납니다.
제품의 스펙은 초소형 나노반도체기술을 이용한 이동가능한 수신제품입니다. 추가적드로 살파고들어가기 와 겉피부속에서 이동하기 최적하게되 설게 됬다고 생각했습니다. 빠른이동속도입니다.
이것을 쉽게 찾는방법은 귓볼아래나 귀부근 여드름처첨 항상 미세하게 튀어나오거나
염증이 자주 유발되는 곳이있을겁니다.
그근처에서 착상하여 어떤것을 하는지는 알아내지 못했지만. 그위치가 양쪽에 발견되어 제거 했습니