손목 통증 온 개발자가 만들어 낸 손 사용 없는 코딩 프로그램
눈 움직임으로 마우스 위치 조절, 음성으로 명령어 및 코딩 함수 입력
익숙한 손코딩의 절반 수준 속도, 사용자 경험

'손코딩(손가락 코딩)' 대신 목소리와 눈을 이용해 할 수 있는 '핸즈프리 코딩' 프로그램이 등장했다. 손목 통증으로 마우스와 키보드 사용이 불편해진 한 개발자가 목소리와 눈으로 코딩하는 'Hands-Free Coding' 기능을 28일 개인 홈페이지를 통해 설명했다. 

핸즈프리 코딩(Hands-free coding)은 Talon voice와 Tobii 아이 트랙커를 사용한다. Talon은 엔지니어가 '손' 없이도 작업할 수 있도록 제작된 음성 인식 소프트웨어. Tobii Eye tracker 5는 모니터에 부착하는 적외선 센서(229달러)로, 사용자의 눈 움직임을 감지한다. 

그가 개발한 프로그램은 최근 소개한 세레나데(Serenade.AI)(키보드로 코딩하세요? 저는 말로 코딩해요!)와 비슷하다. 세레나데가 사용자 음성만 인식하는 인공지능 프로그램이라면 이번 시스템은 음성과 눈 움직임을 인식해 코딩을 도와준다. 

Talon 입문자는 NATO 음성 문자(NATO phonetic alphabet)를 기반한 문자 작성을 배워야 한다. NATO 음성 문자는 알파벳의 각 앞 글자를 정확하게 전달하기 위한 단어의 집합. 컴퓨터가 비슷한 소리가 나는 단어들을 혼동하는 것을 방지하기 위함이다. 예, air는 'a'가 입력, bat는 'b'가 입력된다. 대문자 작성은 'ship'을 접두사로 붙여 'Ship drum'을 말하면 'd' 대신 'D'를 작성할 수 있다. 

특수 명령어도 직관적으로 사용할 수 있다. Talon에 'Command cap'을 말하면 'command'와 'C' 키를 누른 상태가 유지된다. 커서를 옆으로 옮기고 싶으면 'Go left ninth'를 말하면 커서 위치가 9칸 옆으로 움직인다. 

API로 기본 명령어 이외에 사용자 맞춤형 명령어도 생성할 수 있다. 간단한 파이썬 코드로 작성한 'focus' 명령 예시. 사용자가 'focus Chrome'을 말하면 크롬(Chrome) 등의 응용 프로그램을 켤 수 있다.  

focus 명령어 코드 구현 예시 (python)

 

목소리로 명령을 내려 코드 구현한 여기(스크립트 링크)서 확인 

Tobii 아이 트랙커로 손 없이 화면 조정 및 클릭이 가능하다. 2단계 방법으로 '클릭' 기능을 수행할 수 있다. 먼저, 클릭하고 싶은 곳을 보고 입으로 'pop' 소리를 낸다. 이렇게 하면 화면이 확대되고 클릭을 정확한 위치에 할 수 있다. 두번째 'pop' 소리를 내면 클릭을 할 수 있다. 이 외에도 ▶두번 클릭 ▶오른쪽 버튼 클릭 ▶드래그드롭 명령이 사용가능하다. 

Tobii 5로 클릭 명령 수행

'핸즈프리 코딩' 개발자는 "위 두 가지 기능으로 기존 작업 속도의 50%까지 따라잡았다"며 "도구 사용에 익숙해지면 작업을 더 효율적으로 할 수 있을 것"이라고 밝혔다. 이어 "마우스와 키보드 사용이 불편한 다른 사람에게도 접근성이 좋은 기능으로 사용되기 바란다"고 전했다. 

[LIFE] 초보자도 10분이면 끝! NO코드 머신러닝개발 '로브' MS공개

[Life & 교육] 냉장고 파먹기? AI쉐프봇 등장, 식재료 사진 전송하면 즉석 레시피 제공

[AI & Tech] GAN 무한도전 캐릭터를 사람처럼, 사람을 캐릭터처럼

 

키워드

Tags #코딩