“오늘 해군은 전자 컴퓨터의 배아를 시연했는데, 그것은 걷고 말하고 보고 쓰고 스스로 재생산하고 자기 자신을 인식할 것이라고 기대된다.” 1958년 7월7일 뉴욕 타임스는 이런 충격적인 기사를 게재했는데, 기사 내용에 부담을 느꼈는지 1주일 뒤 “전자두뇌가 자신을 가르친다”는 제목으로 기사를 다시 썼다. “지난주 해군은 퍼셉트론이라는 전자 컴퓨터의 배아를 시연했는데, 약 1년 안에 이 장비가 완성되면 인간의 통제나 훈련 없이 주변 환경을 인지하고, 인식하고, 식별할 수 있는 최초의 무생물 메커니즘이 될 것으로 예상된다.”
‘퍼셉트론(Perceptron)’은 미 해군연구소의 지원으로 코넬 대학 항공연구소의 프랭크 로젠블래트가 개발한 신경망 패턴인식 장치로, 최초의 인공 신경망 시스템이다. 또 퍼셉트론은 그 후 발전해온 다양한 인공 신경망들의 최소 구성 요소이며, 오늘날 최대 관심사인 딥러닝의 오래된 조상이다.
프랭크 로젠블래트(Frank Rosenblatt)는 마빈 민스키와 같이 뉴욕의 브롱크스과학고등학교를 다녔고, 코넬대학교에서 박사학위를 마친 심리학자였다. 박사과정 중 논문 작성을 위해 환자의 심리 프로파일을 컴퓨터로 분석했던 그는, 사람의 정신을 이해하는데 기계가 도움이 될 수 있다는 생각을 갖게 됐다.
박사학위 취득 후에는 코넬 대학 항공연구소에서 수석 심리학자 자리를 얻어 인지 체계 부서를 맡았다. 그때부터 그는 본격적으로 신경망을 연구하기 시작했고, 신경망을 구현하는 기기로 퍼셉트론이라고 이름 붙인 시스템을 개발하기 시작했다. 로젠블래트의 첫 퍼셉트론은 코넬 항공연구소에서 1957년부터 개발됐는데, 이듬해 미국 기상국의 IBM 704 컴퓨터로 해군 관계자와 기자들 앞에서 처음 공개했다.
소프트웨어로 개발된 첫 퍼셉트론은 작은 사각형 도형이 각각 왼쪽과 오른쪽에 표시된 카드를 필름리더기로 읽어서 컴퓨터가 두개의 카드를 구분해 내는 시연을 했다. 처음에는 두 카드를 구분하지 못하던 컴퓨터는 계속해서 수십장의 카드를 읽으며 거의 정확하게 식별해 냈고, 로젠블래트는 인간의 두뇌를 모방한 수학적 프로그램으로 컴퓨터가 스스로 학습할 수 있게 된 결과라고 설명했다. 이 시연과 로젠블래트의 설명으로 뉴욕 타임스는 스스로 가르치는 전자두뇌의 출현 뉴스를 보도했던 것이다.
원래 로젠블래트는 퍼셉트론을 단일 기계 장치로 제작하려 했다. 그러나 당시의 컴퓨터 성능으로는 신경망을 구현하기 위한 처리 속도나 메모리 용량이 충분하지 않았기 때문에 개념 증명용으로 소프트웨어 퍼셉트론을 먼저 개발하기 시작했다. 그리고 시뮬레이션을 통해 신경망 알고리즘의 구현 가능성을 시험하고 개선해 나갔다.
성공적인 공개 시연을 통해 해군연구소의 자금 지원을 받을 수 있게 되며 로젠블래트는 아이디어를 구체화할 수 있는 완전히 새로우면서도 독립적인 하드웨어를 가진 단일 시스템을 제작하기 시작했다. 하드웨어 퍼셉트론의 입력 부분은 필름리더기 대신 카메라 역할을 할 수 있도록 400개의 광센서가 20 x 20의 행렬을 이루고 있었다. 또 처리부는 가변 저항, 모터와 복잡한 전선으로, 출력부는 8개의 전등으로 이뤄져 있었다. 이 장치는 1960년 6월에 공식 시연됐는데, 로젠블래트는 이 거대한 장치에 ‘마크-I 퍼셉트론(Mark-I Perceptron)’이라는 이름을 붙였다.
이 장치는 광센서 배열을 통해 삼각형이나 원형 등 간단한 도형을 인식하고, 8개의 전등 중에 인식한 결과의 도형에 해당하는 하나의 전등에 불이 켜지도록 하는 것이었다. 도형의 형태 구분을 소프트웨어적 프로그램으로 작성한 것이 아닌, 장치가 학습을 통해서 스스로 도형의 형태를 인식해 나가는 방식으로, 머신러닝의 '지도 학습' 중 다중 분류를 수행하는 장치였다.
로젠블래트는 다트머스 회의에는 참석하지는 않았지만, 그의 창조물 마크-I 퍼셉트론은 다트머스 회의 참석자였던 워렌 맥컬럭과 로스 애쉬비에게서 큰 영향을 받았고, 현대적 컴퓨터의 아버지로 불리는 폰 노이만의 영향을 받은 결과물이었다. 그것은 맥컬럭이 제시한 신경세포, 즉 뉴런의 수학적 논리 모델이 퍼셉트론의 기본 구조가 됐다. 또 인간 두뇌와 전자 컴퓨터의 기능이 유사해서, 컴퓨터에서 역할과 기능을 잘 특징화하면 릴레이나 진공관을 사용해 뉴런 기능을 모방할 수 있다고 한 노이만의 주장이 퍼셉트론의 이론적 기반이 되었기 때문이다. 또 피드백을 통한 오류 기반의 적응 시스템 학습에 초점을 맞추고 이를 바탕으로 변화하는 환경에서 항상성을 유지하는 장치 '호미오스태트(homeostat)'를 개발한 애쉬비의 논리가 퍼셉트론의 방법론적 기반이 되기도 했다.
사실 조목조목 따져보면, 마크-I 퍼셉트론은 최초의 패턴인식 장치도 아니었고 최초의 신경망 기기도 아니었으며 최초의 머신러닝 시스템도 아니었다. 패턴인식 장치는 이미 1954년에 MIT 링컨 연구소의 올리버 셀프리지가 시연했고, 신경망 기기는 1951년에 프린스턴대학원생이던 마빈 민스키가 SNARC라는 기기를 시연했다. 머신러닝도 아서 사무엘을 포함한 여러 과학자에 의해 당시에는 이미 개념이 제안됐다.
그러나 마크-I 퍼셉트론은 신경망을 활용한 패턴 인식 학습 장치로, 이전까지 장비나 프로그램들이 수행하던, 입력된 패턴에 대한 통계적 데이터로 패턴을 인식하는 방식이 아니었다. 또 사람이 지도해 준 방식에 따라 학습하고, 그 학습을 바탕으로 받아들인 패턴을 즉각적으로 인식하는 구조여서, 사람의 시각 인식 과정을 모방했다는 것에 큰 차이점이 있었다.
마크-I 퍼셉트론은 거대한 4개의 캐비넷에 광센서 배열, 대단히 복잡하게 엉켜 배선된 전선들, 수많은 모터와 가변저항 그리고 거대한 전원 공급부로 구성됐지만, 기본 구조는 세부분으로 간단한 편이다. 첫번째 부분은 입력단으로, 400개의 광센서가 격자형태로 구성되어 대상물을 400픽셀의 이미지로 감지했는데, ‘S-유닛(감각 유닛, Sensory Units)’이라 불렸다.
그다음 부분은 시각에서 뉴런을 모방한 것으로 ‘A-유닛(연합 유닛, Association Units)’으로 불렸다. 512개의 A-유닛은 모두 각각 S-유닛의 출력을 무작위적으로 그래서 부분적으로 입력으로 받아들이는 연결로 구성되었다. 학습 결과를 표시하는 마지막 부분인 출력층은 8개의 전구로 구성되어 있었는데, ‘R-유닛(응답 유닛, Response Units)’이라 불렸다. A-유닛의 출력은 모두 R-유닛으로 완전히 연결됐는데, 연결은 가중치를 적용할 수 있도록 전자회로와 릴레이, 모터, 가변저항기 등으로 구성됐다.
기본 동작 원리도 크게 복잡하지 않아서, 도형 이미지가 400개의 입력층인 광센서, 즉 S-유닛에 비치면, 도형이나 문자의 형태에 따라 빛을 받은 센서가 A-유닛으로 전류를 흘려보냈다. A-유닛과 R-유닛의 연결 사이에 있는 가변저항 값에 따라 R-유닛의 전등을 켤 수 있는 임곗값 이상의 전류가 흘러 들어오면, R-유닛의 출력인 전구 중 하나가 켜지는 방식으로 동작했다.
중요한 점 중 하나는 독자적으로 도형을 판단하기 전까지, 퍼셉트론이 학습했다는 점이다. 학습 방법은 인간 관리자가 도형 이미지를 투사하고, 퍼셉트론의 출력인 전구 중 하나가 점등될 때 그 결과에 대해 ‘정답’ 또는 ‘오답’에 해당하는 스위치를 눌러주는 것이었다. 이렇게 스위치를 눌러주는 것은 학습 과정에서 퍼셉트론이 인식한 결과가 맞는지 틀렸는지 알려주는 것으로 지도 학습에 해당한다.
퍼셉트론은 이렇게 사람의 피드백을 반복적으로 받으면서 미지의 도형에 대해 학습해 나갔다. A-유닛의 내부에서 일어나는 동작을 살펴보면, 인간 관리자가 정답 스위치를 누르면 그 해당 전구에 연결된 A-유닛의 전선들에는 아무런 변화를 주지 않는다. 그러나 부정적인 피드백을 받으면, 즉 오답 스위치를 누르게 되면 그 점등된 전구에 연결된 A-유닛 전선들의 가변저항기를 모터가 돌려서 전선의 저항을 높이는 방식으로 작동됐다. 이렇게 반복적으로 오답을 선택하게 되면 전선의 저항이 점점 높아지면서 흐르는 전류가 낮아져 어느 순간 전등을 켤 수 없게 되고, 오답 피드백을 많이 받지 않은 전등이 켜져서 정답을 맞히게 되는 방식이었다.
이것이 퍼셉트론의 학습하는 과정으로, 학습은 반복적으로 계속되어 하는데 퍼셉트론이 정답을 맞힐 때까지 다양한 이미지를 지속적으로 보여줘야 했다. 마크-I 퍼셉트론은 소프트웨어가 아닌 하드웨어적으로 구성됐으며, 인간 피드백을 바탕으로 도형이나 문자를 정확하게 구분하는 방법을 배우는 학습을 구현했다. 이는 입력된 이미지 자료 데이터를 통계적으로 비교하던 이전의 패턴인식 장치와 달랐으며, 프로그래머가 프로그래밍해 준 알고리즘을 바탕으로 도형의 형태를 유추하여 학습하던 기존의 기계학습 방식과도 완전히 달랐다.
즉, 이전에는 문제를 ‘어떻게’ 풀어야 할지 컴퓨터에게 지시를 했다면, 퍼셉트론은 ‘무엇’을 풀어야 할지 예를 들어주는 방식이었다. 이렇게 마크-I 퍼셉트론은 머신러닝에 있어 획기적인 변화이며, 그야말로 대단한 개발이었다. 그러나 당시에는 인식할 수 있는 대상의 범위가 지극히 제한적이었고, 현실적으로 활용하기에도 제약이 많았다. 그러나 로젠블래트의 생각은 달랐다.
문병성 싸이텍 이사 moonux@gmail.com
