머신 러닝 퍼셉트론의 선구자 Rosenblatt 전기

60년 전에 AI의 길을 연 Rosenblatt 박사

1958년 7월 미국 해군 연구실에서 놀라운 발명을 소개하게 되었다. 방을 가득 채우는 크기의 5톤 컴퓨터인 IBM 704에는 일련의 펀치 카드를 읽어 들였다. 50 번의 시행착오 연습 끝에 컴퓨터는 왼쪽과 오른쪽에 마크 표시한 펀치 카드들을 구별하는 방법을 스스로 학습했다. 1956년, 발명자인 Frank Rosenblatt 박사에 의하면 이것은 "스스로 고유한 아이디어를 가질 수 있는 즉 생각할 수 있는 최초의 기계"였던 "퍼셉트론"의 시연이었다. 당시 Rosenblatt 박사는 후에 그는 뉴욕 버팔로에 위치한 코넬대학의 신경 생물학과 연구 부교수로서 부임하였는데 코넬 항공 연구소의 연구 심리학자 겸 프로젝트 엔지니어 업무를 담당했다.

 

Rosenblatt 박사는 1958 년에 이렇게 썼습니다. "인간 수준의 자질을 가진 기계의 창조에 대한 이야기는 오랫동안 공상 과학 분야에서 매혹적인 영역으로 남아 있었지만 지금 현재 여러분은 바로 인간에 의한 훈련이나 통제 없이 느끼고 이해하고 주변 환경을 식별할 수 있는 그런 기계의 탄생을 목격하고 있는 것입니다. 이러한 기계는 인간의 경험과 지능 저변에 내재하는 물리적 기제를 찾아내는 것으로부터 기원이 되었습니다. 이러한 프로세스들의 본질 대한 의문은 여타 다른 서구과학이나 철학적 의문만큼이나 오래 되었으며 실제로 우리 시대의 가장 큰 과학적 도전 중 하나입니다. 이 문제에 대한 우리의 이해는 아마도 뉴턴 이전의 물리학 발전만큼이나 멀어졌습니다.

우리는 신경계에서 일어나는 이벤트들에 관해서 뛰어난 수준으로 설명이 가능하기도 하며 수많은 흥미로운 가설들을 포함하면서도 좀 더 세밀 지식을 보유하고 있습니다. 그러나 아직까지는 신경계 시스템의 기능을 완벽히 이해할 수 있는 통합적인 원리가 결핍된 상태입니다.

우리는 이러한 오래된 문제가 다음과 같은 3가지 이유들 때문에 바야흐로 이론적인 연구를 태동하게 되었습니다.

첫째, 최근에 중앙신경계에서 각각의 세포들의 기능에 관한 이해가 엄청나게 증가되었습니다.

둘째, 많은 수의 엔지니어와 수학자들이 처음으로 사고, 지각 그리고 중앙신경계에 의한 정보 처리를 위한 수학적인 근거와 관련된 진지한 연구가 수행되고 있다는 점이다. 따라서 조만간 우리 인간의 지적인 영역에 포착될 수 있으리란 희망을 가져볼 수 있을 것이다.

셋째, 전체적으로 그 통계적인 구성은 알려져 있지만 아주 정밀한 세포단위의 연결도를 얻을 수 없었던 신경계에서 일어나는 사건들을 연구할 수 있는 새로운 도구로서 확률이론과 랜덤 프로세스에 관한 수학분야에 최근의 발전에 주목할 필요가 있다.

 

1957년 7월에 이미 코넬 대학의 항공 연구소에서 진행 중이던 PARA(Perceiving and Recognizing Automation)프로젝트는 정식으로 해군연구소(Office of Naval Research)의 지원을 받게 되었다.

 

 

1928년 뉴욕에서 태어난 그는 브롱스의 과학고에 진학했다. 지금 브롱스는 다운타운 할렘으로 알려져 있지만 그 당시는 뉴욕의 교외 지역으로 알려진 곳이다. 코넬 대학에서 사회심리학을 전공하였으며 심리학으로 박사학위를 받은 순수한 인문계 출신이다.

박사과정 재학 중 그는 박사 논문 작성을 위해 사람들의 개성 분석을 위한 Electronic Profile Analyzing Computer를 구축하였다. 하드웨어로서의 컴퓨터를 만들었다기 보다는 포트란 언어를 사용하여 작성한 분석 시스템이었을 것이다. 후에 퍼셉트론을 발명하게 되었을 때 그의 목적은 뇌의 미스테리를 풀어내는 것이었다. 그때 당시에는 뇌가 놀라운 일을 수행하기 위해서 신체적으로 반드시 수행해야 되는 최소한의 일들이 과연 무엇인지에 관해서 어느 누구로부터 의견이나 조언을 받기는 불가능했기에 부득이하게 스스로에게 질문하고 싶어 했다. 뇌에서 뉴론들이 작동하는 방법에 영감을 받아서 싱글 레이어 아키텍쳐의 퍼셉트론이 발명되었다. 이 퍼셉트론은 두 개의 카테고리 영역을 식별한다. 예를 들자면 오른쪽 과 왼쪽, 개 아니면 고양이를 들 수 있다. 만약 틀릴 경우에는 다음번에는 잘 맞출 수 있도록 그 자체를 정밀하게 튜닝(fine-tune, tweaking)할 수 있어야 한다.

 

 

Rosenblatt 교수가 생각했던 시각 생물학적인 뇌 구성을 살펴보자. 모자이크 센싱 포인트들과 프로젝션 영역은 시세포 즉 retina를 의미한다. retina 와 반응 유닛 사이의 A 유닛까지 랜덤한 연결이 이루어지는 것으로 기술되고 있는데 이 부분은 실제 시각 구조의 해부학적 관찰에 근거를 둔 것으로 보인다.

 

사진에서처럼 왜 이렇게 랜덤한 연결이 되어야 하는지 그 당시에 규명하기에는 쉽지 않았을 것이므로 해부학적 관찰 경험에 따라 충실하게 재현하여 연결했을 것으로 보인다.

 

1959년 코넬대 이타카 캠퍼스에 퍼셉트론을 가져 왔을 때 그는 코넬의 인지시스템 연구 디렉터가 되었으며 심리학 강의를 맡게 되었는데 이때에 그는 인공지능의 돌파구가 바로 목적에 다가온 것으로 아주 낙관적으로 생각하였다.

 

Rosenblatt 박사팀에서 프로그래머로 일했던 빌 아이스너에 의하면 우리는 뭔가를 즉 새로운 종류의 컴퓨팅이며 그 일부가 되는 시발점 이었다고 생각했었다. 아이스너는 또 다른 유형의 퍼셉트론인 Tobermory를 연구하는 대학원생 팀의 일원이었다. H.H. Munro 이야기에서 나오는 말하는 고양이의 이름을 따서 명명 된 Tobermory는 음성을 인식하도록 설계하였다. 이 연구는 Rosenblatt의 시각적 패턴 분류기인 Mark I 퍼셉트론에 대한 후속 연구 작업이었다.

 

Rosenblatt가 영입했던 16 세의 코넬 신입생이었던 Terrell Koken에 의하면 Rosenblatt 박사는 깊이 생각하는 사람이었고 우리는 일벌이었습니다. 졸업 한 적이 없는 Koken은 음악 라운지에서 페르마의 마지막 정리에 관한 우연한 대화 기회를 통해 Rosenblatt 박사를 만나게 되었죠. 그 곳은 기술자나 미치광이 또는 괴짜들이 자주 찾아오는 곳입니다. Koken은 천문학에 관심이 있었고 Rosenblatt도 관심을 갖게 되었다. Rosenblatt는 3000 달러짜리 망원경을 샀는데 너무 커서 놓을 곳이 없어서 그는 뉴욕의 브룩 톤 데일 근처에 큼직한 집을 사서 그의 대학원생 몇 명을 그곳에 살도록 초대했다. 낮에는 팀이 Tobermory에서 작업했고 밤에는 Rosenblatt의 마당에 전망대를 지었다. 우리 모두는 그 일들에 대해 꽤나 열광적이었다고 했다. 우리는 목초지에 기초를 팠고 Rosenblatt 박사는 대부분의 석조 작업을 했다. Rosenblatt의 관심사는 천문학에서 음악, 등산 및 정치에 이르기까지 다양했다. 그는 상원 의원 Eugene McCarthy (Rosenblatt의 추도식에서 연설)의 캠페인을 도우기도 했다. 아마도 그이 연구의 스폰서였을 것으로 추정된다. Rosenblatt이 수행했던 연구의 펀딩이 영국과 미국 국회의 승인하에 지원되었던 프로그램으로 알려져 있는데 그의 사 후 1972 경인가 모든 재정 지원이 끓어지는 일이 발생했었다.

 

 

그에 있어서 사진속의 퍼셉트론은 그의 인생 열정 그 자체였다. RPI 대학 컴퓨터 공학과 교수로서 Rosenblatt의 조언을 받아 왔었던 George Nagy 박사에 의하면 Rosenblatt은 1에서 10까지의 척도로 볼 때에 그 중요성이 10 이상으로 평가되는 인물이었다고 술회했다. “내 인생 경력 동안 약간의 아주 똑똑한 사람들을 알게 되었는데. Rosenblatt 박사를 알게 되면서부터 매우 똑똑한 사람과 천재와의 차이를 알게 되었다.

Rosenblatt는 Minsky 교수를 충성스러운 반대파라고 불렀다. 브롱스 과학고 후배인 Marvin Minsky 교수는 신경망 연구를 통해 Rosenblatt의 비전 및 주장에 대해 매우 회의적인 생각을 가진 MIT 교수였다. 컨퍼런스에서 Rosenblatt와 Minsky는 동료와 학생들의 놀라운 시선 속에서 퍼셉트론의 생존 가능성에 대해 공개적으로 토론했었다. 조아킴스가 말하길 Rosenblatt 은 컴퓨터가 언어를 보고 이해할 수 있도록 할 수 있는 비전을 가지고 있었으나 Marvin Minsky 교수는 퍼셉트론의 기능이 너무 단순하기 때문에 그런 일이 일어나지 않을 것이라고 지적했다. 문제는 당시 Rosenblatt의 퍼셉트론에는 단 하나의 레이어 만 있는 반면 현대 신경망에는 수백만 개의 레이어가 있다는 것이다. Rosenblatt 은 머신에게 물체를 보여주고 그 물체를 인식할 수 있기를 원했다. 그리고 60년이 경과한 지금 우리가 마침내 쉽게 할 수 있는 일이 되어 버렸다. 즉 그는 그때에 올바른 길을 가고 있었기 때문에 수백만 번 이상의 시행 착오를 해야 했었다. 다시 말하자면 그 당시 오늘 날의 멀티 레이어 신경망 학습법을 몰랐었기 때문에 시행 착오적으로 많은 횟수의 학습을 할 도리밖에 없었다. 그렇지만 돌이켜 보면 그의 퍼셉트론 알고리즘은 오늘날 우리가 딥 러닝 네트워크를 학습시키는 방법에서 여전히 기본이 되고 있다.

 

1969 년에 Minsky 와 Papert는 Rosenblatt의 작업을 공격하고 본질적으로 그 운명을 봉인 한 책인 Perceptrons 를 출판했고, 이듬해 컴퓨터 분야의 최고 영예로 알려진 Turing Award 상을 수상하였다. 그는 장수하여 2000년 이후까지 생존하면서 Perceptrons 재판을 출간하였는데 그의 잘못된 생각을 수정하지는 않은 듯하다. 당시에는 Rosenblatt 으로 인해 그에 대한 맞수로서 유명한 학자로서 현대의 인공지능이나 인터넷 및 오픈소스 영역에 큰 영향을 끼칠 정도의 업적을 남겼으나 머신 러닝 분야에 관한한 Rosenblatt 의 그늘에 가릴 수밖에 없는 듯하다.

 

불행히도 Rosenblatt 은 AI winter가 도래하기 이전인 1971년 43회 생일 날 체서 피크 만에서 시어워터라는 외돛 요트 항해 중 사고로 익사했다.

 

Rosenblatt 전기는 다음 url 주소의 Cornell Chronicle 내용을 참고하였다.

https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon