“아무도 얘기해주지 않는” 머신 러닝 softmax 함수와 볼츠만 확률분포와의 연관성-I

물론 지금까지 다루어 오던 아두이노 엘렉트로닉스류의 코딩이 안드로이드 OS의 지원을 받는 스마트 폰에서 앱 코딩을 지원하는 앱인벤터와 조우하는 경우 아두이노 코딩이 보다 강력한 시너지를 받을 수 있었지만 한편 PC의 Processing에서 시리얼/이더넷 인터페이스나 무선 와이파이에 의한 아두이노 인터페이스 코딩이 가능하다면 아두이노 사물인터넷 코딩의 끝판을 볼 수 있을 듯하다.

교보문고에서 판매 중입니다. 342 페이지 가격 15800원 개인출판(POD)이므로 주문 배송기간이 일주일 정도 소요됩니다.

_______________________________________________________________________________________________________________________________

머신 러닝과 인공지능은 최근에 활성화된 것은 사실이나 그 연원은 결국 2차대전이 끝날 무렵으로서 컴퓨터의 시작 시기인 튜링이나 폰노이만 시대까지 거슬러 올라간다.

 
아울러 50년대 중반 반도체 시대의 문을 열었던 노벨상에 빛나는 트랜지스터의 발명을 통해 컴퓨터 하드웨어 및 소프트웨어 발전의 포문을 열게 된다. 이어서 50년대 말 Rosenblatt의 퍼셉트론 하드웨어 및 소프트웨어 코드 개발 성공과 아울러 컴퓨터의 인공지능화에 대한 환상에 불을 당기게 된듯하다.

아마도 이 장치는  릴레이, 커넥터, 토글스위치, 교류 전압조정 슬라이닥스들로 구성된 60년대 초 퍼셉트론 징치의 일부인 듯한데 Rosenblatt이 실험실에서 연구 중인 듯하다. 

지금 2018년 현재 다루고 있는 대부분의 뉴럴 네트워크 및 딥 러닝을 포함하는 머신 러닝 문제들은 1960년대 Rosenblatt 이 이미 다 다루어 보았거나 다루던 주제로 보면 되며 그가 살아 있었으면 1980년 이전에 이론적으로는 어느 정도 다 정리 되었을 주제이다. 머신 러닝의 원리와 딥 레이어를 구성하여 웨이트를 계산하고⦁⦁⦁ 하는 즉  다음의 발표자료 이 한 페이지만 보면 이 말이 수긍이 갈 것이다.

다시 말해서 최근에 머신 러닝 분야에 뛰어 들었다면 당신은 Rosenblatt 과 같은 천재 과학자와 함께 공동 연구를 하는 셈이 된다고 말할 수 있다. 퍼셉트론에 관해서는 별도로 머신 러닝의 로직문제 처리 과정에서 XOR 로직 코딩 문제를 다루어 보기로 한다.

한편 60년대에 역시 인공지능 분야를 주도했던 MIT의 Minsky 와 Papert 교수 두 사람 쓴 Rosenblatt의 Perceptron을 디스하는 부정적인 논문을 출판함에 따라 인공지능 R&D를 지원하는 연구개발 자금이 120% 끓겨버려 결국 MIT 마저 연구개발에 손을 땜으로 인해 오랫동안 인공지능의 암흑시대를 맞게 되는데 오히려 그 이유는 사실상의 인공지능 연구를 주도했던 코넬대학의 Rosenblatt 이 1971년 41세의 나이로 체사피크만에서 물놀이 사고로 사망함에 따른 천재과학자의 인적 손실에 따른 당연한 결과로 보인다. 그러다가 결국 80년대 말 아버지 부쉬 시대에 혹독한 이라크 후세인 사냥 시대를 거쳐 “문제는 경제야!”라는 클린톤의 캐치프레이즈가 유행했던 1990년대에 이르러 캐나다의 Hinton 교수를 비롯하여 다시금 불씨를 살리게 된다.

이와 같이 20년 이상 연구개발이 거의단절되었던 인공지능의 흑역사로 인해 사실 인공지능분야는 여타의 과학과 공학 분야 중에서 상대적으로 가장 낙후 된 분야가 되었는데 90년대 말 IT 버블을 통과하면서 2000년 이후에 급속도로 발전해 불과 10여년 안팎에 모든 것을 만회한 후 4차 산업혁명의 최첨단을 이끌고 있는게 아닌가 한다.

특히 컴퓨터 비젼 이미지 처리 분야는 머신 러닝이 개화하여 꽃을 피운 분야인데 이 분야에서 너무나 유명한 주제가 바로 MNIST 수기 숫자 인식 문제인 듯하다. TensorFlow 라이브러리 모듈을 설치하여 파이선 코드를 실행해보면 몇 줄 되지도 않는 코드이지만 놀랍게도 ≅92%에 달하는 인식율을 보여 준다. 새로운 분야에 도전하는 머신 러닝 연구자들이 새로운 대상에 대하여 인식율을 올리기 위한 악전고투 과정에서 사실 92%의 인식율이란 어마어마하게 높은 값인 듯하다.

그런데 MNIST 수기 숫자 인식을 위한 파이선 코드에 등장하는 엑스포네셜 함수 형태의 softmax 라는 함수의 정의가 바로 볼츠만 확률분포 함수와 동일한 형태를 취한다는 점이다. 즉 물리학 과정에서 다루는 입자의 볼츠만 분포가 어떤 이유로 머신 러닝의 MNIST 수기 숫자 인식을 위한 파이선 코드에서 softmax 라는 함수로 등장하는지 이 부분이 “아무도 얘기해 주지 않는” 부분인 듯하다. 물론 어딘가에 학술적인 자료들이 있을 법하나 인터넷 검색을 통해 찾지는 못했지만 그 대신 볼츠만 분포를 다시 공부하고 MNIST 코드의 이미지 처리 과정을 분석하여 이어서 글을 올릴 계획이다.