RNN(Recurrent Neural Network)의 출발점 Hopfield Network

 

머신 러닝에서 MNIST 수기 숫자 판독을 위한 CNN(Convolutionary Neural Network) 코드를 경험하였으면 그 다음 RNN(Recurrent Neural Nwtwork) 분야로 넘어가 보자. CNN에 이어 RNN으로 넘어간다고 해서 RNN 이 CNN 이 후에 개발된 것은 전혀 아니란 점을 알아 두자. CNN 이 1990년대 말 LeCUN에 의해 집중적으로 연구되었던 반면에 RNN은 물리학을 전공하고 화학 및 바이오 분야에서 칼텍의 교수였던 Hopfield 교수에 의해 1982년에 알려지게 되었다.

 

Hopfield Neural Network는 content-addressible(associative) memory 즉 관계형 기억 모델로서 즉 인간이 어떤 내용을 기억하고 있으면 관련된 기억 정보들을 연상하여 떠 올릴 수 있다는 것이다. 홉필드 네트워크는 머신 러닝에서 cost 함수의 최소화가 가능했듯이 국소적인 최소값을 찾을 수 있긴 했지만 때로는 기대했던 기억을 찾지 못하고 잘못된 최소값을 찾기도 한다. 그럼에도 불구하고 홉필드 네트워크는 인간의 기억 능력을 이해할 수 있는 모델로 여겨진다.

아래 url 주소로 넘어가서 마저 읽어 보세요.

https://steemit.com/kr/@codingart/7-1-recurrent-neural-network-hopfield-network