5 Units Hopfield 네트워크 계산 예제

 

파이선 코딩을 배우는 초보자도 머신 러닝에 독학으로 한번 도전해 보자.

머신 러닝을 배우려는 파이선 코딩 초보자들이 가지게 될 확률이 높은 의문점들을

하나하나 찾아내어 실제 풀어보고 결과를 확인해볼 수 있는 머신 러닝!

인터넷 교보문고에서 450페이지19900원에 판매중입니다.

 

 

 

 

 

 

 

 

 

 

 

________________________________________________________________________________________________________________________

Hopfield 네트워크에 기억시키고 싶은 상태 값들로 이루어진 시퀜스 데이터

를 (k = 1, 2, ∙∙∙, n) 기억시키도록 하자. 다음과 같이 Hebb 의 학습 규칙을 사용하여 Hopfield 웨이트를 정의하자. 웨이트 매트릭스의 대각선 성분은 0 이다.

 

Hopfield 네트워크에서 유닛들에 특정 데이터 값을 기억시키는 경우 위식에 의해 계산된 웨이트 값들은 외부 입력을 사용하여 기억된 값을 알아내기 위한 업데이트과정에서 사용된다.

 

Hopfield 네트워크에서 유닛들에 특정 데이터 값을 기억시키는 경우 위식에 의해 계산된 웨이트 값들은 외부 입력을 사용하여 기억된 값을 알아내기 위한 업데이트과정에서 사용된다.

 

Hopfield 네트워크에서 유닛들에 특정 데이터 값을 기억시키는 경우 위식에 의해 계산된 웨이트 값들은 외부 입력을 사용하여 기억된 값을 알아내기 위한 업데이트과정에서 사용된다.

 

 

 의 가능한 값이 1 과 0 이므로 각 유닛별 웨이트 값 

 

는 항상 +1 또는 –1의 값을 가지게 된다.

 2개의 2진수 데이타 (10101)과 (01101)을 기억 시킨 후 이들을 불러내기 위해 2진수 데이터 (11111)을 사용하여 업데이트를 진행하도록 하자.

 

랜덤한 유닛 선택 순서를 3,1,5,2,4,3,1,5,2,4,∙∙∙ 순서로 업데이트가 이루어진다고 가정한다. 아울러 threshold 는 0.0 으로 설정한다.

 

 

 

 

 

 

 

아래는 3번째 유닛에서의 업데이트 값 계산식과 결과이다.

 

 

이 계산에서 3 유닛의 업데이트 된 값은 “+1” 그대로 유지가 되었다.

 

 

계속하여 1 유닛에서의 업데이트 값 계산 결과에 따르면 ‘-’ 값이 나와 threshold 값보다 작으므로 원래의 값 “+1”에서 보다 작은 값인 “0” 으로 변동한다.

 

 

 

5번째와 2번째 유닛에서 업데이트 계산 값이 “+”로 나오므로 변화가 없으며 4번째 계산에서 “-” 값이 나와 원래의 값 “+1”에서 보다 작은 값인 “0” 으로 변동한다.

 

 

 

 

 

이상과 같이 Hopfield 네트워크를 사용하여 2진수 데이터를 기억시킨 후 Hebb 의 학습 규칙을 사용하여 기억을 되살리는 뉴럴 네트워크 업데이트 과정에 대해서 알아보았다. 그밖에 눈에 띄는 Hopfield 네트워크의 코드 사례가 보이지 않으므로 Boltzmann machine으로 넘어갈 예정이다.