다층신경망(multilayer neural network) 확장

이 그림은 퍼셉트론 네트워크 구조를 나타낸다. 입력항 xi 가 가중치 wi 를 적용한 후 편향 값을 반영하여 y 가 연산되며 y 에 대해 문턱값 처리 후 출력이 일어난다.

 

생체 내에서는 다수의 뉴론들이 엮여있는 것처럼 이러한 단위 뉴론 구조를 어떻게 복합적으로 직병렬 연결할 것인지 고려해보자.

 

이 그림에서는 입력데이터가 복합적으로 처리되는 신경망 사례를 나타낸다.

실제로 MNIST 수기문자 판독을 위한 단일 레이어 머신러닝 코드 작성 시 하나의 문자 28X28=784 이미지 데이터는 1X784 리스트 데이터로 표현되며 이에 상응하는 가중치 매트릭스는 784X10 리스트 데이터 구조로 사용됨에 유의하자.

단일 레이어 신경망을 아래와 같이 2단 구조로 확장해 보자. 2단에서는 bias(바이어스, 편향) 항을 무시하였다. 필요하다면 1단과 유사하게 도입하면 된다. 레이어 수를 늘릴수록 가중치와 바이어스 항이 상당히 많이 늘어남을 알 수 있다.

필요한 만큼 네트워크를 직렬연결해 나갈 수 있으며 마지막 단 레이어에서는 가중치와 바이어스 항을 줄여 하나의 결과 z 로 처리하자.

이 신경망에서 출력 계산은 다음과 같이 매트릭스를 사용하여 나타낼 수 있다.

이 매트릭스 관계식을 다음과 같이 표현해 보자.

최종 출력 Z 는 중간 출력 Y를 매개로 하는 합성함수 형태임을 알 수 있다.