MNIST 딥러닝과 CNN 딥러닝

1959년에 고양이의 시각피질의 반응 연구로 시작된 닥터 Hubel 의 연구는 1998년 LeCUN 교수의 MNIST 수기문자판독 연구에서 그가 발명한 LeNet 의 실질적인 응용이 이루어졌다.

 

미국 우편 체계에서 편지를 보낼 경우 수발신 란에 수기로 작성되는 소속 주(state)와 숫자로 표시되는 주소를 의미한다.

손글씨로 쓴 0~9 까지의 숫자 7 만개를 28X28 즉 784개 흑백 픽셀 이미지로 채집하여 데이터세트를 구성하였다. 6 만개는 수기 숫자 학습용이며 나머지 1 만개는 학습된 가중치를 사용하여 학습이 잘되었는지 통계학적으로 컨펌(confirm) 해보는 또는 validation 즉 타당성을 체크 해보는 테스트용으로 사용한다.

 

손글씨 데이터는 분명히 0 ~ 9까지의 10종류의 데이터로 균등한 수로 구성되며 각숫자 그룹별로 대표가 되는 라벨값 부여가 가능하다. 이는 가중치를 결정해 나가는 학습 단계에서 hypothesis 값과 정답 라벨값 차이에 구성되는 Cross Entropy형 Cost 함수를 구성하는데 사용된다. 최종적으로 Cost 함수가 경사하강법 적용에 의해 최소값이 구해지고 더 이상 가중치 변동이 없어 업데이트가 불필요하다고 판단되면 학습이 완료되는 것이다. 이처럼 정답 라벨값을 주어 학습시키는 기법을 지도학습(supervised learning)이라고 한다. 반면에 이러한 라벨값 지정이 필요 없는 비지도학습에 속한다고 볼 수 있는 알파고와 같은 강화학습(reinforcement learning)도 있음을 참고하자.

 

MNIST 문제는 구글의 머신러닝 라이브러리인 TensorFlow를 사용하여 CNN 기법 사용 없이 즉 은닉층이 없는 경우에도 최대 92.6% 수준의 인식률이 얻어진다. 만약 은닉층이 1~2개 추가된 단순한 딥러닝 네트워크만 사용해서도 98% 수준의 인식률이 얻어진다는 점을 지적해 두며, 이점에 관해서는 앞으로 Keras를 사용하여 입증해 보도록 하자.

 

한편 디지털 필터 개념을 가지는 CNN(Convilutionary Neural Network)도 하나의 특수한 신경망으로 볼 수 있으며 2개의 은닉층을 사용하면 학습 횟수에 의한 영향을 받겠지만 적어도 98.5~99.2% 사이의 높은 인식률을 얻을 수 있다. 물론 네트워크를 랜덤하게 끓어 버리는 Dropout 알고리듬, Xavier 초기화 알고리듬, Ensemble 알고리듬 적용이 전제되어야 한다.