Softmax로 학습된 확률분포와 테스트된 확률분포의 통계적 특성 비교

파이선 코딩을 배우는 초보자도 머신 러닝에 한번 도전해 보자.

머신 러닝을 배우려는 파이선 코딩 초보자들이 가지게 될 의문점들을 하나하나 찾아내어

실제 풀어보고 결과를 확인해볼 수 있도록  완전히 뒷문으로 들어가 시작하는 머신 러닝!

인터넷 교보문고에서 450페이지19900원에 판매중입니다.

___________________________________________________________________________________________________

머신 러닝에서는 특정 클라스에 속하는 identical 하면서 distinguishable 한 많은 샘플 수의 입력 벡터들 X에 대해서 학습 계산을 실행하여 Hypothesis 레벨 별로 값을 계산한다. 물론 이 계산은 0부터 9까지 class 전체를 대상으로 돌아가면서 모든 class들에 대해 cost(loss) 함수인 Crooss Entropy가 최소화 되도록 웨이트 매트릭스가 업데이트 되어 나가면서 학습이 완료 되어야 한다. 이러한 머신 러닝의 Hypothesis 레벨 연산은 볼츠만 분포에서처럼 입자들의 속도분포와 같은 물리적 특성이 아닌 통계적 확률 분포 데이터 성격이 강하다. 따라서 통계적인 인덱스 즉 평균, 분산, 공분산 또는 상관계수가 학습 결과를 사용한 테스트 인식과정에서도 영향을 미칠 수 있는 통계적으로 중요한 요소가 될 것이다.

 

우선 학습단계에서 특정 클래스에 해당하는 학습용 입력 벡터 X에 대해서 웨이트 매트릭스를 계산하는 방법은 클라스에 지정된 one hot code 에 맞춰 지정된 한 자리만 Hypothesis 레벨 값이 1.0이 되고 나머지 Hypothesis 레벨 값들은 모두 0.0이 되도록 학습에 의해 웨이트 계산이 이루어진다. 그림의 빨간색 히스토그램 사례를 참조하자. 0∼9 중에 하나가 1.0이기 때문에 나머지 9개는 이론적으로 0.0 이 되어야 하나 실제 연산에서는 대단히 작은 숫자 값이 계산된다.

이어지는 내용은 다음 url 주소로 이동하여 읽어보세요.

https://steemit.com/kr/@codingart/2-6-softmax