2-14 Sigmoid vs softmax 확률분포 비교: Rosenblatt 퍼셉트론 N = 1

Boltzman 확률 분포를 차용했다고 보이는 softmax 확률 분포 계산 그리고 Fermi-Dirac 확률 분포를 차용했다고 보이는 Sigmoid 확률분포 계산 이 두 방법이 완전히 서로 다른 방법이긴 하지만 Binary Classification 문제에 관한한 다 같이 적용이 가능하다.

 

따라서 Rosenblatt Perceptron N=1 조도센서 문제에 대하여 learning rate = 0.1, steps 수 10만회를 계산하여 그래프로 비교해 보기로 하자. 정말 Surprising 한 결과가 얻어진다.

여하튼 두 종류의 확률 분포가 수학적으로나 물리적으로 다름에도 불구하고 거의 동일한 결과를 준다고 하는 것은 Boltzman 확률분포와 Fermi-Dirac 확률분포가 N=1일 때에 일치한다는 결론을 내릴 수 있을 것이며 입력 이미지 센서 즉 조도센서가 2개 이상인 즉 N≥2 이상인 경우에도 Binary Classification 문제라면 두 기법 적용 결과 모두 유사한 결과를 줄 수 있으리라 기대된다.