머신러닝

뉴럴 네트워크(NN) Wide Deep Learning의 Vanishing Gradient의 새로운 해결방안

coding art 2019. 2. 6. 13:43
728x90

파이선 코딩을 배우는 초보자도 머신 러닝에 한번 도전해 보자.

머신 러닝을 배우려는 파이선 코딩 초보자들이 가지게 될 의문점들을 하나하나 찾아내어

실제 풀어보고 결과를 확인해볼 수 있도록  완전히 뒷문으로 들어가 시작하는 머신 러닝!

인터넷 교보문고에서 450페이지19900원에 판매중입니다.














__________________________________________________________________________________________________________________


Sigmoid 함수의 중복적인 사용으로 인한 Vanishing Gradient 문제로 인해 Hinton  교수가 제안한 ReLU 함수가 대안으로 폭 넓게 사용되면서 문제의 해결이 이루어졌지만 한편 Sigmoid 함수의 사용이 대단히 위축 되었다. 하지만 ReLU 함수의 약점 중의 하나가 꺽어지는 부분에서 미분계수 값을 가지지 못하는 단점이 있다. 이러한 약점을 보강하면서 변수가 ∓∞에 접근할 경우 ReLU와 거동이 유사해지면서 Sigmoid 함수를 포함하는 간단한 형태의 연속함수를 제안한다. 이 연속함수 zSigmoid(z)는 별도의 새로룬 함수 도입없이 코드상에서 간단히 한줄로 구현이 가능하다.  머신 러닝의 여러 종류의 문제에 대해서 verification 이 되어야겠지만 대표적으로 Wide Deep NN 문제에 적용해 보기로 하자.


계속되는 내용은 아래의 url 로 이동하여 마자 읽어 보시기 바란다.

https://steemit.com/kr/@codingart/3-4-hinton-relu-zsigmoid-z-wide-deep-learning-nn-vanishing-gradient