Information Bit number 및 Entropy 계산

파이선 코딩을 배우는 초보자도 머신 러닝에 독학으로 한번 도전해 보자.

왜냐구요? 그다지 어렵지 않으니까요!

머신 러닝을 배우려는 파이선 코딩 초보자들이 가지게 될 확률이 높은 의문점들을

하나하나 찾아내어 실제 풀어보고 결과를 확인해볼 수 있는 머신 러닝!

인터넷 교보문고에서 450페이지19900원에 판매중입니다.

________________________________________________________________________________________________________________________

Wikipedia나 Sebastian Raschka의 “Python Machine Learning“ 책에서 Information Gain과 엔트로피에 관해 읽어 보면 알 수 없는 내용으로 가득 차 있다는 점을 쉽게 알 수 있다. 저자들이 내용을 모른다고는 할 수 없으나 일반인들이 이해할 수 있는 언어로 해설되어 있지 않다는 점은 분명하다.

 

세상에 수많은 전문가들이 있어 연구 후 자신의 업적을 논문이나 저서를 출판함에 있어서 문제는 남들이 이해하든 못하든 상관없이 자신이 이해한 수준으로 출판한다는 점이다. 하지만 지금은 오픈소스의 시대이기 때문에 단순한 오픈을 넘어서 비밀스런 내용의 결과까지도 대중이 이해할 수 있는 수준으로 정확하면서도 알기 쉬운 해설이 필요함은 당연하다 할 것이다.

 

1948년 MIT에서 정보과학의 기초를 닦았던 Claude Shannon 교수의 통신에 대한 기본이론과 예제로부터 시작해 보자. Shannon 이 볼츠만 엔트로피로부터 정립한 비트 수 계산법에 관해서 알아보기로 하자. 현대의 이동 통신에서 엔코딩 방식에 따른 평균 비트수 값의 차이는 결국 데이터 통신 비용 산정에 직결되는 내용이 될 것이다.

아래 url  주소로 넘어가서 마저 읽어 보세요.

https://steemit.com/kr/@codingart/5-11-information-bit-number-entropy