머신 러닝에서 알아야 되는 최소한의 통계확률 이론(???)

물론 지금까지 다루어 오던 아두이노 엘렉트로닉스류의 코딩이 안드로이드 OS의 지원을 받는 스마트 폰에서 앱 코딩을 지원하는 앱인벤터와 조우하는 경우 아두이노 코딩이 보다 강력한 시너지를 받을 수 있었지만 한편 PC의 Processing에서 시리얼/이더넷 인터페이스나 무선 와이파이에 의한 아두이노 인터페이스 코딩이 가능하다면 아두이노 사물인터넷 코딩의 끝판을 볼 수 있을 듯하다.

교보문고에서 판매 중입니다. 342 페이지 가격 15800원 개인출판(POD)이므로 주문 배송기간이 일주일 정도 소요됩니다.

_______________________________________________________________________________________________________________________________

머신 러닝을 위한 학습 알고리듬을 코딩함에 있어서 성공 여부는 데이터의 확률분포 특성 파악에 달려있을 만큼 중요한 역할을 하게 된다. 따라서 머신 러닝에 관련된 내용을 읽을 경우 흔히 알게 모르게 언급되는 최소한도의 용어의 뜻과 쓰임새를 알아보자. 이 최소한의 내용이 꼭 머신 러닝뿐만 아니라 혹 어쩌다가 강원랜드나 라스베가스를 우연히 방문하게 될 때 도움이 될 지는 모르겠다.

 

지금 시대에 확률이라는 용어는 개나 소나 말뿐만 아니라 심지어 정치인들까지도 사용할 정도로 흔한 용어가 되어 버렸다. 우리는 석연치 않게(uncertain) 또는 갑자기 일어나는 사건(event)에 대해서 확률을 흔히 떠 올리지만 그래도 그 사건이 과연 확률이라고 우길 수 있는지 아니면 최소한도 확률로 포장 가능성이라도 있는지 짚어 볼 필요가 있다.

세상에 눈에 보이는 천지 우주공간만 있는 것은 아니고 눈에 잘 보이지 않지만 그래도 강원랜드나 라스베가스가 불황에 시달린다는 말을 못들어 볼 정도로 활황인 점으로 미루어 보건대 분명 확률 공간 내지는 확률의 세계란 것이 분명히 있는 듯하므로 그 확률 공간이란 것이 무언지 아래의 세가지를 리뷰해 보자.

 

1) 즉 주사위 게임에서 던지면 무슨 결과(outcome)가 나오느냐는 점이다. 뭔가 결과물(outcome) 즉 {1,2,3,4,5,6}=Ω가 나온다는 점이다. 슬롯머신 게임에서도 손가락으로 열심히 코인 넣고 팔운동 열심히 하면 뭔가 나오는데 얘는 너무 간단하므로 스킵해 버리자.

2) 주사위 던지면 당연히 숫자가 나오는 것은 당연지사고 뭔가 이벤트가 있어야 하지 않을까? 이미 너무나 잘 알고 있을지도 모르는 “짝홀” 맞추기! 좀 멋있게 “even” 과 “odd” 이 있군요. 이벤트마다 상금을 걸어두고 딜러를 시켜 선수들과 게임을 하는데 적어도 하우스 운영자 입장에서는 그 주사위 게임에 관해서 가능한 모든 객관적인 이벤트 경우의 수 및 보상 내용을 주지하고 있어야 상황별 대처가 가능할 것이다.

그 상황 중에는 기계고장으로 주사위가 안 나오거나 슬롯머신 작대기가 끼어서 못 움직이는 경우도 포함이 된다. 확률수학 책을 쳐다보니까 이벤트 중에 공집합이란 놈도 나오는데 글쎄 이런 상황인 듯하다. 주사위 던지기 게임에서 이벤트 공간의 예를 하나 다음과 같이 제시해 보자.

{ ∅, {1,3,5}, {2,4,6}, {1,2,3,4,5,6} }=F

이 주사위 게임의 이벤트는 짝이냐 홀이냐 아니면 주사위 던지면 뭔가 숫자가 나올테니까 받아갈 수 있는 참가상, 기계고장으로 주사위 안 나오면 받게되는 순간적 정신 충격과 고통에 대해서 하우스 주인의 물질적 피해보상으로 구성이 된다.

3)결국 주사위 게임에서 F 중에 포함되어 있는 이벤트들을 대상으로 선별 기획하여 게임이 이루어지면 이벤트 별로 필연적으로 편두통을 유발시킬 수도 있는 0∼1 사이의 계산 가능한 확률=P 가 있어야 한다.

 

사실 이 3요소를 잘 이해해도 라스베가스에서 수입 잡기는 쉽지 않지만 그래도 머신 러닝에서 코딩 작업은 제대로 할 수 있도록 잘 이해해 두도록 하자.

 

이 주사위 게임에서는 결과물(outcome) Ω의 내용물이 6개에 불과하니까 앞에서 설명 내용처럼 3 요소에 대한 내용이 그렁 저렁 이해가 되는 반면에 결과물이 무지 많아지게 되면 이벤트 공간 F에서 적어도 다음의 사항 정도는 반드시 준수해 교통정리가 되어야 한다는 군요.

⓵ 이벤트 공간 F에 포함된 어떤 이벤트라 할지라도 그 확률이 반드시 0이상 양의 값을 가져야 한다.

⓶ 모든 가능한 결과물을 망라하는 주사위 게임에서면 {1,2,3,4,5,6}=Ω인데 모든 결과물들이 결국 모조리 다 일어날 확률을 다 합하면 즉 P(Ω)=1이 된다는 군요.

⓷ 이벤트 공간의 서로 겹치는 공통분모가 없는 2개의 이벤트 즉 예를 들면 짝 홀 의 경우인데 이들을 합친 이벤트의 확률 P는 각각의 이벤트가 일어날 확률의 합과 일치한다. 뭔가 풀 뜻어 먹는 이론인 듯한데 간단하게 따져 보자. 짝이 나올 이벤트와 홀이 나올 이벤트는 공통분모가 전혀 없군요. 그런데 짝이나 홀 어느 것이 나와도 되는 확률은 간단히 1 이군요. 그런데 짝이 나올 확률이 (1/2), 홀이 나올 확률이 (1.2) 합치면 흠 1이 맞는 군요. 잔소리 하나 보태자면 짝이면서 홀일 수도 있는 말도 안되는 확률은 0이란 듯이군요.

 

물론 주사위 던지기에서는 간단한듯하나 이벤트 수가 정말 많다면 확율이 1이 넘는지 또는 각각의 이벤트가 공통분모가 없는데 확률계산상으로도 맞는지 일일이 체크해봐야 하겠네요.

  

주사위 문제에서 교통정리란 것을 한번 해볼까요?

P({1}) = P({1}) = P({1}) ⚫⚫⚫ = 1/6 흠 OK

P({2,4,6}) = P({1}) + P({2}) + P({3}) = (1/6) + (1/6) +(1/6) =(1/2) 흠 OK

P({1}), P({2}), P({3}) 야네들 끼리는 절대로 같이 일어나지 않으므로 이들을 조인트안된것(disjoint)으로 일컫는군요.

이상의 내용은 “Probability Review for Machine Learning”, Samuel Ieong 의 2006년 문헌의 1.1장까지 공부해본 내용이니 필요하신 분 아래 주소의 원문도 참조 바람. 원문 길이는 13 페이지인데 조금 필요한 개념 정도만 챙겨볼 계획임.

 

Probability Theory for Machine Learning

https://see.stanford.edu/materials/aimlcs229/cs229-prob.pdf