Fisher교수의 Linear Discriminant Analysis 기법 Revision II

2025년 이후 미래의 취업 전쟁에서 연봉10억 이상을 꿈꾸십니까?

그렇다면 파이선 코딩을 배우는 초보자라도 바로 이 머신 러닝에

독학으로 한번 도전해 보세요. 왜냐구요? 그다지 어렵지 않으니까요!

인공 지능을 배우려는 파이선 코딩 초보자들이 가지게 될 확률이 높은 의문점들을

하나하나 찾아내어 실제 풀어보고 결과를 확인해볼 수 있는 머신 러닝!

인터넷 교보문고에서 450페이지19900원에 판매중입니다.

________________________________________________________________________________________________________________________

Fisher 교수의 목적은 붓꽃의 특징벡터(feature vector)들을 사용하여 붓꽃 종류를 구분하는 즉 Classification 연구였으며 그 구체적인 방법론이 바로 LDA이다. 비록 오래된 이론이긴 하지만 지금의 머신 러닝 이론에 영향을 줄 수 있을 정도로 그 방법론이 신선해 보인다는 점이다.

 

LDA 기법은 독립된 4개의 성분을 가지는 다시 말해서 4차원적인 붓꽃 데이터의 특징 벡터(feature vector)를 변환시켜 적어도 한 차원 아래인 3차원 또는 2차원 데이터로 차원을 낮추는데 있다. 하지만 1990년대 개발된 SVM(Support Vector Machine)기법에서는 데이터에 임의의 자유도를 추가하여 오히려 차원을 높여서 Classification 목적을 달성하는 경우도 있다.

 

한편 통계학은 아니지만 이러한 시도는 통계학이 아닌 다른 과학 분야에서도 이루어지고 있다. 즉 비압축성 유체역학 분야에서 반무한 평판 주위를 흐르는 경계 층류를 계산하기 위해 편미분 방정식인 Navier Stokes 방정식을 무차원 변수를 도입하여 변환시키면 한 차원 낮은 것으로 볼 수 있는 상미분 방정식이 얻어지며 Blasius 해가 얻어진다. 그밖에도 이와 같이 차원을 높이거나 낮추는 기법은 특히 현대의 평행 우주론에서 끈 이론과 결부하여 많은 노력들이 이루어지는 분야이다.

 

특히 LDA 기법에서는 Scatter를 사용하기 때문에 쉽게 이해가 되질 않는 면이 있을 수 있으므로 간단한 수치 예제를 대상으로 그 유도과정을 면밀하게 살펴 볼 필요가 있다. LDA 기법을 검토하기 좋은 예제로는 간단하게는 2차원 예제 즉 class 가 2인 문제가 적격이다. 하지만 그 다음 실전 예제 차원에서 class 가 4인 붓꽃 데이터를 직접 다루는 것이 가장 좋을 듯하다.

 

다음의 인위적인 수치 예제는 Fisher 의 Linear Discriminant 이해를 도울 수 있는 두뇌 훈련 예제로 보면 좋을 것이다.

10개의 데이터를 좌표 평면에 작도해 보면 2개의 그룹으로 나누어진다. 5개로 구성된 각 class 별 1X2 특성(feature) 벡터들의 평균값을 구해보자.

이 식에서 i 의 범위가 1에서 5까지는 class ‘0’ 이고 6에서 10까지면 class ‘1’ 이 된다.

 

LDA 기법의 목적은 현재의 데이터 차원(dimension)을 축소함에 있다. 즉 현재 데이터가 2차원이라면 적절한 변환에 의해 1차원 데이터를 생성하는 것이다. 위 그림에서처럼 변환된 직선위에 수직선을 그어 점들의 투영(projection) 작업을 하는 것이다. 2차원적으로 평면상에 펼쳐져 있는 데이터를 하나의 직선상에 1차원 화 하여 직선상에서 분포를 관찰하려는 것이다. 확률 통계에서 흔하게 다루는 정규 분포 문제가 바로 하나의 직선상에서 문제를 다루는 방식임에 유의하자.

 

아래 url 주소로 이동해 마저 읽어 보세요.

https://steemit.com/kr/@codingart/5-21-fisher-linear-discriminant-analysis-revision-ii