데이터 한 그릇

LDA LDA 실습 SVD SVD 실습 NMF NMF 실습 LDA LDA(Linear Discriminant Analysis)는 선형 판별 분석법으로 불린다. PCA와 매우 유사하지만 PCA같은 경우 데이터의 변동성이 가장 큰 벡터를 찾았지만 LDA같은 경우에는 타겟 데이터를 잘 분류하기 위해서 결정 값들을 최대한 분류할 수 있는 벡터를 찾는다. LDA는 특정 공간상에서 결정 값을 분리하는 것을 최대화 하기 위해, 클래스 간 분산(between-class-scatter)과 클래스 내부 분산(within-class-scatter)의 비율을 최대화하는 방식으로 벡터를 찾는다. 비율을 최대화 하기 위해서는 클래스 간 분산을 최대화 시키고 클래스 내부 분산을 최소화 시키면 된다. 결국 LDA는 PCA와 달리 데..

차원 축소란 PCA 개요 차원 축소란? 머신러닝 차원 축소 편에서는 대표적인 차원 축소 알고리즘인 PCA, LDA, SVD, NMF에 대해서 살펴볼 예정이다. 차원 축소란 매우 많은 피처로 구성된 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것이다. 일반적으로 차원이 증가할수록 데이터 포인트 간의 거리가 기하급수적으로 증가한다. 따라서 수많은 데이터 피처를 가지고 있는 데이터 세트 경우에는 상대적으로 적은 피처를 가지고 있는 데이터 세트에 비해서 예측도가 떨어진다. 따라서 데이터 피처를 줄여 차원을 줄이는 차원 축소를 해야만 한다. 차원 축소는 피처 선택(feature selection)과 피처 추출(feature extraction)로 나눌 수 있다. 피처 선택은 말 그대로 특정 ..