데이터 한 그릇

자연어 처리란? 한국어와 영어 등 우리가 사용하는 언어를 자연어(Natural Language) 라고 부름. 자연어 처리 : Natural Language Proccessing(NLP) 단어의 의미 문장안에 여러 단어들이 포함되어 있음. 단어는 의미의 최소 단위. (이번장) ***"컴퓨터에게 단어의 의미 이해시키기" , 다른 말로 정확히 말하면 "컴퓨터가 단어의 의미를 잘 파악하는 표현 방법"*** 구체적인 이번장과 다음장에서 알아볼 기술 (컴퓨터에게 단어의 의미를 이해시키는 방법 3가지) 시소러스를 활용한 기법(이번) 통계 기반 기법 (이번) 추론 기반 기법(word2vec) (다음) 시소러스 시소러스 방법(표현)을 이용해서 자연어 단어를 컴퓨터가 알아들을 수 있게 표현. 시소러스 유의어 사전 기본적으..

LDA LDA 실습 SVD SVD 실습 NMF NMF 실습 LDA LDA(Linear Discriminant Analysis)는 선형 판별 분석법으로 불린다. PCA와 매우 유사하지만 PCA같은 경우 데이터의 변동성이 가장 큰 벡터를 찾았지만 LDA같은 경우에는 타겟 데이터를 잘 분류하기 위해서 결정 값들을 최대한 분류할 수 있는 벡터를 찾는다. LDA는 특정 공간상에서 결정 값을 분리하는 것을 최대화 하기 위해, 클래스 간 분산(between-class-scatter)과 클래스 내부 분산(within-class-scatter)의 비율을 최대화하는 방식으로 벡터를 찾는다. 비율을 최대화 하기 위해서는 클래스 간 분산을 최대화 시키고 클래스 내부 분산을 최소화 시키면 된다. 결국 LDA는 PCA와 달리 데..