데이터 한 그릇

word2vec 컴퓨터가 이해할 수 있게 단어를 표현하는 방식에 대해서 저번에 다루었다. ***시소러스 방식, 통계 기반 방식(동시발생행렬, ppmi)*** 이 이외에 다른 방식으로 `추론 기반 방식` 이 있다는 걸 언급했었는데, 이번 장에서는 추론 기반 방식 중 하나인 `word2vec` 에 대해서 살펴볼 것. 추론 기반 기법과 신경망 `분포 가설` 은 통계 기반 기법의 원리이지만 "추론 기반 기법" 에도 분포 가설은 원리로 작동한다. 통계 기반 기법의 문제점 현업에서는 데이터가 너무 크기 때문에 동시발생행렬 혹은 ppmi 를 만들 때 너무 거대한 행렬을 만들게 된다. 이를 svd한다고 한다는 게 실행하기 어렵다. 통계 기반 기법은 모든 데이터를 한꺼번에 사용한다는 점이 있는데, 미니배치 기법은 모든 ..

자연어 처리 개요_단어 표현 자연어 처리 장에서는 총 4개의 문제에 대해서 알아볼 예정 텍스트 분류 텍스트 유사도 텍스트 생성 기계 이해 단어 표현 결론부터, 단어를 수치화 할 때, 벡터화 해서 주로 표현 단어 표현은 모든 자연어 처리 문제의 기본 바탕이 되는 개념. `자연어를 어떻게 표현할지 정하는 것`이 각 문제를 해결하기 위한 출발점. 즉, 어떻게 자연어를 컴퓨터에게 인식시킬 수 있을까? 이런 질문의 답을 찾는 게 "단어 표현(Word Representation)" 분야다. 언어적인 특성을 반영해서 단어를 수치화 하는 방법을 찾는다. 주로 단어를 수치화할 때 `단어를 벡터` 로 표현한다. (다시 강조, 단어를 벡터로 표현!) 그래서 `단어 표현` 을 단어 임베딩(word embedding), 단어 ..