데이터 한 그릇

word2vec 컴퓨터가 이해할 수 있게 단어를 표현하는 방식에 대해서 저번에 다루었다. ***시소러스 방식, 통계 기반 방식(동시발생행렬, ppmi)*** 이 이외에 다른 방식으로 `추론 기반 방식` 이 있다는 걸 언급했었는데, 이번 장에서는 추론 기반 방식 중 하나인 `word2vec` 에 대해서 살펴볼 것. 추론 기반 기법과 신경망 `분포 가설` 은 통계 기반 기법의 원리이지만 "추론 기반 기법" 에도 분포 가설은 원리로 작동한다. 통계 기반 기법의 문제점 현업에서는 데이터가 너무 크기 때문에 동시발생행렬 혹은 ppmi 를 만들 때 너무 거대한 행렬을 만들게 된다. 이를 svd한다고 한다는 게 실행하기 어렵다. 통계 기반 기법은 모든 데이터를 한꺼번에 사용한다는 점이 있는데, 미니배치 기법은 모든 ..