데이터 한 그릇

word2vec 개선 앞에서 만든 word2vec 같은 경우 CBOW 모델이였다. CBOW 모델은 말뭉치의 크기 커지면 계산 시간이 너무 많이 걸린다는 단점이 있다. 이번 장에서는 word2vec 의 속도 개선을 할 것. 첫 번째 개선으로는 `Embedding` 이라는 새로운 계층을 만들 것. 두 번째 개선으로는 `네거티브 샘플링`이라는 새로운 손실 함수를 도입한다. word2vec 개선(1) word2vec 이 시간이 많이 걸리는 두 가지 이유는 아래와 같다. 입력층의 원핫 표현과 가중치 행렬 W_in 의 곱 계산(4.1절에서 해결) 은닉층과 가중치 행렬 W_out 의 곱 및 Softmax 계층의 계산 **첫 번째**는 입력층 단어의 원핫 표현이다. 만일 문서의 전체 말뭉치 개수가 7개면 원핫 표현된 ..

word2vec 컴퓨터가 이해할 수 있게 단어를 표현하는 방식에 대해서 저번에 다루었다. ***시소러스 방식, 통계 기반 방식(동시발생행렬, ppmi)*** 이 이외에 다른 방식으로 `추론 기반 방식` 이 있다는 걸 언급했었는데, 이번 장에서는 추론 기반 방식 중 하나인 `word2vec` 에 대해서 살펴볼 것. 추론 기반 기법과 신경망 `분포 가설` 은 통계 기반 기법의 원리이지만 "추론 기반 기법" 에도 분포 가설은 원리로 작동한다. 통계 기반 기법의 문제점 현업에서는 데이터가 너무 크기 때문에 동시발생행렬 혹은 ppmi 를 만들 때 너무 거대한 행렬을 만들게 된다. 이를 svd한다고 한다는 게 실행하기 어렵다. 통계 기반 기법은 모든 데이터를 한꺼번에 사용한다는 점이 있는데, 미니배치 기법은 모든 ..