데이터 한 그릇

word2vec 개선 앞에서 만든 word2vec 같은 경우 CBOW 모델이였다. CBOW 모델은 말뭉치의 크기 커지면 계산 시간이 너무 많이 걸린다는 단점이 있다. 이번 장에서는 word2vec 의 속도 개선을 할 것. 첫 번째 개선으로는 `Embedding` 이라는 새로운 계층을 만들 것. 두 번째 개선으로는 `네거티브 샘플링`이라는 새로운 손실 함수를 도입한다. word2vec 개선(1) word2vec 이 시간이 많이 걸리는 두 가지 이유는 아래와 같다. 입력층의 원핫 표현과 가중치 행렬 W_in 의 곱 계산(4.1절에서 해결) 은닉층과 가중치 행렬 W_out 의 곱 및 Softmax 계층의 계산 **첫 번째**는 입력층 단어의 원핫 표현이다. 만일 문서의 전체 말뭉치 개수가 7개면 원핫 표현된 ..