데이터 한 그릇

순환 신경망(RNN) 지금까지 우리가 살펴봤던 신경망은 모두 피드포워드(feed forward) 신경망이다. 피드포워드 신경망은 값의 흐름이 단방향인 신경망을 의미한다. 하지만 피드포워드 신경망은 시계열 데이터의 성질이나 패턴에 대해서 제대로 학습할 수 없다. 따라서 그 대체로 등장한 신경망이 "순환 신경망(RNN)" 이다. 확률과 언어 모델 word2vec을 확률 관점에서 바라보다. 말뭉치 W가 있다고 가정해보자. 말뭉치 W는 [w1, w2, w3, wt-1, wt, wt+1, w....] 로 이루어져 있다고 하자. word2vec 은 타깃단어를 맥락 단어들로 추론하는 방법을 사용한다. 타깃단어를 wt 라고 정하고 맥락 단어들을 wt-1, wt+1 로 정한다. 즉, wt-1, wt+1 이 주어졌을 때,..