데이터 한 그릇

RNN 은 그 구조도 단순하여 구현도 쉬웠지만 단점이 존재한다. 바로 성능이 좋지 않다는 점인데, 그 이유는 멀리 떨어진 장기(long term) 관계를 잘 학습할 수 없기 때문이다. 따라서 이번 장에서는 단순 RNN 성능을 보완한 LSTM 이나 GRU 계층이 쓰인다. LSTM이나 GRU 는 게이트(gate) 라는 구조가 더해진다. 이 게이트 덕분에 장기 의존 관계를 학습할 수 있다. (멀리 떨어진 단어를 잘 학습할 수 있다.) RNN 의 문제점 RNN은 장기 의존 관계를 잘 학습할 수 없는데, 그 이유는 기울기 소실 문제가 일어나거나 기울기 폭발 문제가 일어나기 때문이다. 기울기 소실 문제는 오차역전파시 기울기가 소실되는 문제를 의미하고 기울기 폭발 문제는 그 반대로 기울기가 너무 큰 숫자가 되는 것을..

순환 신경망(RNN) 지금까지 우리가 살펴봤던 신경망은 모두 피드포워드(feed forward) 신경망이다. 피드포워드 신경망은 값의 흐름이 단방향인 신경망을 의미한다. 하지만 피드포워드 신경망은 시계열 데이터의 성질이나 패턴에 대해서 제대로 학습할 수 없다. 따라서 그 대체로 등장한 신경망이 "순환 신경망(RNN)" 이다. 확률과 언어 모델 word2vec을 확률 관점에서 바라보다. 말뭉치 W가 있다고 가정해보자. 말뭉치 W는 [w1, w2, w3, wt-1, wt, wt+1, w....] 로 이루어져 있다고 하자. word2vec 은 타깃단어를 맥락 단어들로 추론하는 방법을 사용한다. 타깃단어를 wt 라고 정하고 맥락 단어들을 wt-1, wt+1 로 정한다. 즉, wt-1, wt+1 이 주어졌을 때,..