데이터 한 그릇

언어 모델을 이용해서 "문장 생성" 을 할 것 seq2seq 모델을 이해 해볼 것 언어 모델을 사용한 문장 생성 RNN을 사용한 문장 생성의 순서 앞의 LSTM 신경망을 살펴봤는데, LSTM 을 살펴보면서 LSTM 을 이용한 언어 모델에 대해서도 살펴봤다. (밑바닥 290그림) 먼저 학습된 LSTM 언어 모델이 있다고 가정해보자. 이 언어 모델은 "You say goodbye and I say hello" 라는 시퀀스 데이터를 학습했다. (먼저 학습된 모델 준비) 이 학습한 모델에 문장을 생성하기 위해서 첫 데이터로 "I" 를 입력했다고 가정해보자. I를 입력받은 모델은 Embedding 계층을 거친 입력 데이터 Xt를 LSTM 계층으로 전달하게 되고, 가중치 매개변수 Wt 와 곱해진 이후 다음 계층인 ..

어텐션의 구조 지금까지 배운 seq2seq를 한층 더 강력하게 하는 `어텐션 메커니즘` 을 알아볼 것. 먼저 seq2seq 의 문제를 살펴보고 그 후에 어텐션의 구조를 설명. seq2seq의 문제점 먼저 다시 복습할겸 Encoder의 원리로 돌아가면, Encoder 에 입력 데이터, 시퀀스 데이터를 넣어주면 LSTM 계층을 거쳐서 입력 데이터를 고정된 길이의 벡터로 만들어준다. 여기서 고정된 벡터가 효율적으로 보였지만 사실 이게 큰 문제다. 인코더에서 입력 데이터를 고정된 길이로 바꾸기 때문에 손실된 정보들이 존재한다. 즉, 문장이 아무리 길어도 고정된 길이의 벡터로 바꾸기 때문에 손실되는 정보가 발생한다. 따라서 이러한 이유로 Encoder 를 개선해애ㅑ 한다. (문제 1 : Encoder 가 입력 시..