데이터 한 그릇

어텐션의 구조 지금까지 배운 seq2seq를 한층 더 강력하게 하는 `어텐션 메커니즘` 을 알아볼 것. 먼저 seq2seq 의 문제를 살펴보고 그 후에 어텐션의 구조를 설명. seq2seq의 문제점 먼저 다시 복습할겸 Encoder의 원리로 돌아가면, Encoder 에 입력 데이터, 시퀀스 데이터를 넣어주면 LSTM 계층을 거쳐서 입력 데이터를 고정된 길이의 벡터로 만들어준다. 여기서 고정된 벡터가 효율적으로 보였지만 사실 이게 큰 문제다. 인코더에서 입력 데이터를 고정된 길이로 바꾸기 때문에 손실된 정보들이 존재한다. 즉, 문장이 아무리 길어도 고정된 길이의 벡터로 바꾸기 때문에 손실되는 정보가 발생한다. 따라서 이러한 이유로 Encoder 를 개선해애ㅑ 한다. (문제 1 : Encoder 가 입력 시..