데이터 한 그릇

언어 모델을 이용해서 "문장 생성" 을 할 것 seq2seq 모델을 이해 해볼 것 언어 모델을 사용한 문장 생성 RNN을 사용한 문장 생성의 순서 앞의 LSTM 신경망을 살펴봤는데, LSTM 을 살펴보면서 LSTM 을 이용한 언어 모델에 대해서도 살펴봤다. (밑바닥 290그림) 먼저 학습된 LSTM 언어 모델이 있다고 가정해보자. 이 언어 모델은 "You say goodbye and I say hello" 라는 시퀀스 데이터를 학습했다. (먼저 학습된 모델 준비) 이 학습한 모델에 문장을 생성하기 위해서 첫 데이터로 "I" 를 입력했다고 가정해보자. I를 입력받은 모델은 Embedding 계층을 거친 입력 데이터 Xt를 LSTM 계층으로 전달하게 되고, 가중치 매개변수 Wt 와 곱해진 이후 다음 계층인 ..

텍스트 유사도 쿼라 데이터 사용(질의 응답 데이터) 비슷한 질문끼리 분류할 수 있다면, 미리 잘 작성된 답변을 중복 사용할 수 있게 된다. 질문들이 서로 유사한지 유사하지 않은지 유사도를 판별해야 한다. 데이터 EDA 데이터 불러오기 !kaggle competitions download -c quora-question-pairs import numpy as np import pandas as pd import os import matplotlib.pyplot as plt import seaborn as sns from pathlib import Path %matplotlib inline DATA_IN_PATH = './data_in/' train_data = pd.read_csv(DATA_IN_PATH ..