목록NLP (21)

데이터 한 그릇

텍스트 분류(1) - 텍스트 데이터 EDA 및 전처리

텍스트 데이터에서 다양한 방법으로 텍스트 분류 모델을 만들기 전에, EDA 작업과 전처리 작업을 진행할 예정. 데이터는 kaggle 에 있는 wrod2vec -nlp-tutorial 데이터를 사용할 것. 이때 캐글의 데이터는 직접 홈페이지 다운 방식이 아니라 api 를 사용. 데이터 EDA import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns !kaggle competitions download -c word2vec-nlp-tutorial 캐글 api 이용해서 wrod2vec -nlp-tutorial 데이터 다운. DATA_IN_PATH = './data_in/' TRAIN_INPUT_DATA..
NLP/텐서플로2와 머신러닝으로 시작하는 자연어처리 2022. 1. 27. 15:57
어텐션(Attention)

어텐션의 구조 지금까지 배운 seq2seq를 한층 더 강력하게 하는 `어텐션 메커니즘` 을 알아볼 것. 먼저 seq2seq 의 문제를 살펴보고 그 후에 어텐션의 구조를 설명. seq2seq의 문제점 먼저 다시 복습할겸 Encoder의 원리로 돌아가면, Encoder 에 입력 데이터, 시퀀스 데이터를 넣어주면 LSTM 계층을 거쳐서 입력 데이터를 고정된 길이의 벡터로 만들어준다. 여기서 고정된 벡터가 효율적으로 보였지만 사실 이게 큰 문제다. 인코더에서 입력 데이터를 고정된 길이로 바꾸기 때문에 손실된 정보들이 존재한다. 즉, 문장이 아무리 길어도 고정된 길이의 벡터로 바꾸기 때문에 손실되는 정보가 발생한다. 따라서 이러한 이유로 Encoder 를 개선해애ㅑ 한다. (문제 1 : Encoder 가 입력 시..
NLP/밑바닥부터 시작하는 딥러닝 2022. 1. 25. 12:40
Prev 1 ··· 3 4 5 6 7 8 9 ··· 11 Next