데이터 한 그릇

문장을 학습한다는 것은 지금까지 와는 다르다. 지금까지는 순서와 상관없이 단어의 개수를 세어서 그 글이 긍정적인 글인지 부정적인 글인지와 같은 작업을 진행했다면, 문장은 과거에 들어왔던 데이터와 미래에 들어올 데이터와의 관계를 파악해야만 의미가 전달이 된다. 즉, 데이터 간의 순서를 고려해야만 한다. 즉 딥러닝에 순서에 관계없이 입력되던 것과 달리, 순서를 고려해서 입력되야만 한다. 이를 해결하기 위해서 RNN 이 등장했다. 여러 개의 데이터가 순서대로 입력이 됐을 때, 입력이 됐던 데이터를 잠시 기억해두는 방식이다. 그리고 기억된 데이터가 얼마나 중요한지 가중치를 부여하고 다음 데이터로 넘어간다. 이 가중치가 다음 입력데이터와 관계를 맺고 다음 입력 데이터의 출력에 관여한다. 모든 입력값에 이 작업을 ..

인간의 말을 컴퓨터가 알아듣게 만드는 처리 컴퓨터는 인간의 말을 그대로 이해할 수 없다. 컴퓨터가 알아들을 수 있게 언어를 가공해서 줘야만 한다. 즉, 전처리 작업이 필요하다. 텍스트의 토큰화 텍스트가 존재한다면 이를 단어별, 문장별, 형태소별로 나눌 수 있다. 입력된 텍스트를 잘게 나누는 과정을 토큰화(Tokenization) 라고 한다. from tensorflow.keras.preprocessing.text import text_to_word_sequence text = '해보지 않으면 해낼 수 없다. 오늘 저녁은 뭘 먹지' result = text_to_word_sequence(text) print(result) 결과 : ['해보지', '않으면', '해낼', '수', '없다', '오늘', '저녁은..