데이터 한 그릇

인간의 말을 컴퓨터가 알아듣게 만드는 처리 컴퓨터는 인간의 말을 그대로 이해할 수 없다. 컴퓨터가 알아들을 수 있게 언어를 가공해서 줘야만 한다. 즉, 전처리 작업이 필요하다. 텍스트의 토큰화 텍스트가 존재한다면 이를 단어별, 문장별, 형태소별로 나눌 수 있다. 입력된 텍스트를 잘게 나누는 과정을 토큰화(Tokenization) 라고 한다. from tensorflow.keras.preprocessing.text import text_to_word_sequence text = '해보지 않으면 해낼 수 없다. 오늘 저녁은 뭘 먹지' result = text_to_word_sequence(text) print(result) 결과 : ['해보지', '않으면', '해낼', '수', '없다', '오늘', '저녁은..