데이터 한 그릇

자연어 처리 개요_단어 표현 자연어 처리 장에서는 총 4개의 문제에 대해서 알아볼 예정 텍스트 분류 텍스트 유사도 텍스트 생성 기계 이해 단어 표현 결론부터, 단어를 수치화 할 때, 벡터화 해서 주로 표현 단어 표현은 모든 자연어 처리 문제의 기본 바탕이 되는 개념. `자연어를 어떻게 표현할지 정하는 것`이 각 문제를 해결하기 위한 출발점. 즉, 어떻게 자연어를 컴퓨터에게 인식시킬 수 있을까? 이런 질문의 답을 찾는 게 "단어 표현(Word Representation)" 분야다. 언어적인 특성을 반영해서 단어를 수치화 하는 방법을 찾는다. 주로 단어를 수치화할 때 `단어를 벡터` 로 표현한다. (다시 강조, 단어를 벡터로 표현!) 그래서 `단어 표현` 을 단어 임베딩(word embedding), 단어 ..