데이터 한 그릇

자연어 처리 개요_텍스트 분류(Text Classification) 자연어 처리 기술을 통해, 특정 텍스트를 사람들이 지정한 몇 가지 범주(class) 중에 어디 속하는지 분류하는 문제. 이 텍스트는 어떤 범주에 들어갈까? 텍스트 분류 문제는 class 가 두 개인 이진 분류 문제일수도 있고 class 가 여러 개인 다중 분류 문제일수도 있다. 텍스트 분류의 예시 스팸 분류 이진분류 문제. 이 메일이 스팸이냐 스팸이 아니냐? 감정 분류 이 글이 긍정적인 글이냐 부정적인 글이냐? 경우에 따라는 이진 분류 문제가 아니라 다중 분류 문제일수도 있다. ''중립'' 을 추가해서. 뉴스 기사 분류 이 글이 어떤 주제에 속하는가? (스포츠, 연예, 정치, 경제 등등) 그렇다면 텍스트 분류 문제는 어떻게 해결할 수 있..

자연어 처리 개요_텍스트 유사도 "이 노래 누가 만들었어?" "지금 나오는 노래 작곡가가 누구야?" 우리는 이 두 개의 문장이 같은 의미를 지니고 있는지 금방 파악할 수 있지만, 기계는 그러지 못한다. 따라서 두 문장에 대해 답변을 하려면 각각의 답변을 준비해야만 한다. 하지만 이 텍스들간에 유사성이 있음을 판단하면 한 개의 답변만 준비하면 된다. 이 두 텍스트가 유사한지 유사하지 않은지 측정하면 되는데, 이때 사용하는 방법이 텍스트 유사도(TextSimilarity) 다. 텍스트 유사도 방식에는 여러 가지 방식이 있는데, 그 중에서 ***딥러닝을 기반으로 텍스트의 유사도를 측정하는 방식을 주로 다룰 예정.*** ***텍스트를 벡터화 한 이후에, 벡터화 된 각 문장간의 유사도를 측정하는 방법.*** (t..