데이터 한 그릇

자연어 처리란? 한국어와 영어 등 우리가 사용하는 언어를 자연어(Natural Language) 라고 부름. 자연어 처리 : Natural Language Proccessing(NLP) 단어의 의미 문장안에 여러 단어들이 포함되어 있음. 단어는 의미의 최소 단위. (이번장) ***"컴퓨터에게 단어의 의미 이해시키기" , 다른 말로 정확히 말하면 "컴퓨터가 단어의 의미를 잘 파악하는 표현 방법"*** 구체적인 이번장과 다음장에서 알아볼 기술 (컴퓨터에게 단어의 의미를 이해시키는 방법 3가지) 시소러스를 활용한 기법(이번) 통계 기반 기법 (이번) 추론 기반 기법(word2vec) (다음) 시소러스 시소러스 방법(표현)을 이용해서 자연어 단어를 컴퓨터가 알아들을 수 있게 표현. 시소러스 유의어 사전 기본적으..

자연어 처리 개요_텍스트 유사도 "이 노래 누가 만들었어?" "지금 나오는 노래 작곡가가 누구야?" 우리는 이 두 개의 문장이 같은 의미를 지니고 있는지 금방 파악할 수 있지만, 기계는 그러지 못한다. 따라서 두 문장에 대해 답변을 하려면 각각의 답변을 준비해야만 한다. 하지만 이 텍스들간에 유사성이 있음을 판단하면 한 개의 답변만 준비하면 된다. 이 두 텍스트가 유사한지 유사하지 않은지 측정하면 되는데, 이때 사용하는 방법이 텍스트 유사도(TextSimilarity) 다. 텍스트 유사도 방식에는 여러 가지 방식이 있는데, 그 중에서 ***딥러닝을 기반으로 텍스트의 유사도를 측정하는 방식을 주로 다룰 예정.*** ***텍스트를 벡터화 한 이후에, 벡터화 된 각 문장간의 유사도를 측정하는 방법.*** (t..