데이터 한 그릇

텍스트 분석 텍스트 분석 이해 텍스트 분석 NLP 와 텍스트 분석은 머신러닝이 발전한 이후에 분리해서 구분하는게 큰 의미가 없다. 하지만 굳이 구분을 하자면 다음과 같다. NLP 는 기계가 인간의 언어를 이해하고 해석하는데 중점을 두고 기술이 발전해왔다. 텍스트 분석은 비정형 데이터에서 의미있는 정보를 추출하는 것에 좀 더 중점을 두고 기술이 발전해왔다. NLP 는 텍스트 분석 기술 진보의 동력이라고 할 수 있으며, 따라서 NLP 가 발전함에 따라 텍스트 분석 기술도 발전해왔다. 또한 머신러닝은 NLP 와 텍스트 분석 기술 발전의 동력이라고 할 수 있으며, 따라서 머신러닝이 발달함에 따라 NLP 기술과 텍스트 분석 기술이 발전해왔다. 우리가 다뤄볼 주제는 텍스트 분석이며 텍스트 분석의 영역은 크게 다음과..

정밀도 재현율 트레이드 오프 정밀도 / 재현율 트레이드 오프 (Trade-off) 업무에 따라 정밀도/재현율 중요도 다름 분류하려는 업무 특성사 정밀도 도는 재현율이 특별히 강조되어야 할 경우 분류의 결정 임계값(Threshold)을 조정해서 정밀도 도는 재현율의 수치를 높일 수 있음 그러나 정밀도와 재현율은 상호 보완적인 평가 지표이기 때문에 어느 한쪽을 강제로 높이면 다른 하나의 수치는 떨어지는데 이를 정밀도/재현율의 트레이드 오프라고 함 사이킷런에서는 분류 결정 임계값을 조절해서 정밀도와 재현율의 성능 수치를 상호 보완적으로 조정 가능 분류 결정 임계값 Positive 예측값을 결정하는 확률의 기준 임계값을 낮출수록 True 값이 많아짐 사이킷런의 분류 알고리즘에서 결정 확률을 구하는 방식 예측 데..