데이터 한 그릇

지도 학습 기반 비지도 학습 기반 지도학습 기반 감성 분석 실습 - IMDB 영화평 캐글에 있는 IMDB 영화평을 기반으로 실습을 진행해 보겠다. import pandas as pd review_df = pd.read_csv('C:\\Users\\user\\Desktop\\labeledTrainData.tsv\\labeledTrainData.tsv', header = 0, sep="\t", quoting =3) review_df.head() print(review_df['review'][0]) 먼저 데이터를 불러오고 데이터의 전반적인 모습을 살펴보겠다. import re review_df['review'] = review_df['review'].str.replace(' ',' ') review_df['r..

Bag of Words - BOW BOW 모델은 문서가 가지는 모든 단어들을 문맥과 순서를 무시하고 일괄적으로 단어에 대한 빈도 값을 부여해 피처 값을 추출하는 모델이다. 비유적으로, 양념감자를 예시로들 수 있다. 문서에 있는 모든 단어들을 추출하여 양념감자 팩에 넣고 뒤섞는 것이 이에 비유될 수 있다. Bag of Words 자체가 이런 비유에서 모델 이름이 생성됐다. 프로세스는 다음과 같다. 만일 문장 1 과 문장 2가 있다면 문장1과 문장2의 모든 단어들을 중복을 제외하고 추출한후 칼럼으로 나열한다. 그리개별문장들을 인덱스로 설정하고 각 인덱스에서 칼럼에 나열되어 있는 단어들의 횟수들을 value 값으로 측정한다. 이러한 프로세스를 가지는 BOW 는 쉽고 빠른 구축을 할 수 있다는 장점이 있다. 하..