데이터 한 그릇

문장을 학습한다는 것은 지금까지 와는 다르다. 지금까지는 순서와 상관없이 단어의 개수를 세어서 그 글이 긍정적인 글인지 부정적인 글인지와 같은 작업을 진행했다면, 문장은 과거에 들어왔던 데이터와 미래에 들어올 데이터와의 관계를 파악해야만 의미가 전달이 된다. 즉, 데이터 간의 순서를 고려해야만 한다. 즉 딥러닝에 순서에 관계없이 입력되던 것과 달리, 순서를 고려해서 입력되야만 한다. 이를 해결하기 위해서 RNN 이 등장했다. 여러 개의 데이터가 순서대로 입력이 됐을 때, 입력이 됐던 데이터를 잠시 기억해두는 방식이다. 그리고 기억된 데이터가 얼마나 중요한지 가중치를 부여하고 다음 데이터로 넘어간다. 이 가중치가 다음 입력데이터와 관계를 맺고 다음 입력 데이터의 출력에 관여한다. 모든 입력값에 이 작업을 ..

인간의 말을 컴퓨터가 알아듣게 만드는 처리 컴퓨터는 인간의 말을 그대로 이해할 수 없다. 컴퓨터가 알아들을 수 있게 언어를 가공해서 줘야만 한다. 즉, 전처리 작업이 필요하다. 텍스트의 토큰화 텍스트가 존재한다면 이를 단어별, 문장별, 형태소별로 나눌 수 있다. 입력된 텍스트를 잘게 나누는 과정을 토큰화(Tokenization) 라고 한다. from tensorflow.keras.preprocessing.text import text_to_word_sequence text = '해보지 않으면 해낼 수 없다. 오늘 저녁은 뭘 먹지' result = text_to_word_sequence(text) print(result) 결과 : ['해보지', '않으면', '해낼', '수', '없다', '오늘', '저녁은..

컨볼루션 신경망(CNN) 컨볼루션 신경망은 입력된 이미지에서 `다시 한번 ` 특징을 추출하기 위해서 `커널` 을 사용하는 기법. 다시 한번 특징을 추출. 합성곱 예를 들어서 어떤 이미지 데이터가 4 * 4 의 구조를 가지고 있다고 가정하자. 커널은 하나 생성하는데 그 크기가 2*2 라고 해보자. 커널 각각의 칸 안에는 가중치가 들어가 있다. 2*2커널은 이미지 데이터의 처음부터 한칸씩 좌우, 위아래로 움직이며 원래 있던 값들에서 가중치들을 곱해준다. 그러면 3 * 3 의 행렬이 도출된다. 이렇게 해서 새롭게 만들어진 층을 컨볼루션(합성곱) 이라고 한다. 만일 이러한 커널을 여러 개 생성을 하면 여러 개의 합성곱이 탄생한다. 합성곱 층을 처음에 만들 때도 다중 퍼셉트론을 만들 때처럼 똑같이 input_di..

먼저 이미지에 대한 딥러닝 기본 프레임을 mnist 데이터 셋을 이용해서 만들어 보겠다. 데이터 전처리 과정 from tensorflow.keras.datasets import mnist #이미지 데이터를 X로 이미지에 0~9까지 이름 붙인 걸 Y_class 로 지정. #그리고 학습 데이터와 테스트 데이터 나눔. (X_train, Y_class_train),(X_test, Y_class_test) = mnist.load_data #학습 데이터와 테스트 데이터 개수를 파악 print('학습 데이터 개수 : {}'.format(X_train.shape[0])) print('테스트 데이터 개수 : {}'.format(X_test.shape[0])) #이미지 데이터 보기 import matplotlib.pypl..

너무나 지겨운 보스턴 주택 가격 csv를 이용한 실습 df = pd.read_csv('C:\\Users\\user\\Desktop\\080228\\deeplearning\\dataset\\housing.csv', delim_whitespace = True, header = None ) dataset = df.values X = dataset[:,0:13] Y = dataset[:,13] X_train,X_test,y_train,y_test = train_test_split(X,Y, test_size = 0.3, random_state = 1) model = Sequential() model.add(Dense(30, input_dim = 13, activation = 'relu')) model.add(De..

와인 csv 이용해서 베스트 모델 만들고 저장해보기 df_pre = pd.read_csv('C:\\Users\\user\\Desktop\\080228\\deeplearning\\dataset\\wine.csv', header = None, ) df = df_pre.sample(frac=1) from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping import pandas as pd import numpy as np import tensorflow as tf import matplo..

EDA import pandas as pd df = pd.read_csv('C:\\Users\\user\\Desktop\\080228\\deeplearning\\dataset\\sonar.csv', header = None, ) print(df.info()) df[60].unique() 모델 생성 및 학습 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from sklearn.preprocessing import LabelEncoder import pandas as pd import numpy as np import tensorflow as tf df = pd.read_csv('C:\\Users..

엄청 간단한 EDA 진행 이후 딥러닝 MODEL 만들 예정 피마 인디언 당뇨병 예측 EDA import pandas as pd pima_df = pd.read_csv('C:\\Users\\user\\Desktop\\080228\\deeplearning\\dataset\\pima-indians-diabetes.csv', names = ['pregnant','plasma','pressure','thickness','insulin','BMI','pedigree','age','class'], header = None) pima_df.info() import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize = (15,15)) sns.heatma..

Tensorflow 와 keras 를 이용 모델 설계는 크게 세 개로 구분 `model = Sequential()` `model.compile()` `model.fit()` 입력층, 은닉층, 출력층 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense model = Sequential() model.add(Dense(30, input_dim = 17, activation = 'relu')) model.add(Dense(1, activation = 'sigmoid')) `Sequential()` 함수를 통해서 퍼셉트론의 층을 쌓을 수 있다. 시퀀셜 함수를 시행하고 `.add()` 를 이용해서 층을 쌓아..

신경망의 이해 퍼셉트론과 그 용어 퍼셉트론의 과제, XOR 문제 다층 퍼셉트론 다층 퍼셉트론의 설계 오차 역전파 신경망에서 딥러닝으로 신경 말단에서 자극 -> 시냅스에서 화학 물질이 나와 전위 변화 -> 전위가 임계 값을 넘으면 다음 뉴런으로 신호를 전달, 아니면 신호 전달 x 신경망을 이루는 가장 작은 단위 퍼셉트론 퍼셉트론과 그 용어 수학적 언어 : y = ax + b 의 a 는 기울기 b는 절편 딥러닝 언어 : a : 가중치(weight) b : 바이어스(bias) 가중합(weighted sum) : 입력값과 가중치의 곱을 모두 더하고 바이어스를 더한 것 활성화 함수 : 가중합의 결과를 놓고 1또는 0으로 판단하는 것 퍼셉트론의 과제 , XOR 문제 앞서 배운 선형 회귀나 로지스틱 함수는 선을 긋는..