데이터 한 그릇

자연어 생성과 기계 이해 자연어 생성 우리가 말하고 쓰는 것처럼 기계가 하면 어떨까? 지금은 기계가 사실에 관련된 글을 잘 작성하지만 감정과 관련된 것과 논리가 들어간 글은 잘 쓰지 못한다. 가장 자연어 생성 중 핫한 것은 자연어 번역 기계 이해 기계가 어떤 텍스트에 대해서 학습하고 질문이 들어오면 답변을 하는 것. 기계가 텍스트를 이해하고 논리적 추론을 할 수 있는지 데이터를 통해서 학습해 보는 것.

자연어 처리 개요_텍스트 분류(Text Classification) 자연어 처리 기술을 통해, 특정 텍스트를 사람들이 지정한 몇 가지 범주(class) 중에 어디 속하는지 분류하는 문제. 이 텍스트는 어떤 범주에 들어갈까? 텍스트 분류 문제는 class 가 두 개인 이진 분류 문제일수도 있고 class 가 여러 개인 다중 분류 문제일수도 있다. 텍스트 분류의 예시 스팸 분류 이진분류 문제. 이 메일이 스팸이냐 스팸이 아니냐? 감정 분류 이 글이 긍정적인 글이냐 부정적인 글이냐? 경우에 따라는 이진 분류 문제가 아니라 다중 분류 문제일수도 있다. ''중립'' 을 추가해서. 뉴스 기사 분류 이 글이 어떤 주제에 속하는가? (스포츠, 연예, 정치, 경제 등등) 그렇다면 텍스트 분류 문제는 어떻게 해결할 수 있..

자연어 처리 개요_텍스트 유사도 "이 노래 누가 만들었어?" "지금 나오는 노래 작곡가가 누구야?" 우리는 이 두 개의 문장이 같은 의미를 지니고 있는지 금방 파악할 수 있지만, 기계는 그러지 못한다. 따라서 두 문장에 대해 답변을 하려면 각각의 답변을 준비해야만 한다. 하지만 이 텍스들간에 유사성이 있음을 판단하면 한 개의 답변만 준비하면 된다. 이 두 텍스트가 유사한지 유사하지 않은지 측정하면 되는데, 이때 사용하는 방법이 텍스트 유사도(TextSimilarity) 다. 텍스트 유사도 방식에는 여러 가지 방식이 있는데, 그 중에서 ***딥러닝을 기반으로 텍스트의 유사도를 측정하는 방식을 주로 다룰 예정.*** ***텍스트를 벡터화 한 이후에, 벡터화 된 각 문장간의 유사도를 측정하는 방법.*** (t..

자연어 처리 개요_단어 표현 자연어 처리 장에서는 총 4개의 문제에 대해서 알아볼 예정 텍스트 분류 텍스트 유사도 텍스트 생성 기계 이해 단어 표현 결론부터, 단어를 수치화 할 때, 벡터화 해서 주로 표현 단어 표현은 모든 자연어 처리 문제의 기본 바탕이 되는 개념. `자연어를 어떻게 표현할지 정하는 것`이 각 문제를 해결하기 위한 출발점. 즉, 어떻게 자연어를 컴퓨터에게 인식시킬 수 있을까? 이런 질문의 답을 찾는 게 "단어 표현(Word Representation)" 분야다. 언어적인 특성을 반영해서 단어를 수치화 하는 방법을 찾는다. 주로 단어를 수치화할 때 `단어를 벡터` 로 표현한다. (다시 강조, 단어를 벡터로 표현!) 그래서 `단어 표현` 을 단어 임베딩(word embedding), 단어 ..

학습 관련 기술들 SGD 우리가 지금까지 매개변수의 기울기를 활용하여 최적의 매개변수를 도출했다. 지금까지의 방법을 확률적 경사 방법(SGD) 라고 부른다. SGD는 탐색경로가 비효율적이라는 단점을 가진다. 지그재그로 탐색을 하면서 최적의 기울기로 향하는데 시간이 많이 걸린다는 단점이 있다. 따라서 더 영리한 대체 기술들이 필요하다. 모멘텀 모멘텀(Momentum) 은 운동량을 뜻하는 단어로 물리와 관련이 있음. 변화를 주려는 방향과 기존의 방향을 고수하려는 힘과 관련된 공식. 기울기를 탐색하는 과정을 그래프로 그리면 공이 그릇에서 굴러가는 그림이 도출된다. SGD보다 지그재그 움직임이 줄어든다. AdaGrad 신경망에서 최적의 매개변수 값을 찾아갈 때 중요한 점으느 학습률인데, 너무 커서도 안되고 너무..

그래프가 굉장히 많은 파트로 책을 참조해서 보는게 훨씬 좋다. 오차역전파 수치 미분을 이용해서 가중치 매개변수의 값을 오차값이 가장 적게 수정하는 과정은 너무 시간이 많이 걸린다. 수치 미분의 과정은 다음과 같았다. 손실 함수 몇 가지(mse, cross_entropy_error)가 있다. x변수와 가중치 w값들을 모두 곱하고 바이어스를 더해서 활성화 함수에 넣어주면 출력 공식 y가 완성이 된다. 이 y를 mse(y), 혹은 cross_entropy_error(y) 로 만들어서 오류에 관련된 하나의 함수로 만들어준다. 이 오류에 대한 함수를 편미분하는 과정을 거치게 된다. 만일 입력 변수가 여러 개이면 x1의 매개변수 w1 에 대해서 편미분 할 수 있다. 만일 초기 w1 value가 있다면 앞서 구한 손..

데이터에서 학습하는 신경망 여기서 말하는 `학습` : 가중치의 최적값을 자동으로 찾는 것 손실함수를 통해서 최적의 가중치 값을 찾는다. 손실함수의 값을 가급적 작게 만드는 기법으로 함수의 기울기를 활용하는 경사법 소개. 처음부터 데이터가 없이, 알고리즘을 무(無)에서 개발. 머신러닝을 통해서 개발 이미지에서 특징 추출 특징의 패턴을 기계학습으로 학습 이미지 데이터를 벡터로 변환 -> 벡터를 이용해서 svm,knn 가용 가능. 하지만 문제에 따라서 그 특징을 다르게 찾아야 한다. 숫자와 강아지 사진의 경우 다른 특징을 생각해야 한다. 결국 기계학습도 사람의 개입이 들어간다. 신경망(딥러닝) 이미지를 있는 그대로 학습한다. 머신러닝에서는 특징을 사람이 설계했지만, 신경망은 이미지에 포함된 중요한 특징까지도 ..

퍼셉트론의 장점은 복잡한 연산과 함수를 만들 수 있다는 점. 단점은, 가중치 값을 인간이 직접 수정해야 한다는 점. (일반적으로 다층 퍼셉트론을 신경망이라고 칭한다.) 퍼셉트론에서 신경망으로 퍼셉트론의 이론을 다시 살펴보면, 입력값 x1, x2 를 받으면 각각의 입력값들은 각자의 가중치들과의 곱이 이루어지고 그 값들이 다음 노드로 전달된다. 그리고 전달된 두 개의 데이터와 가중치곱 값들을 서로 합한다. 그리고 마지막으로 편향을 더해준다. 이 값이 0 이상의 값을 가지면 1을 출력하고 0 미만의 값을 가지면 0을 출력한다. ##### 활성화 함수의 등장 앞서 설명에서 입력신호의 총합이 0을 넘으면 1을 출력하게 하고 0미만이면 0을 출력하게 하는 조건부가 있었다. 이 조건부를 따로 h(x) 로 정의 내릴 ..

퍼셉트론이란? 퍼셉트론은 딥러닝의 가장 기본적인 개념. **퍼셉트론은 다수의 신호를 받아서 하나의 출력을 만든다.** 퍼셉트론의 동작 원리 노드에 입력값이 들어오고 가중치와 곱해진다. 그 다음 모든 입력값과 가중치를 곱한 값을 더한다. 만일 이 가중합 값이 임계값을 초과하면 1을 출력하고 그렇지 않으면 0을 출력한다. 총합이 정해진 한계를 넘어설 때 1을 출력하는걸 `뉴런이 활성화한다.` 라고도 한다. 가중합이 임계값을 넘으면 뉴런이 활성화 하여 1을 출력 가중합이 임계값을 넘지 못하면 뉴런이 활성화 하지 못하고 0을 출력 단순한 논리 회로 AND 게이트 AND 게이트는 입력이 둘이고 출력이 하나. x1, x2 -> y 의 형식. AND 진리표는 0이 두 개면 0, 한개라도 0이 있으면 0, 1이 두 개..

DCGAN GAN(Generative Adversarial Network), 줄여서 GAN(간) 이라고 부름 한국말론, "생성적 적대 신경망" 이라고 칭함. GAN 알고리즘 내부에서는 적대적인 경합이 진행된다. 이를 비유하자면 위조 지폐범과, 이를 가려내기 위해 노력하는 경찰의 관계를 비유로 들 수 있다. 위조 지폐범은 진짜 지폐와 똑같은 지폐를 만들어낼 것이고 경찰은 이를 실제 지폐와 비교하여 가짜와 진짜를 구별할 것이다. 이 둘의 계속된 경합이 점점 더 위조 지폐범이 진짜와 가까운 위조 지폐를 만들 수 있게 돕는다는 원리이다. 페이스북은 GAN 에서 Deep Covolutional GAN 을 개발했는데 이는 GAN 의 엄청난 발전을 도왔고, 이를 DCGAN 이라고 부른다. 생성자 생성자(Generat..