데이터 한 그릇

학습 관련 기술들 SGD 우리가 지금까지 매개변수의 기울기를 활용하여 최적의 매개변수를 도출했다. 지금까지의 방법을 확률적 경사 방법(SGD) 라고 부른다. SGD는 탐색경로가 비효율적이라는 단점을 가진다. 지그재그로 탐색을 하면서 최적의 기울기로 향하는데 시간이 많이 걸린다는 단점이 있다. 따라서 더 영리한 대체 기술들이 필요하다. 모멘텀 모멘텀(Momentum) 은 운동량을 뜻하는 단어로 물리와 관련이 있음. 변화를 주려는 방향과 기존의 방향을 고수하려는 힘과 관련된 공식. 기울기를 탐색하는 과정을 그래프로 그리면 공이 그릇에서 굴러가는 그림이 도출된다. SGD보다 지그재그 움직임이 줄어든다. AdaGrad 신경망에서 최적의 매개변수 값을 찾아갈 때 중요한 점으느 학습률인데, 너무 커서도 안되고 너무..

그래프가 굉장히 많은 파트로 책을 참조해서 보는게 훨씬 좋다. 오차역전파 수치 미분을 이용해서 가중치 매개변수의 값을 오차값이 가장 적게 수정하는 과정은 너무 시간이 많이 걸린다. 수치 미분의 과정은 다음과 같았다. 손실 함수 몇 가지(mse, cross_entropy_error)가 있다. x변수와 가중치 w값들을 모두 곱하고 바이어스를 더해서 활성화 함수에 넣어주면 출력 공식 y가 완성이 된다. 이 y를 mse(y), 혹은 cross_entropy_error(y) 로 만들어서 오류에 관련된 하나의 함수로 만들어준다. 이 오류에 대한 함수를 편미분하는 과정을 거치게 된다. 만일 입력 변수가 여러 개이면 x1의 매개변수 w1 에 대해서 편미분 할 수 있다. 만일 초기 w1 value가 있다면 앞서 구한 손..