데이터 한 그릇

학습 관련 기술들 SGD 우리가 지금까지 매개변수의 기울기를 활용하여 최적의 매개변수를 도출했다. 지금까지의 방법을 확률적 경사 방법(SGD) 라고 부른다. SGD는 탐색경로가 비효율적이라는 단점을 가진다. 지그재그로 탐색을 하면서 최적의 기울기로 향하는데 시간이 많이 걸린다는 단점이 있다. 따라서 더 영리한 대체 기술들이 필요하다. 모멘텀 모멘텀(Momentum) 은 운동량을 뜻하는 단어로 물리와 관련이 있음. 변화를 주려는 방향과 기존의 방향을 고수하려는 힘과 관련된 공식. 기울기를 탐색하는 과정을 그래프로 그리면 공이 그릇에서 굴러가는 그림이 도출된다. SGD보다 지그재그 움직임이 줄어든다. AdaGrad 신경망에서 최적의 매개변수 값을 찾아갈 때 중요한 점으느 학습률인데, 너무 커서도 안되고 너무..