GD with momentum1 [Continuous Optimization] 모멘텀 경사하강법 (Gradient Descent with Momentum) Gradinet Descent with Momentum Gradient Descent with Momentum은 추세/관성 (Momentum)을 GD에 반영하는 것이다. Memory를 기반으로 Gradient를 갱신한다. 다음과 같이 일반적인 Gradient Descent 수식을 보면 g(wt)를 t가 늘어날 때마다 매번 새로 설정해야하는 것을 볼 수 있다. Gradient Descent with Momentum은 매 Iteration에서 정보를 기록하고, 다음 step의 gradient를 설정할 때 이전의 상황을 반영함으로써 Local minimum에 빠지는 것을 많이 완화해준다. 수식은 다음과 같다. 이 수식으로 볼 수 있듯, s(t)를 만들 때 s(t-1)을 반영하며, w(t+1)을 다룰 때 t에 .. 2023. 6. 6. 이전 1 다음
