최적화2 [Continuous Optimization] 경사하강법 최적화 (Optimizing Using Gradient Descent) 이번 챕터에서는 아래와 같이 실수 값을 가지는 Objective funtion의 minimum 값을 찾는 optimization 문제를 다룬다. 우리는 주로 error을 objective funtion f(x)로 가정하고, f(x)를 최소화 하는 x값을 찾는다. 1. 경사하강법 최적화 Optimizing Using Gradient Descent 이때 f(x)의 차원은 아래와 같고, 미분 가능(differentiable)하며, 수리적으로 최적해를 바로 찾을 수 없는 함수(unable to analytically find a solution in closed form)이라고 하자. 불연속이거나 미분이 불가능한 f(x)는 gradient가 발생하지 않기 때문이다. 사실 나중에 differentiable하지 않.. 2023. 6. 6. [Continuous Optimization] Continuous Optimization이란 무엇인가? 머신러닝 모델을 학습시키는 과정은 주로 "좋은" Parameter의 집합을 찾는 과정이라고 할 수 있다. 이때 "좋은"의 기준은 Objective function(목적함수)나 확률적 모델에 따라 결정된다. Objective function이 주어졌을 때, 가장 좋은 값을 찾는 것이 Optimization Algorithm이 하는 일이다. 1. 대략적인 최적화 과정 소개 Overview of the optimization process 대략적인 Optimization 과정에 대해 소개한다. 목적함수는 parameter을 이용해 직접 설정한다. 다음의 목적함수 fw(x)는 parameter = ( w1, w2, w3 )로 이루어져 있다. 내가 가진 데이터를 가장 잘 나타내는 함수/Polynomial을 찾기 .. 2023. 6. 6. 이전 1 다음
