티스토리

Steven’s AI Studylog

검색하기

블로그 홈

Steven’s AI Studylog

stevenkim1217.tistory.com/m

Majoring in AI 🐌

구독자: 6

방명록 방문하기

주요 글 목록

[Continuous Optimization] 모멘텀 경사하강법 (Gradient Descent with Momentum) Gradinet Descent with Momentum Gradient Descent with Momentum은 추세/관성 (Momentum)을 GD에 반영하는 것이다. Memory를 기반으로 Gradient를 갱신한다. 다음과 같이 일반적인 Gradient Descent 수식을 보면 g(wt)를 t가 늘어날 때마다 매번 새로 설정해야하는 것을 볼 수 있다. Gradient Descent with Momentum은 매 Iteration에서 정보를 기록하고, 다음 step의 gradient를 설정할 때 이전의 상황을 반영함으로써 Local minimum에 빠지는 것을 많이 완화해준다. 수식은 다음과 같다. 이 수식으로 볼 수 있듯, s(t)를 만들 때 s(t-1)을 반영하며, w(t+1)을 다룰 때 t에 .. 공감수 0 댓글수 0 2023. 6. 6.
[Continuous Optimization] 경사하강법의 수렴과 스텝 사이즈 (Convergence & Step-Size of GD Method) 1. 경사하강법의 수렴 Convergence of GD Method Gradient Descent의 수렴은 다음과 같이 판단한다. 수렴의 판단 기준은 각자가 골라서 설정한다. 여기서 Convergence란 정확히 0이 되는 것이 아니라, 위 수식에서 나타난 것처럼 아주 작은 특정 값(입실론)을 직접 설정하고, 이보다 작으면 Stop하는 것을 말한다. 2. Convergence Theorem 지금부터 다룰 내용은, "과연 Gradient Descent를 이상적인(local minimum이 곧 global minimum인) convex function에서 무한번 반복하면 정말로 0에 수렴할까? GD를 무한번 반복하면 정말 optimal solution이 나오나?"에 대한 증명이다. 증명에 대한 자세한 이해는.. 공감수 2 댓글수 0 2023. 6. 6.
[Continuous Optimization] 경사하강법 최적화 (Optimizing Using Gradient Descent) 이번 챕터에서는 아래와 같이 실수 값을 가지는 Objective funtion의 minimum 값을 찾는 optimization 문제를 다룬다. 우리는 주로 error을 objective funtion f(x)로 가정하고, f(x)를 최소화 하는 x값을 찾는다. 1. 경사하강법 최적화 Optimizing Using Gradient Descent 이때 f(x)의 차원은 아래와 같고, 미분 가능(differentiable)하며, 수리적으로 최적해를 바로 찾을 수 없는 함수(unable to analytically find a solution in closed form)이라고 하자. 불연속이거나 미분이 불가능한 f(x)는 gradient가 발생하지 않기 때문이다. 사실 나중에 differentiable하지 않.. 공감수 0 댓글수 0 2023. 6. 6.
[Continuous Optimization] Continuous Optimization이란 무엇인가? 머신러닝 모델을 학습시키는 과정은 주로 "좋은" Parameter의 집합을 찾는 과정이라고 할 수 있다. 이때 "좋은"의 기준은 Objective function(목적함수)나 확률적 모델에 따라 결정된다. Objective function이 주어졌을 때, 가장 좋은 값을 찾는 것이 Optimization Algorithm이 하는 일이다. 1. 대략적인 최적화 과정 소개 Overview of the optimization process 대략적인 Optimization 과정에 대해 소개한다. 목적함수는 parameter을 이용해 직접 설정한다. 다음의 목적함수 fw(x)는 parameter = ( w1, w2, w3 )로 이루어져 있다. 내가 가진 데이터를 가장 잘 나타내는 함수/Polynomial을 찾기 .. 공감수 2 댓글수 1 2023. 6. 6.
[벡터 미적분학] 고계도함수와 헤시안 행렬 (Higher-Order Derivative & Hessian matrix) 지금까지는 gradient를 다룰 때 first-order derivative만 다루었다. 이번 챕터에서는 higher-order derivative에 대해 알아본다. 1. Hessian Hessian은 모든 2차 편도함수의 모음이다. f(x,y)를 두 번 연속적으로 미분 가능할 경우 다음과 같고, 이 때 Hessian matrix는 다음과 같이 표현할 수 있다. (Symmetric 하다.) 이 Hessian matrix를 m x n 차원으로 확장하면 다음과 같다. Remark) f의 vector field가 다음과 같다면, Hessian은 m x n x n 의 tensor 형태이다. 2. Newton method in optimization 근사하는 추정함수를 다음과 같이 Taylor expansion.. 공감수 2 댓글수 0 2023. 6. 5.
[벡터 미적분학] 최소제곱해와 사영 (Least-square solution and projection) 1. Gradient of a Least-Squares Loss(최소제곱손실) in a Linear model 구하기 Example) 주어진 Linear model은 다음과 같다. 이때, 각 변수들은 다음을 만족하고, function은 각각 다음과 같다. L은 Least-square loss function(최소제곱손실함수)이며, 다음을 만족한다. 우리는 손실을 가장 줄이는 Loss function을 찾는 것이 목적이고, 이에 대한 표기는 다음과 같다. 1st) 먼저 gradient의 차원을 정의한다. 따라서, Loss function의 gradient는 1xD 차원이다. 2nd) 이제 Loss function의 partial derivative를 구한다. 이때 chain rule을 적용한다. 이므로, .. 공감수 2 댓글수 0 2023. 5. 16.
[벡터 미적분학] 벡터함수의 기울기 & 자코비안 (Gradient for Vector-Valued Function & Jacobian) 1. Vector-Valued Function 이전까지 다룬 함수는 n차원에서 1차원으로 mapping 되는 것이었다면, 이 장에서 다룰 함수는 n차원에서 m차원으로, 즉 더 일반적인 경우에 대한 mapping을 다룬다. (이때 n>=1, m>1을 만족한다.) n차원에서 m차원으로 mapping 되는 이 function values의 vector은 아래와 같다. input이 모두 vector임을 확인할 수 있다. 1.1. Gradient for Vector-Valued Function n에서 m차원으로 mapping 되는 위 vector-valued function의 partial derivative를 구하면 아래와 같다. partial derivatives의 row vector형태가 우리가 구하려는 각.. 공감수 2 댓글수 1 2023. 5. 16.
[벡터 미적분학] 편미분과 기울기 (Partial Differentiation and Gradients) 이전까지의 미분은 하나의 변수에서 적용되었다. 즉, 1차원에서 1차원으로 mapping 되었다. 하지만, Partial Differentiation은 여러개의 변수에서 적용된다. 즉, n차원에서 1차원으로 mapping 되는 것이다. 1. Partial Differentiation(편미분) and Gradient(기울기) 1.1 Definition) n개의 variable에 대한 Partial Derivative는 다음과 같이 정의한다. 이를 vector꼴로 나타내면 아래와 같다. 선형대수를 포함한 대부분의 vector은 column vector로 표현하는 반면, gradient vector은 row vector로 사용하는 것이 학술적 약속이다. 이에 대한 자세한 이유는 나중에 다룬다. 일단 받아들이자... 공감수 2 댓글수 0 2023. 5. 16.
[벡터 미적분학] 단변량함수의 미분 (Differentiation of Univariate Functions) 1. Differentiation of Univariate Functions(단변량함수의 미분) 우선 변수가 하나인 함수의 미분에 대해 다룬다. 2. Difference Quotient(차분몫) Difference Quotient 식은 아래와 같다. 만약 f가 선형적인 상황에서는 Difference Quotient가 평균 기울기와 동일하다. 이는 "image의 차이/input의 차이"로 설명할 수도 있다. 3. Derivative(미분계수) h>0일 때 f의 x에서의 derivative는 아래와 같다. 그리고 이는, f의 값을 가장 가파르게 상승시키는 방향을 가르킨다. (Steepest ascent) 3.1. Differentiation Rules 몇가지 기본적인 미분 규칙은 아래와 같다. 4. Tayl.. 공감수 2 댓글수 0 2023. 5. 15.
[벡터 미적분학] 벡터 미적분학이란? 1. Vector Calculus(벡터 미적분학) Machine Learning에서는 Gradient(기울기) 개념을 자주 사용한다. Gradient는 가장 가파른 경사의 방향을 향하기 때문에, 머신러닝 모델에서 학습을 수행하기 위해 필수적이다. 이러한 Gradient를 다루기 위해 가장 기초가 되는 도구가 Vector Calculus로, 머신러닝에서 필수적이다. 2. Objective Function(목적함수) Machine Learining은 결국 Objective function를 최적화하는 작업이다. 이러한 최적화 작업의 일반적인 메뉴얼은 아래와 같다. (아래 ⅰ ~ ⅲ의 과정은 모든 Machine Learning 분야에서 동일하며, 목적함수만 목적에 따라 바뀐다.) 1) 항상 초기 자료에는 노이.. 공감수 2 댓글수 0 2023. 5. 15.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.