수학(Mathematics)/미적분학(Calculus)10 [벡터 미적분학] 최소제곱해와 사영 (Least-square solution and projection) 1. Gradient of a Least-Squares Loss(최소제곱손실) in a Linear model 구하기 Example) 주어진 Linear model은 다음과 같다. 이때, 각 변수들은 다음을 만족하고, function은 각각 다음과 같다. L은 Least-square loss function(최소제곱손실함수)이며, 다음을 만족한다. 우리는 손실을 가장 줄이는 Loss function을 찾는 것이 목적이고, 이에 대한 표기는 다음과 같다. 1st) 먼저 gradient의 차원을 정의한다. 따라서, Loss function의 gradient는 1xD 차원이다. 2nd) 이제 Loss function의 partial derivative를 구한다. 이때 chain rule을 적용한다. 이므로, .. 2023. 5. 16. [벡터 미적분학] 벡터함수의 기울기 & 자코비안 (Gradient for Vector-Valued Function & Jacobian) 1. Vector-Valued Function 이전까지 다룬 함수는 n차원에서 1차원으로 mapping 되는 것이었다면, 이 장에서 다룰 함수는 n차원에서 m차원으로, 즉 더 일반적인 경우에 대한 mapping을 다룬다. (이때 n>=1, m>1을 만족한다.) n차원에서 m차원으로 mapping 되는 이 function values의 vector은 아래와 같다. input이 모두 vector임을 확인할 수 있다. 1.1. Gradient for Vector-Valued Function n에서 m차원으로 mapping 되는 위 vector-valued function의 partial derivative를 구하면 아래와 같다. partial derivatives의 row vector형태가 우리가 구하려는 각.. 2023. 5. 16. [벡터 미적분학] 편미분과 기울기 (Partial Differentiation and Gradients) 이전까지의 미분은 하나의 변수에서 적용되었다. 즉, 1차원에서 1차원으로 mapping 되었다. 하지만, Partial Differentiation은 여러개의 변수에서 적용된다. 즉, n차원에서 1차원으로 mapping 되는 것이다. 1. Partial Differentiation(편미분) and Gradient(기울기) 1.1 Definition) n개의 variable에 대한 Partial Derivative는 다음과 같이 정의한다. 이를 vector꼴로 나타내면 아래와 같다. 선형대수를 포함한 대부분의 vector은 column vector로 표현하는 반면, gradient vector은 row vector로 사용하는 것이 학술적 약속이다. 이에 대한 자세한 이유는 나중에 다룬다. 일단 받아들이자... 2023. 5. 16. [벡터 미적분학] 단변량함수의 미분 (Differentiation of Univariate Functions) 1. Differentiation of Univariate Functions(단변량함수의 미분) 우선 변수가 하나인 함수의 미분에 대해 다룬다. 2. Difference Quotient(차분몫) Difference Quotient 식은 아래와 같다. 만약 f가 선형적인 상황에서는 Difference Quotient가 평균 기울기와 동일하다. 이는 "image의 차이/input의 차이"로 설명할 수도 있다. 3. Derivative(미분계수) h>0일 때 f의 x에서의 derivative는 아래와 같다. 그리고 이는, f의 값을 가장 가파르게 상승시키는 방향을 가르킨다. (Steepest ascent) 3.1. Differentiation Rules 몇가지 기본적인 미분 규칙은 아래와 같다. 4. Tayl.. 2023. 5. 15. [벡터 미적분학] 벡터 미적분학이란? 1. Vector Calculus(벡터 미적분학) Machine Learning에서는 Gradient(기울기) 개념을 자주 사용한다. Gradient는 가장 가파른 경사의 방향을 향하기 때문에, 머신러닝 모델에서 학습을 수행하기 위해 필수적이다. 이러한 Gradient를 다루기 위해 가장 기초가 되는 도구가 Vector Calculus로, 머신러닝에서 필수적이다. 2. Objective Function(목적함수) Machine Learining은 결국 Objective function를 최적화하는 작업이다. 이러한 최적화 작업의 일반적인 메뉴얼은 아래와 같다. (아래 ⅰ ~ ⅲ의 과정은 모든 Machine Learning 분야에서 동일하며, 목적함수만 목적에 따라 바뀐다.) 1) 항상 초기 자료에는 노이.. 2023. 5. 15. 이전 1 2 다음
