전체 글54 [벡터 미적분학] 편미분과 기울기 (Partial Differentiation and Gradients) 이전까지의 미분은 하나의 변수에서 적용되었다. 즉, 1차원에서 1차원으로 mapping 되었다. 하지만, Partial Differentiation은 여러개의 변수에서 적용된다. 즉, n차원에서 1차원으로 mapping 되는 것이다. 1. Partial Differentiation(편미분) and Gradient(기울기) 1.1 Definition) n개의 variable에 대한 Partial Derivative는 다음과 같이 정의한다. 이를 vector꼴로 나타내면 아래와 같다. 선형대수를 포함한 대부분의 vector은 column vector로 표현하는 반면, gradient vector은 row vector로 사용하는 것이 학술적 약속이다. 이에 대한 자세한 이유는 나중에 다룬다. 일단 받아들이자... 2023. 5. 16. [벡터 미적분학] 단변량함수의 미분 (Differentiation of Univariate Functions) 1. Differentiation of Univariate Functions(단변량함수의 미분) 우선 변수가 하나인 함수의 미분에 대해 다룬다. 2. Difference Quotient(차분몫) Difference Quotient 식은 아래와 같다. 만약 f가 선형적인 상황에서는 Difference Quotient가 평균 기울기와 동일하다. 이는 "image의 차이/input의 차이"로 설명할 수도 있다. 3. Derivative(미분계수) h>0일 때 f의 x에서의 derivative는 아래와 같다. 그리고 이는, f의 값을 가장 가파르게 상승시키는 방향을 가르킨다. (Steepest ascent) 3.1. Differentiation Rules 몇가지 기본적인 미분 규칙은 아래와 같다. 4. Tayl.. 2023. 5. 15. [벡터 미적분학] 벡터 미적분학이란? 1. Vector Calculus(벡터 미적분학) Machine Learning에서는 Gradient(기울기) 개념을 자주 사용한다. Gradient는 가장 가파른 경사의 방향을 향하기 때문에, 머신러닝 모델에서 학습을 수행하기 위해 필수적이다. 이러한 Gradient를 다루기 위해 가장 기초가 되는 도구가 Vector Calculus로, 머신러닝에서 필수적이다. 2. Objective Function(목적함수) Machine Learining은 결국 Objective function를 최적화하는 작업이다. 이러한 최적화 작업의 일반적인 메뉴얼은 아래와 같다. (아래 ⅰ ~ ⅲ의 과정은 모든 Machine Learning 분야에서 동일하며, 목적함수만 목적에 따라 바뀐다.) 1) 항상 초기 자료에는 노이.. 2023. 5. 15. [연속확률변수] 지수확률변수 (Exponential Random Variable) 3. Exponential Random Variable(지수확률변수) 3.1. PDF PDF가 𝜆>0의 범위에서 다음과 같은 Continuous random variable을 Exponential Random Variable이라 부른다. 3.2. CDF Exponential Random Variable의 CDF: F(x)는 다음과 같다. 이에 대한 증명은 아래와 같다. 3.3. Expectation Exponential Random Variable의 Expectation은 다음과 같다. 이에 대한 증명은 아래와 같다. 3.4. Variance Exponential Random Variable의 Variance는 다음과 같다. 이에 대한 증명은 아래와 같다. 2023. 5. 15. [연속확률변수] 정규확률변수 (Gaussian/Normal Random Variable) 1. Unit Normal Random Variable(표준정규확률변수) 1.1. PDF Normal distribution에서 𝜇=0 이고, 𝜎=1 인 Unit normal distribution의 PDF는 다음과 같다. 위 f(x)가 실제로 PDF인지의 증명과정은 아래와 같다. 1.2. Expectation Unit normal distribution의 Expectation과 증명과정은 아래와 같다. 1.3. Variance Unit normal distribution의 Expectation과 증명과정은 아래와 같다. 2. Normal (Gaussian) Random Variable(정규확률변수) 2.1. PDF Normal Random Variable의 PDF는 다음과 같다. X가 이러한 PDF.. 2023. 5. 15. 이전 1 ··· 7 8 9 10 11 다음
