기울기2 [벡터 미적분학] 고계도함수와 헤시안 행렬 (Higher-Order Derivative & Hessian matrix) 지금까지는 gradient를 다룰 때 first-order derivative만 다루었다. 이번 챕터에서는 higher-order derivative에 대해 알아본다. 1. Hessian Hessian은 모든 2차 편도함수의 모음이다. f(x,y)를 두 번 연속적으로 미분 가능할 경우 다음과 같고, 이 때 Hessian matrix는 다음과 같이 표현할 수 있다. (Symmetric 하다.) 이 Hessian matrix를 m x n 차원으로 확장하면 다음과 같다. Remark) f의 vector field가 다음과 같다면, Hessian은 m x n x n 의 tensor 형태이다. 2. Newton method in optimization 근사하는 추정함수를 다음과 같이 Taylor expansion.. 2023. 6. 5. [벡터 미적분학] 편미분과 기울기 (Partial Differentiation and Gradients) 이전까지의 미분은 하나의 변수에서 적용되었다. 즉, 1차원에서 1차원으로 mapping 되었다. 하지만, Partial Differentiation은 여러개의 변수에서 적용된다. 즉, n차원에서 1차원으로 mapping 되는 것이다. 1. Partial Differentiation(편미분) and Gradient(기울기) 1.1 Definition) n개의 variable에 대한 Partial Derivative는 다음과 같이 정의한다. 이를 vector꼴로 나타내면 아래와 같다. 선형대수를 포함한 대부분의 vector은 column vector로 표현하는 반면, gradient vector은 row vector로 사용하는 것이 학술적 약속이다. 이에 대한 자세한 이유는 나중에 다룬다. 일단 받아들이자... 2023. 5. 16. 이전 1 다음
