[벡터 미적분학] 편미분과 기울기 (Partial Differentiation and Gradients)

이전까지의 미분은 하나의 변수에서 적용되었다. 즉, 1차원에서 1차원으로 mapping 되었다.

하지만, Partial Differentiation은 여러개의 변수에서 적용된다. 즉, n차원에서 1차원으로 mapping 되는 것이다.

---

1. Partial Differentiation(편미분) and Gradient(기울기)

1.1 Definition)

n개의 variable에 대한 Partial Derivative는 다음과 같이 정의한다.

이를 vector꼴로 나타내면 아래와 같다.

선형대수를 포함한 대부분의 vector은 column vector로 표현하는 반면, gradient vector은 row vector로 사용하는 것이 학술적 약속이다. 이에 대한 자세한 이유는 나중에 다룬다. 일단 받아들이자.

---

Example) 아래의 식을 각각 x와 y에 대해 편미분하라.

이 결괏값을 gradient vector로 표기하면 다음과 같다.

---

1.2. Basic rules)

Partial differentiation에서 기초적으로 사용하는 규칙들은 아래와 같다.

---

1.3. Chain rule)

위 basic rule 중 chain rule에 대해 조금 더 자세히 알아보자.

변수가 여러개인 함수에서 gradient를 구하는 과정에서는 추가적인 작업이 필요하다. 이때 chain rule이 필요하다.

 

• 변수가 x1, x2로 두개일 때, t에 대한 gradient를 구하는 일반식은 다음과 같다.

 

• gradient를 행렬곱 형태로 표현하면 다음과 같다.

*위에서 색으로 구분한 것과 같이, gradient를 vector 및 matrix 형태로 표현할 땐, 항상 row 방향으로 적어야함을 유의하자.