Least square과 projection의 관계1 [벡터 미적분학] 최소제곱해와 사영 (Least-square solution and projection) 1. Gradient of a Least-Squares Loss(최소제곱손실) in a Linear model 구하기 Example) 주어진 Linear model은 다음과 같다. 이때, 각 변수들은 다음을 만족하고, function은 각각 다음과 같다. L은 Least-square loss function(최소제곱손실함수)이며, 다음을 만족한다. 우리는 손실을 가장 줄이는 Loss function을 찾는 것이 목적이고, 이에 대한 표기는 다음과 같다. 1st) 먼저 gradient의 차원을 정의한다. 따라서, Loss function의 gradient는 1xD 차원이다. 2nd) 이제 Loss function의 partial derivative를 구한다. 이때 chain rule을 적용한다. 이므로, .. 2023. 5. 16. 이전 1 다음
