전체 글54 [Continuous Optimization] Continuous Optimization이란 무엇인가? 머신러닝 모델을 학습시키는 과정은 주로 "좋은" Parameter의 집합을 찾는 과정이라고 할 수 있다. 이때 "좋은"의 기준은 Objective function(목적함수)나 확률적 모델에 따라 결정된다. Objective function이 주어졌을 때, 가장 좋은 값을 찾는 것이 Optimization Algorithm이 하는 일이다. 1. 대략적인 최적화 과정 소개 Overview of the optimization process 대략적인 Optimization 과정에 대해 소개한다. 목적함수는 parameter을 이용해 직접 설정한다. 다음의 목적함수 fw(x)는 parameter = ( w1, w2, w3 )로 이루어져 있다. 내가 가진 데이터를 가장 잘 나타내는 함수/Polynomial을 찾기 .. 2023. 6. 6. [벡터 미적분학] 고계도함수와 헤시안 행렬 (Higher-Order Derivative & Hessian matrix) 지금까지는 gradient를 다룰 때 first-order derivative만 다루었다. 이번 챕터에서는 higher-order derivative에 대해 알아본다. 1. Hessian Hessian은 모든 2차 편도함수의 모음이다. f(x,y)를 두 번 연속적으로 미분 가능할 경우 다음과 같고, 이 때 Hessian matrix는 다음과 같이 표현할 수 있다. (Symmetric 하다.) 이 Hessian matrix를 m x n 차원으로 확장하면 다음과 같다. Remark) f의 vector field가 다음과 같다면, Hessian은 m x n x n 의 tensor 형태이다. 2. Newton method in optimization 근사하는 추정함수를 다음과 같이 Taylor expansion.. 2023. 6. 5. [결합분포확률변수] 독립확률변수 (Independent Random Variables) 이 챕터에서는 확률변수가 두개 이상인 Jointly distributed random variable에서의 독립(Independent)에 대해 다룬다. 2.1. 독립확률변수 Independent Random Variables 다음 식을 만족하는 두 사건 E, F를 Independent라 부른다. 이는 다음과 같이 표현할 수도 있다. 확률변수 X와 Y가 임의 실수의 집합 A와 B에 대해 다음이 성립하면 X와 Y가 Independent하다고 한다. 2.2. Proposition Continuous(Discrete) random variable X와 Y가 Independent일 필요충분조건은 그것의 Jointly probability density(mass) function이 다음과 같이 표현될 수 있다는 것.. 2023. 6. 2. [결합분포확률변수] 결합분포함수 (Joint Distribution Functions) 이전까지는 하나의 확률변수에 대한 분포를 다루었다. 이번 챕터부터 다룰 확률문제나 분포는 두개 이상의 확률변수를 가진다. 1. 결합확률질량함수 Joint Probability Mass Function X와 Y가 discrete한 경우 Joint Distribution Function은 다음과 같다. 가운데에 있는 comma(,)는 and로 해석할 수 있다. 확률변수 X와 Y가 동시에 일어날 확률을 계산하면 된다. 2. 주변확률질량함수 Marginal Probability Mass Function X와 Y에 대한 주변확률질량함수 Marginal Probability Mass Function는 다음과 같다. 즉, X에 대한 주변확률질량변수는 X의 주변 즉 Y의 변수(경우)를 모두 더하여 구할 수 있고, Y에.. 2023. 6. 1. [연속확률변수] 베타분포 (Beta Distribution) 4. 베타 분포 Beta Distribution 4.1. 베타 함수 Beta Function 베타함수의 정의는 다음과 같다. 4.2. 베타함수와 감마함수의 관계 Relationship between Beta and Gamma function 베타함수와 감마함수는 다음과 같은 관계를 가진다. 이에 대한 증명은 아래와 같다. 이때 ⓐ에서의 치환 범위는 아래의 그림을 참고하자. 아래 그래프의 축은 각각 가로: x축, 세로: y축 이고, 치환은 x = zt, y = z(1-t)이다. 그림 1) x와 y의 적분 구간이 각각 0 < x < ∞, 0 < y 2023. 5. 31. 이전 1 ··· 5 6 7 8 9 10 11 다음
