Likelihood function and Maximum Likelihood Estimation

Likelihood function and Maximum Likelihood Estimation

1) Likelihood

Likelihood는 주어진 parameter에대해서 관측된 데이터 (Observed data) 에 대한 확률로, 다음과 같이 나타낸다.

설명을 돕기위해서, 만약 관측된 데이터들이 서로 독립 (Independent)이고, mu와 sigma^2를 갖는 정규분포를 따를 경우에는 다음과 같이 likelihood를 표현할 수 있다.

Likelihood는 위와 같이 계산이 된다.

2) Maximum Likelihood Estimation

Maximum Likelihood Estimation (MLE)는 주어진 데이터에 대해 이를 잘 설명하는 모델의 parameter를 구할 때 사용되는 기술이다. Parameter는 likelihood를 최대화하는 방법으로 결정되며, 이는 주어진 모델의 parameter에 대해 관측되는 데이터의 확률을 최대화하는 것과 같다.

간단한 예제로 설명을 하고자 한다. 만약 coin을 던지는 과정에서 7번 head가 나오고 3번 tail이 나왔고, 각 사건은 서로 독립이며 동일하다면, head의 확률의 Maxlimum likelihood estimation을 계산하는 법은 다음과 같다. 우리가 구하고 싶은 것은 likelihood가 최대가 되는 head가 나타날 확률 p이다. (Model parameter)

계산된 Likelihood를 바로 미분을 해서 maximum이 되는 위치를 찾을 수 있지만, 곱셈보다는 덧셈이 계산에서 유리함으로, log를 취해서 log likelihood로 식을 변경한다.

미분을 하면, p가 7/10일 때, likelihood가 maximum이 된다는 것을 확인할 수 있다. 따라서 model parameter를 결정할 수 있다.

실제로 machine learning과 deep learning에서는 Maximum Likelihood Estimation 방법이 많이 사용되며, log likelihood를 사용한다. 대신, 앞에 negative sign을 추가해서 negative log likelihood가 cost function으로 사용되어, maximize문제를 minimize문제로 변환시킨다.