什麼是極大似然估計？

極大似然估計法是在總體的分佈型別已知的前提下使用的一種引數估計法。設總體X的機率函式 (連續型時為機率密度函式)為f(x, θ),X1,X2,…,Xn是抽自總體X的隨機樣本。於是，樣本的聯合機率函式(連續型時為聯合機率密度函式)為：

將上式簡記為L(θ )，稱L(θ)為θ的似然函式，如下所示

人工智慧專欄限時打折

怎能才能來求導模型引數θ呢？

現在我們的任務是，根據我們觀測到一組樣本 X1, X2, …, Xn，要估計未知引數θ。我們可以這樣來思考問題，哪個引數(多個引數時是哪組引數) 使樣本出現的可能性 (機率) 最大，該引數(或哪組引數)就作為引數的估計，這就是極大似然函式的原理，我們可以表示為：

總的來說極大似然估計就是在給定樣本x1，x2，...,xn的基礎上尋找能使得聯合機率密度最大的引數θ。

要想求解，往往需要使用求導的方式，如下所示：

若θ是向量，往往需要求偏導數，然後構成一個似然方程組求解：

透過對這個方程組進行求解，那麼就可以的得出對應的模型引數了。

此時的模型引數就是令當前樣本最大的機率。求出機率之後，就可以通過當前學習的模型來預測未知的樣本了。所以從這個角度來看，當樣本數量越多的時候，模型引數θ估計的會越好越準確，這也從兩外一個角度來說明了，資料的重要性。