如何用最大似然估計求邏輯回歸參數

這篇文章將為大家詳細講解有關如何用最大似然估計求邏輯回歸參數，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

一.最大似然估計

    選擇一個(一組)參數使得實驗結果具有最大概率。

A. 如果分布是離散型的，其分布律,是待估計的參數，這里我們假設為已知量，則：設X1,
X2, ... , Xn 是來自于X的樣本,X1,X2,...Xn的聯合分布律為：

           （1）

     設x1,x2,...xn是X1,X2,..Xn的一個樣本值，則可知X1,..Xn取x1,..,x2的概率，即事件{X1 = x1,...,Xn=xn}發生的概率為：

            （2）

     這里，因為樣本值是已知的，所以(2)是的函數，稱為樣本的似然函數。

     最大似然估計：已知樣本值x1,...xn,選取一組參數,使概率達到最大值，此時的為最大估計值。即取使得：

     與x1,...,xn有關，記為并稱其為參數的極大似然估計值。

B.如果分布X是連續型，其概率密度的形式已知，為待估計參數，則事件X1,...Xn的聯合密度為：

          (3)

     設x1,..xn為相應X1,...Xn的一個樣本值，則隨機點(X1,...,Xn)落在(x1,..xn)的領域內的概率近似為：

            (4)

       最大似然估計即為求值，使得(4)的概率最大。由于

               不隨而變，故似然函數為：

                (5)

C. 求最大似然估計參數的步驟：

      (1) 寫出似然函數：

                (6)

               這里，n為樣本數量，似然函數表示n個樣本(事件)同時發生的概率。

         (2) 對似然函數取對數：

          (3) 將對數似然函數對各參數求偏導數并令其為0，得到對數似然方程組。

          (4) 從方程組中解出各個參數。

D. 舉例：

        設;為未知參數，x1,...xn為來自X的一個樣本值。求的極大似然估計值。

       解：X的概率密度為：

           似然函數為：

            令  即：

             解得：   帶入解得

二.邏輯回歸

     邏輯回歸不是回歸，而是分類。是從線性回歸中衍生出來的分類策略。當y值為只有兩個值時(比如0，1)，線性回歸不能很好的擬合時，用邏輯回歸來對其進行二值分類。

     這里邏輯函數(S型函數)為：

       (7)

     于是，可得估計函數：

         （8）

      這里，我們的目的是求出一組值，使得這組可以很好的模擬出訓練樣本的類值。

      由于二值分類很像二項分布，我們把單一樣本的類值假設為發生概率，則：

            （9）

       可以寫成概率一般式：

              (10)

       由最大似然估計原理，我們可以通過m個訓練樣本值，來估計出值，使得似然函數值最大：

          （11）

        這里，為m個訓練樣本同時發生的概率。對求log，得：

           （12）

         我們用隨機梯度上升法，求使最大化時的值，迭代函數為：

              （13）

         這里對每個分量進行求導，得：

           （14）

         于是，隨機梯度上升法迭代算法為：

         repeat until convergence{

               for i = 1 to m{

                              (15)

               }

         }

思考：

      我們求最大似然函數參數的立足點是步驟C，即求出每個參數方向上的偏導數，并讓偏導數為0，最后求解此方程組。由于中參數數量的不確定，考慮到可能參數數量很大，此時直接求解方程組的解變的很困難。于是，我們用隨機梯度上升法，求解方程組的值。

備注：

        (a) 公式(14)的化簡基于g(z)導函數，如下：

                 （16）

       (b) 下圖為邏輯函數g(z)的分布圖：

關于如何用最大似然估計求邏輯回歸參數就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。