您好,登錄后才能下訂單哦!
小編給大家分享一下boosting和bootstrap區別有哪些,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
bootstrap、boosting是機器學習中幾種常用的重采樣方法。其中bootstrap重采樣方法主要用于統計量的估計,boosting方法則主要用于多個子分類器的組合。
bootstrap:估計統計量的重采樣方法
bootstrap方法是從大小為n的原始訓練數據集DD中隨機選擇n個樣本點組成一個新的訓練集,這個選擇過程獨立重復B次,然后用這B個數據集對模型統計量進行估計(如均值、方差等)。由于原始數據集的大小就是n,所以這B個新的訓練集中不可避免的會存在重復的樣本。
統計量的估計值定義為獨立的B個訓練集上的估計值θbθb的平均:
boosting:
boosting依次訓練k個子分類器,最終的分類結果由這些子分類器投票決定。
首先從大小為n的原始訓練數據集中隨機選取n1n1個樣本訓練出第一個分類器,記為C1C1,然后構造第二個分類器C2C2的訓練集D2D2,要求:D2D2中一半樣本能被C1C1正確分類,而另一半樣本被C1C1錯分。
接著繼續構造第三個分類器C3C3的訓練集D3D3,要求:C1C1、C2C2對D3D3中樣本的分類結果不同。剩余的子分類器按照類似的思路進行訓練。
boosting構造新訓練集的主要原則是使用最富信息的樣本。
看完了這篇文章,相信你對boosting和bootstrap區別有哪些有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。