溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關大數據中損失函數的正則化，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
損失函數的正則化
范數(Norm): 用來度量某個向量空間(或矩陣)中每個向量的長度或大小。
向量范數——L1和L2最常用
矩陣范數
線性回歸的正則化
使用訓練集擬合線性回歸方程時，如使用多項式擬合時，一般來說擬合方程的次數越高擬合效果越好，損失函數越小，但擬合函數也變得更加復雜。
在某些異常的情況下，如訓練的數據量較小或者特征過多時，測試集中如果出現先前訓練集中沒有的樣本，預測結果未必有效，使得分類結果的方差較大，出現過擬合，由此可見損失函數過小也不可取，意味著模型的通用性不夠，即需要提高泛化能力，因而加上正則化項。此處正則化參數的標識是α，有些資料中會顯示為λ，因為在sklearn庫中，此項參數的標識為α，為方便使用，標識采用α。
線性回歸正則化后的梯度更新方法
與線性回歸的梯度更新公式相同，當θk等于θj時，可以對式子求導，得到新的梯度更新公式。
為什么要使用正則化？
為什么
為什么要對回歸使用正則化？
為加強對正則化的理解，舉例說明回歸為什么要正則化-Regularization
多項式的次數提高，對于擬合性能的提升不大。
當把訓練樣本數從500降低至498時，發現高次多項式對于擬合的效果反而下降，對數據的預測能力下降，出現過擬合的現象。
正則化的基本方法是將所有多項式的系數的絕對值之和-L1正則化，或者多項式的系數絕對值的平方和再開方-L2正則化加入到懲罰項中，并制定一個懲罰力度因子來避免產生畸形的系數；即通過使用Lasso回歸-采取L1正則化，嶺回歸-采取L2正則化，或者彈性網回歸-L1+L2正則化來降低過擬合。上面通過舉例使用嶺回歸，可以發現模型克服了100次多項式帶來的過擬合問題。
嶺回歸中正則權重的作用
正則強度α是正則化系數或懲罰力度因子，weights權重系數是回歸方程中的系數，一條不同顏色的曲線代表權重系數向量的一個不同的分量。α往左越大，往右趨向于0，因此可以α可以對權重系數進行約束。
通過交叉驗證找到最佳超參數α
交叉驗證Cross Validation 是將訓練集分成幾份，分別用來訓練，測試和驗證，以尋找到最佳的超參數，在程序中設置好一組alpha后，程序可自行驗證并返回最佳的alpha。
關于“大數據中損失函數的正則化”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
