溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Python人工智能深度學習模型訓練經驗有哪些，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
ReLU：Rectified Linear Unit
圖像如下圖所示：當z<0時，a = 0, 當z>0時，a = z，也就是說這個激活函數是對輸入進行線性轉換。使用這個激活函數，由于有0的存在，計算之后會刪除掉一些神經元，使得神經網絡變窄。
該函數也有其他變體，如下圖所示，主要是對于z小于0的時候，對應
Maxout：以上幾種函數的一般形式
簡單來說就是誰大輸出誰，通過Maxout可以自己學習激活函數。當給出的參數不同的時候，可以得到上面所描述的各類函數。如下圖所示，當輸入給1個計算單元時，得到藍色的線，假如第二個計算單元參數均為0，則是X軸上的一條線，那么在這兩個之中取大的那個，就是ReLU；當第二個計算單元參數不為0的時候，就可以得到其他形式的結果。
Adagrad是使用前面的梯度進行平方和再開方，作為計算梯度時系數的一部分。
是Adagrad的進階版，在Adagrad中，是使用了前面所有的梯度平方和再開方，這個系數中沒有考慮當前的梯度。在RMSProp中，是考慮了現在的梯度，也對其進行平方，并對兩項進行一個權重的分配。
加入動量的梯度下降
下圖中，v就是上一次的方向。在計算本次方向的時候，加入lambda倍的上一次的方向。其實v就是過去算出來的所有的梯度的總和。
將RMSProp和Momentum結合
通過交叉驗證集，提前停止訓練
和其他的算法正則化方式一致，有L1和L2正則，此處不再詳細描述。
每次訓練的時候，都以p%的幾率去掉一些神經元以及輸入值。得到如下圖所示的更瘦一些的神經網絡。直接去訓練這個神經網絡。下一次訓練的時候，對整個網絡重新進行采樣。（類似于隨機森林）
在測試的時候不進行dropout，如果訓練的時候的dropout幾率是p%，那么在測試集上，所有的權重都乘上(1-p)%
看完上述內容，你們掌握Python人工智能深度學習模型訓練經驗有哪些的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
