您好,登錄后才能下訂單哦!
如何理解SENet,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
SENet是ImageNet 2017(ImageNet收官賽)的冠軍模型,和ResNet的出現類似,都在很大程度上減小了之前模型的錯誤率(具體見附錄),并且復雜度低,新增參數和計算量小。下面就來具體介紹一些SENet的神奇之處。
SENet的全稱是Squeeze-and-ExcitationNetworks,中文可以翻譯為壓縮和激勵網絡。主要由兩部分組成:
1. Squeeze部分。即為壓縮部分,原始feature map的維度為H*W*C,其中H是高度(Height),W是寬度(width),C是通道數(channel)。Squeeze做的事情是把H*W*C壓縮為1*1*C,相當于把H*W壓縮成一維了,實際中一般是用global average pooling實現的。H*W壓縮成一維后,相當于這一維參數獲得了之前H*W全局的視野,感受區域更廣。
2. Excitation部分。得到Squeeze的1*1*C的表示后,加入一個FC全連接層(Fully Connected),對每個通道的重要性進行預測,得到不同channel的重要性大小后再作用(激勵)到之前的feature map的對應channel上,再進行后續操作。
可以看出,SENet和ResNet很相似,但比ResNet做得更多。ResNet只是增加了一個skip connection,而SENet在相鄰兩層之間加入了處理,使得channel之間的信息交互成為可能,進一步提高了網絡的準確率。
SENet可以隨意插入到任何網絡中,提升效果也是比較顯著的,論文中給的結果是有0.4%~1.8%范圍的error減小。
訓練的曲線也很漂亮,最下面橙色的即為SENet的結果:
附錄:
ImageNet分類Top5錯誤率:
2014 GoogLeNet 6.67%
2015 ResNet 3.57%
2016 ~~~ 2.99%
2017 SENet 2.25%
看完上述內容,你們掌握如何理解SENet的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。