EfficientNet是什么意思

這篇文章主要為大家展示了“EfficientNet是什么意思”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“EfficientNet是什么意思”這篇文章吧。

簡介

EfficientNet源自Google Brain的論文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. 從標題也可以看出，這篇論文最主要的創新點是Model Scaling. 論文提出了compound scaling，混合縮放，把網絡縮放的三種方式：深度、寬度、分辨率，組合起來按照一定規則縮放，從而提高網絡的效果。EfficientNet在網絡變大時效果提升明顯，把精度上限進一步提升，成為了當前最強網絡。EfficientNet-B7在ImageNet上獲得了最先進的 84.4%的top-1精度 和 97.1%的top-5精度，比之前最好的卷積網絡（GPipe, Top-1: 84.3%, Top-5: 97.0%）大小縮小8.4倍、速度提升6.1倍。

EfficientNet的主要創新點并不是結構，不像ResNet、SENet發明了shortcut或attention機制，EfficientNet的base結構是利用結構搜索搜出來的，然后使用compound scaling規則放縮，得到一系列表現優異的網絡：B0~B7. 下面兩幅圖分別是ImageNet的Top-1 Accuracy隨參數量和flops變化關系圖，可以看到EfficientNet飽和值高，并且到達速度快。

原理

增加網絡參數可以獲得更好的精度（有足夠的數據，不過擬合的條件下），例如ResNet可以加深從ResNet-18到ResNet-200，GPipe將baseline模型放大四倍在ImageNet數據集上獲得了84.3%的top-1精度。增加網絡參數的方式有三種：深度、寬度和分辨率。

深度是指網絡的層數，寬度指網絡中卷積的channel數（例如wide resnet中通過增加channel數獲得精度收益），分辨率是指通過網絡輸入大小（例如從112x112到224x224）

直觀上來講，這三種縮放方式并不不獨立。對于分辨率高的圖像，應該用更深的網絡，因為需要更大的感受野，同時也應該增加網絡寬度來獲得更細粒度的特征。

之前增加網絡參數都是單獨放大這三種方式中的一種，并沒有同時調整，也沒有調整方式的研究。EfficientNet使用了compound scaling方法，統一縮放網絡深度、寬度和分辨率。

如下圖所示，(a)為baseline網絡，(b)、(c)、(d)為單獨通過增加width，depth以及resolution使得網絡變大的方式，(e)為compound scaling的方式。

EfficientNet中的base網絡是和MNAS采用類似的方法（唯一區別在于目標從硬件延時改為了FLOPS），使用了compound scaling后，效果非常顯著，在不同參數量和計算量都取得了多倍的提升。

此外，作者為了驗證單獨compound scaling的收益，base網絡不使用MNAS網絡結構搜索的結果，直接使用MobileNets和ResNet作為base進行scaling，結果顯示在FLOPS接近的情況下，Top-1 Acc有0.6~1.4%的提升。

最后，EfficientNet的延時相對于ResNet/GPipe也有5~6倍的提升。

以上是“EfficientNet是什么意思”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！