PANet的相關知識點有哪些

這篇文章主要介紹“PANet的相關知識點有哪些”，在日常操作中，相信很多人在PANet的相關知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”PANet的相關知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

一、PANet 整體描述

PANet 是基于Mask R-CNN進行改進后的網絡，改進的三個點分別為：

1. 原始 Mask R-CNN 沒有很好地利用低層信息。高層的 Feature maps 關注物體整體，低層的 Feature maps 關注物體的紋理圖案。使用低層的信息可以對物體進行更好地定位。對此 PANet 增加了 Bottom-up Path Augmentation（整體結構圖中的b. ），將低層的信息又傳導到高層中去，同時減少了高層到低層的信息流通需要穿過的卷積層數。

2. 原 RoI Pooling 只在最后一層上提取信息，而 PANet 則使用Adaptive Feature Pooling（AFP，整體結構圖中的 c.）同時對多個層級進行 RoI Pooling ，將多層級的信息整合后進行預測。

3. 最終的 Mask 預測分支融合了 FCN 式的預測和 fully-connected 式的預測，前者關注局部，后者關注整體Context信息，從而提升最終 Mask 的質量。

下圖是PANet的整體結構：

綠色的虛線表示PANet增加 b. 后，高層信息和輸入之間跨越的卷積層數更少了，對比紅色虛線可能要經過上百個卷積層（參見ResNet Block1~4），信息流通更順暢。

二、各關鍵點詳細描述

1、Bottom-up Path Augmentation

整體結構圖中 N2=P2，N3~N5 都是通過下面的卷積結構計算得來。

2、Adaptive Feature Pooling

在 FPN 中，不同大小的物體被分給不同的層，比如最小的分給P2，最大的分給P5。這個處理方式很簡單有效，但不一定得到最佳的結果，例如大小相差10像素的物體可能就被分到不同的層上了。為了得到更優的結果，PANet 索性將每個Proposal 在N2~N5對應區域（結構圖b. 灰色區域）的特征都用上，具體使用方法為：

1、使用 RoIAlign 對其進行提取得到 4 組相同shape的特征圖。

2、對4組特征進行融合，可以是sum、max、product。

3、使用融合后的特征圖進行分類、bbox預測、mask預測。

上述過程在bbox分支和mask分支上執行時有所不同：

bbox分支

如下圖所示，bbox分支的具體AFP計算過程如下：

1、先RoIAlign得到等尺寸的4個Feature map

2、使用同一個全連接層對4個 Feature map 分別計算

3、將4組特征進行融合

4、再用一個全連接層計算得到分類和bbox回歸的結果。

mask分支

mask 分支有4個卷積層，特征融合操作在conv1后進行，具體計算過程如下：

1、先RoIAlign得到等尺寸的4個Feature map

2、使用conv1對4個 Feature map 分別計算

3、將4組特征進行融合

4、使用融合后的特征進行計算后得到最終的mask預測結果。

在AFP中還有個細節：

特征融合應該使用哪一種操作？經過試驗驗證，使用 max 進行特征融合效果較好。

AFP是否真的有效呢？論文中使用max作為融合函數后分析發現，對于原本應該分別分配給N2~N5（對應下圖level1~4）的 proposals，max函數提取到的特征其實大多數都不來自本層，例如level4（N5）只用到了來自level4 40%的特征，也就是說，通過AFP使得模型在預測時綜合利用了N2~N5的特征，而最后的實驗結果表明這的確帶來了不少提高。

3、Mask 分支 FCN+Fully-connected 的融合

在 FCN 和 Fully-connected 的融合上，需要確定 Fully-connected 層選擇哪一層進行輸入，以及如何將二者的結果進行融合。通過實驗發現，conv3作為 Fully-connected 層的輸入、sum作為融合函數效果較好。

4、其它細節

對于多尺度訓練，設置長邊為1400，其他的在400-1400之間。

對于多GPU同步BN， 在一個batch前計算所有樣本的均值和方差，一起更新，而不是batch里面一張一張更新。

heavier head，與 RetinaNet 類似使用4個連續的 3×3 卷積而不是使用fc層，不同的是box分類和box回歸參數共享。

Multi-scale Training & Multi-GPU Sync. BN 這兩個技術幫助網絡收斂的更好，泛化能力更強。

Bottom-up Path Augmentation 無論是否使用自適應池化卷積。自下而上增強路徑提高了預測mask的表現。這驗證了低層特征信息的有效性。

Adaptive Feature Pooling 無論是否使用自下而上的增強路徑。自適應池化濾波都不斷提升性能。其他層的特征對最終預測是有用的。

Fully-connected Fusion：全連接融合目的是提高mask預測的質量。這對于所有尺度都適用。

Heavier Head：對于bbox訓練非常有效，對于mask預測效果一般。

三、PANet 結果展示

到此，關于“PANet的相關知識點有哪些”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！