用于點云分析的自組織網絡SO-Net是怎樣的

這篇文章給大家介紹用于點云分析的自組織網絡SO-Net是怎樣的，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Abstract

下面提出SO-Net，一種用于無序點云深度學習的置換不變網絡結構。 SO-Net通過構建自組織映射（SOM）來模擬點云的空間分布。基于SOM，SO-Net對單個點和SOM節點進行分層特征提取，最終用單個特征向量來表示輸入點云。網絡的感受野可以通過進行點對節點的KNN(k近鄰搜索)系統地調整。在識別點云重建，分類，對象部分分割和形狀檢索等任務中，我們提出的網絡表現出的性能與最先進的方法相似或更好。另外，由于所提出的架構的并行性和簡單性，所以訓練速度比現有的點云識別網絡快得多。

Introduction

經過多年的深入研究，卷積神經網絡（ConvNets）現在成為許多最先進的計算機視覺算法的基礎，例如，圖像識別，對象分類和語義分割等。盡管ConvNets在二維圖像方面取得了巨大成功，但在3D數據上使用深度學習仍然是一個具有挑戰性的問題。雖然3D卷積網絡（3D ConvNets）可以應用于光柵化為體素表示的3D數據，但由于大多數3D數據的稀疏性，大多數計算都是冗余的。此外，不成熟的3D ConvNets的性能很大程度上受到分辨率的損失和呈指數級增長的計算成本限制。同時，深度傳感器的加速發展以及自動駕駛汽車等應用的巨大需求使得高效處理3D數據成為當務之急。包括ModelNet [37]，ShapeNet [8]，2D-3D-S [2]在內的3D數據集的最新可用性增加了3D數據研究的普及。

為了避免簡單體素化的缺點，一種選擇是明確利用體素網格的稀疏性[35,21,11]。雖然稀疏設計允許更高的網格分辨率，但其誘導的復雜性和局限性使其難以實現大規模或靈活的深度網絡[30]。另一種選擇是利用可伸縮索引結構，包括kd-tree [4]，八叉樹[25]。基于這些結構的深度網絡顯示出令人鼓舞的結果。與基于樹的結構相比，點云表示在數學上更簡潔和直接，因為每個點僅由3維向量表示。此外，借助運動結構（SfM）算法，可以使用流行的傳感器（如RGB-D相機，LiDAR或常規相機）輕松獲取點云。盡管點云被廣泛使用，也能夠輕松獲取，但點云識別任務仍然具有挑戰性。傳統的深度學習方法如ConvNets不適用，因為點云在空間上是不規則的，并且可以任意排列。由于這些困難，很少有人嘗試將深度學習技術直接應用到點云，直到最近的PointNet [26]。

盡管作為將深度學習應用于點云的先驅，PointNet仍無法充分處理局部特征提取。后來PointNet++[28]被提出來通過構建一個類似金字塔的特征聚合方案來解決這個問題，但[28]中的點采樣和分組策略并沒有揭示輸入點云的空間分布。Kd-Net [18]從輸入點云構建kd樹，然后進行從樹葉到根節點的分層特征提取。Kd-Net明確地利用點云的空間分布，但是仍然存在諸如感受野不重疊等限制。

在本文中，我們提出SO-Net來解決現有基于點云的網絡中的問題。具體而言，建立SOM [19]來模擬輸入點云的空間分布，這使得在單獨的點和SOM節點上進行分層特征提取成為可能。最終，輸入點云可以被壓縮成單個特征向量。在特征聚合過程中，通過在SOM上執行點到節點的k-近鄰（KNN）搜索來控制感受野重疊。理論上，SO-Net通過特殊的網絡設計以及我們的置換不變SOM訓練來保證對輸入點的順序保持不變。我們的SO-Net的應用包括基于點云的分類，自動編碼器重建，零件分割和形狀檢索，如圖1所示。 

主要貢獻如下：

• 我們設計了置換不變網絡 - 顯式利用點云空間分布的SO-Net。

• 通過在SOM上進行點到節點的KNN搜索，可以系統地調整感受野重疊來執行分層特征提取。

• 我們提出一種點云自動編碼器作為預訓練，以改善各種任務中的網絡性能。

• 與最先進的方法相比，在各種應用中獲得相似或更好的性能，并且訓練速度顯著加快。

關于用于點云分析的自組織網絡SO-Net是怎樣的就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。