TensorFlow中的剪枝優化指的是什么

今天就跟大家聊聊有關TensorFlow中的剪枝優化指的是什么，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

一直以來，AI模型的壓縮算法都是門高深的學問，之前國內深鑒科技也憑借著高效率的壓縮算法，讓更多輕量的計算終端也能享受AI的好處。

目前主流AI所使用的人工神經網絡顧名思義，就是個非常復雜，互相牽連的網絡結構，由于圖像、語言、文字等不同類型的樣本，會以不同的方式進行切割、存儲，形成最基礎的神經元，而機器學習或深度學習，就是要想辦法在這些看似不相干的神經元中找出關連，并形成綿密的網狀邏輯。

然而神經元越多，網絡越龐大，需要用來儲存神經網絡的空間需求也越高，但存儲空間在某些終端，尤其是移動智能設備中，是非常稀有的資源，因此如果要讓這些儲存空間有限的智能終端也能形成AI處理能力，那么神經網絡模型就不能太大。

很有趣的是，其實我們大腦在成長過程中，也會經歷類似的過程，這個過程叫做synaptic pruning，也就是神經突觸修剪。而如果大腦沒有在發育過程中經過有效的修剪，最終可能會發展成自閉癥。而自閉癥大腦前額葉的神經連結遠比正常人多。

補充TensorFlow模型優化工具的不足

為了解決這個問題，包括深鑒在內的很多開發者，都提出過不同的壓縮方式與邏輯，而其中，剪枝法已經被證明是效率最高的其中一種。剪枝法其實就是把神經網絡中，對整體邏輯影響層面小，甚至是不需要的分支修剪掉，讓模型的大小可以更有效的控制，然而剪枝法最重要的關鍵在于要剪在對的地方，才能在提升效率、降低存儲空間需求的同時，又要能兼顧模型邏輯的正確性。

Google在2018年曾發表了模型優化工具，通過使用訓練后量化的機制，能夠大幅降低機器學習模型的存儲空間需求，以及提升執行效率。

最初，該量化方法是采用降低參數的精度來達成，簡單來說，就是原本使用32bit浮點的模型，使用8bit整數來重新存儲和計算。當然，優化過程中還是需要經過比對和校準，借以避免嚴重失真的狀況。

而才剛推出的剪枝API，則是在之前的模型優化工具中心增的優化工具。其功能就是前面所提到的，通過算法，修剪掉在權重張量(Weight Tensor)中的非必要數值，讓神經網絡中不必要的連接降到最低。

而剪枝API可以和前一版本的量化優化兼容，換句話說，開發者可以在其模型中同時使用兩種優化方式，借以取得更好的優化效率。

Google也在工具說明中示范了如何把MNIST的90%稀疏模型從12MB壓縮到2MB。

而在更多的模型壓縮實驗中，在不同稀疏準確率條件的設定下，剪枝API的壓縮效率表現從50%到90%，表現相當不錯。

工作原理

這個新的壓縮優化工具是基于Keras的權重修剪API，使用簡單但廣泛適用的算法，并根據訓練期間的大小迭代刪除連接。

開發者指定最終目標稀疏度（例如90％），以及執行修剪的計劃（例如，在步驟2,000開始修剪，在步驟10,000停止，并且每100步執行一次），以及修剪的可選配置結構（例如，應用于某些形狀的單個值或值塊）。

隨著訓練的進行，修剪流程將被安排執行，消除那些具有最低幅度值（即最接近零的那些）的權重，直到達到指定的稀疏度目標。 每次修剪流程被安排執行時，便會重新計算當前稀疏度目標，從0％開始，直到它在修剪計劃結束時達到最終目標稀疏度為止。

看完上述內容，你們對TensorFlow中的剪枝優化指的是什么有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。