如何使用遮擋分析進行DNN模型的可解釋性說明

這篇文章將為大家詳細講解有關如何使用遮擋分析進行DNN模型的可解釋性說明，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

深度神經網絡的解釋方法有很多，每種解釋方法都有各自的優缺點。在大多數情況下，我們感興趣的是局部解釋方法，即對特定輸入的網絡輸出的解釋，因為DNNs往往過于復雜，無法進行全局解釋(獨立于輸入)。

一般而言，所有局部解釋方法都有一個共同的目標：可靠地（即準確地）表示要解釋的函數f（例如DNN），至少可以部分的解釋他們的輸入和輸褚的關系。

當然，這樣的解釋也必須是人類可以理解的才能有用。實現這一目標的最簡單方法是為每個輸入維度添加一個重要分數，也就是創建一個歸屬圖。歸因方法將模型輸出的權重分配給給定輸入的每個維度。

在這篇短文中，我將介紹一種基本的歸因技術:遮擋分析。其基本概念非常簡單:對于輸入x的每個輸入維度，我們在缺失該維度的情況下評估模型，并觀察輸出如何變化。特別是，如果||f(x) - f(x_without_i)||很大，那么維數一定很重要，因為刪除它會改變輸出。

遮擋分析通過觀察去除patch后模型輸出y的變化來計算每個patch的重要性。單個的結果可以組合成一張歸因圖。

遮擋分析的優點

如果維度是獨立的，那么遮擋分析是完全可靠的，因為您準確地測量了每個維度的邊際效應。

不幸的是，在大多數情況下，例如圖像數據，情況并非如此。在這里，建議您刪除整個色塊而不是單個像素。這個想法是通常單個像素的信息可以從其相鄰像素重建。因此，如果您具有貓的圖像，則刪除一個貓像素永遠不會對輸出產生太大影響，而刪除覆蓋耳朵的面片可能會導致模型對“貓”的預測顯著下降。

關于遮擋分析的另一個優點是它是一種post-hoc 方法。這意味著它可以用來解釋任何(已經訓練過的)模型。沒有必要再訓練。這個模型甚至可以是一個不可微的黑盒。只要您能夠輸入輸入并接收輸出，就可以使用遮擋分析。

與基于梯度的解釋方法相比，遮擋分析的另一個優勢是，它甚至可以處理局部平坦的函數，沒有或只有很小的梯度。

一些問題

但是，刪除尺寸實際上意味著什么？畢竟，我們的模型始終采用相同大小的輸入。刪除尺寸意味著將其設置為具有“ 0信息”的值。該值取決于數據集。對于圖像數據，我們通常使用平均RGB值。對于其他數據類型，通常將維設置為0即可。我們將在以后看到其他注意事項。

您可能已經猜到了，遮擋分析有一個很大的警告：我們必須將每一個遮擋輸入到模型中并進行評估。如果您輸入的內容有很多尺寸，例如如果圖像為256x256像素，則必須運行256x256 = 65.536（！）模型才能獲得完整的分析。在大多數情況下，這是非常昂貴的，特別是如果您要對整個數據集運行分析時，尤其如此。

一種減輕采用多個特征并將其一起刪除的計算成本的方法（例如，圖片中的8x8正方形）。這僅對于某些維度之間相互依存性強，以至于它們在語義上屬于在一起的數據類型才有意義。

分布位移（Distribution Shift）

遮擋分析還有另一個問題，它討論不多：分布位移。如果我們仔細考慮一下，我們在分析中觀察到的輸出變化除了信息被刪除之外還有另一個原因:受干擾的輸入不再位于我們訓練模型所依據的數據分布中。

在機器學習中，我們通常假設模型將根據來自與訓練樣本相同分布的數據進行評估。如果不是這樣(即如果我們移除像素)，那么模型輸出可能是錯誤的。雖然去除單個像素的效果通常可以忽略不計，但是去除整塊的數據塊與訓練數據流形之間的距離更大，因此對輸出的影響也更大。

但是有一些方法可以緩解該問題。基本思想是在仍然保持靠近數據分布的同時刪除信息。這意味著要使用更復雜的信息刪除技術，使圖像仍然看起來像自然圖像。

一種方法是模糊要“刪除”的補丁。它不是最有效的方法，但它至少應該刪除細粒度的紋理信息，并且它很容易實現。

一個更好的方法是使用修復算法:只是使用另一個模型來猜測(即inpaint)缺失部分的內容。實際上并沒有添加任何信息，因為修復僅依賴于圖像的剩余像素，但結果看起來仍然接近于正常圖像，因此更接近于訓練數據。您可以使用Yu等人設計的復雜算法，也可以使用容易訪問的庫，如openCV。

使用修復算法的問題是：

1）它使該過程在計算上更加昂貴；

2）您必須首先運行它；

3）如果您不使用標準基準數據集，則可能必須對其進行重新訓練。

由于它的計算成本，遮擋分析當然不是一個適用于任何場合的工具，但肯定有一些用途。特別是如果你的數據很小，或者你只是想要一些容易實現和可靠的東西(只是要注意補丁的大小)，遮擋分析可以很出色。與之密切相關且更為復雜的方法是Shapley值。不幸的是，它們的計算成本更高。如果你使用的是可微模型，那么僅次于它的簡單方法就是基于梯度的解釋方法。

關于如何使用遮擋分析進行DNN模型的可解釋性說明就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。