您好,登錄后才能下訂單哦!
今天就跟大家聊聊有關DeepFake中的FakeSpotter是怎么樣的,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
近些年來,各種各樣的GAN網絡在圖片生成上取得巨大成功,然后現有的檢測器還不足以完全面對GAN網絡的挑戰。本文提出了一種基于人類神經行為來辨別真假人臉的模型,我們推測每一層神經元激活函數可能提取到更多微小的特征,而這些特征對于真假人臉識別是十分重要的。
神經元覆蓋技術被廣泛應用于傳統DNN的內部行為,當輸出值大于閾值的激活神經元,被激活的神經元將作為輸入的另一種形式,將學習的內容一層層保存在網絡中
而前人也有一些工作針對關鍵的激活神經層用于檢測對抗例子。
我們工作的靈感來自分層激活的神經元,它捕捉輸入的微妙特征,可以用來尋找真實和合成的面部圖像之間的差異。
上圖是FakeSpotter檢測框架,與傳統框架不同的是根據每層神經元激活特性來進行人臉分析。
在傳統DNN中,每一層神經元是否被激活取決于他的輸出值是否高于閾值Threshold
我們提出了一種確立閾值的策略,公式如下
分式上面是各個神經元輸出值之和
|N|代表當前層神經元的總數目
|T|代表當前層輸入的個數
最后通過這個閾值來決定這個神經元是否被激活
下圖是描述這兩種策略的算法
我們通過壓縮,模糊,縮放,加噪聲來評價模型的魯棒性。
可以看到在檢測DFDC這個數據集上表現并不是那么好。
因為該數據集有人臉替換,聲音替換這兩種類型,而聲音替換是超過FakeSpotter這種基于圖像的檢測框架范圍內了。
可以看到FakeSpotter仍然保持較好的檢測率。
在DeepFake檢測領域中,關鍵一個問題是模型的魯棒性,一個訓練好的模型可能換到另外一個數據集就失效了。該工作受DNN神經元激活層的啟發,將激活層輸出值,平均到每個神經元上,作為一個閾值加入到整體網絡進行訓練,而最后在多個模型實驗下,也表明這種基于激活層閾值策略,能得到更多細微特征,進一步提高模型魯棒性。
看完上述內容,你們對DeepFake中的FakeSpotter是怎么樣的有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。