現(xiàn)階段，AI 安全性研究逐漸成為學(xué)術(shù)界和工業(yè)界的重要議題和研究方向。之前大多數(shù)研究放在了測試階段的攻擊(例如對抗樣本)。本文從另一個角度，即訓(xùn)練階段入手，探討如何通過有界擾動修改訓(xùn)練數(shù)據(jù)，從而最大程度上混淆分類器，讓其在測試部署階段做出錯誤判斷。為此，來自南京大學(xué)和創(chuàng)新工場 AI 工程院的研究者提出使用類似自編碼器的網(wǎng)絡(luò)來生成這樣的擾動，此類擾動具有較強(qiáng)的魯棒性和遷移能力，并在 CIFAR-10 等數(shù)據(jù)集上驗(yàn)證了所提方法的有效性。

論文鏈接：https://arxiv.org/pdf/1905.09027.pdf

具有有界可遷移擾動的訓(xùn)練數(shù)據(jù)會導(dǎo)致模型泛化能力弱，那么該如何修改這樣的訓(xùn)練數(shù)據(jù)呢?換句話說，研究者想在訓(xùn)練數(shù)據(jù)中添加不可感知的噪聲，希望在訓(xùn)練數(shù)據(jù)上訓(xùn)練好的分類器在面對干凈的測試數(shù)據(jù)時，能盡可能多地做出錯誤的判斷，從而最大程度上混淆對應(yīng)的分類器。

為了實(shí)現(xiàn)這一想法，文中定義了一個類似于深度編碼器 - 解碼器的架構(gòu)來生成這樣的擾動。它以干凈的樣本為輸入，在相同的樣本空間中輸出相應(yīng)的對抗噪聲，然后在訓(xùn)練數(shù)據(jù)中加入這些有界噪聲。與此同時，本文還將一個虛構(gòu)的神經(jīng)網(wǎng)絡(luò)作為受騙分類器(victim classifier)，這里的目標(biāo)是讓噪聲生成器通過觀測受騙分類器的訓(xùn)練過程，對抗地更新自身權(quán)重，學(xué)習(xí)出如何產(chǎn)生最高質(zhì)量的惡意訓(xùn)練樣本。

這里的目標(biāo)是通過讓自編碼器更新權(quán)重來同時訓(xùn)練這兩個網(wǎng)絡(luò)，這樣可以讓受騙分類器的準(zhǔn)確率降到最低。

和傳統(tǒng)自編碼器中將重建誤差視為學(xué)習(xí)目標(biāo)不同，本文將這一問題視為非線性等式約束優(yōu)化問題。和 GAN 不同，這樣的優(yōu)化問題更難解決，而且直接實(shí)現(xiàn)交替更新會導(dǎo)致結(jié)果不穩(wěn)定。受到強(qiáng)化學(xué)習(xí)中一些常用技術(shù)(比如引入目標(biāo)網(wǎng)絡(luò)(target-nets)等單獨(dú)的記錄追蹤網(wǎng)絡(luò)來穩(wěn)定 Q 學(xué)習(xí))的啟發(fā)，本文提出了類似的方法，即在訓(xùn)練自編碼器時引入偽更新步驟而解耦訓(xùn)練過程。通過這樣的方法，優(yōu)化過程在實(shí)踐中非常穩(wěn)定。

類似的設(shè)置還有安全社區(qū)中的數(shù)據(jù)攻擊(data poisoning)，但和這項工作的目的非常不同。本文采用該設(shè)置的主要目的是通過添加有界噪聲檢驗(yàn)訓(xùn)練數(shù)據(jù)的魯棒性，這樣可以揭示神經(jīng)網(wǎng)絡(luò)一些有趣的特性，而數(shù)據(jù)攻擊關(guān)注的是只允許改變少量數(shù)據(jù)的限制。事實(shí)上，完全控制(而非只改變一些)訓(xùn)練數(shù)據(jù)是一個很現(xiàn)實(shí)的假設(shè)，例如，在一些應(yīng)用中，智能體可能會同意發(fā)布一些用于同行評估或?qū)W術(shù)研究的內(nèi)部數(shù)據(jù)，但不愿意啟用數(shù)據(jù)接收器建立可以在真實(shí)測試數(shù)據(jù)上表現(xiàn)很好的模型;現(xiàn)在可以在發(fā)布數(shù)據(jù)前應(yīng)用對抗噪聲來實(shí)現(xiàn)這一點(diǎn)。

這項工作的另一個貢獻(xiàn)在于，這種形式可以輕易地擴(kuò)展到指定標(biāo)簽的情況，在這樣的情況中，人們想要更加有針對性地欺騙分類器，它們希望分類器可以將一個輸入模式識別為特定的、預(yù)定義的分類，而不是只做出錯誤的預(yù)測。最后，實(shí)驗(yàn) 2 的結(jié)果表明，對其他結(jié)構(gòu)不同或類型不同的機(jī)器學(xué)習(xí)模型(比如隨機(jī)森林或支持向量機(jī))來說，這樣學(xué)習(xí)到的噪聲也是有效且魯棒的。

本文所提方法詳解

在用于分類的標(biāo)準(zhǔn)有監(jiān)督學(xué)習(xí)過程中，人們可能想從數(shù)據(jù)學(xué)到映射 f_θ：X →{0,1}^K，式中的 K 是要預(yù)測的類別數(shù)量。為了學(xué)習(xí)最優(yōu)參數(shù) θ，需要根據(jù)訓(xùn)練數(shù)據(jù)定義像交叉熵這樣用于分類的損失函數(shù)

 

 

，這樣才可以應(yīng)用經(jīng)驗(yàn)風(fēng)險最小化，也就是說，可以根據(jù)訓(xùn)練數(shù)據(jù)將損失函數(shù)最小化為：

 

 

圖 1：學(xué)習(xí)混淆分類器的概述：解耦 f_θ 和 g_ξ 的交替更新。

 

 

當(dāng) f_θ 是像神經(jīng)網(wǎng)絡(luò)這樣的可微分系統(tǒng)時，可以通過隨機(jī)梯度下降(SGD)或其變體更新 θ。

 

 

式中 α 指學(xué)習(xí)率。

這項工作的目標(biāo)是通過添加人工無法感知的噪聲來擾亂訓(xùn)練數(shù)據(jù)，這樣在測試時，分類器在干凈的測試集上的行為就會有顯著的不同。

為了表示這一點(diǎn)，我們首先要定義一個噪聲生成器 g_ε：X→X，它在 X 中取一個訓(xùn)練樣本 x，然后將它轉(zhuǎn)換成同一空間 X 中不可感知的噪聲模式。對于圖像數(shù)據(jù)來說，這樣的約束可以表示為：

 

 

這里的控制擾動強(qiáng)度是對抗設(shè)置中的常見操作。本文選擇噪聲生成器 g_ε 當(dāng)作編碼器 - 解碼器神經(jīng)網(wǎng)絡(luò)，將最后一層的激活函數(shù)定義為 ε?(tanh (?)) 來促進(jìn)約束 (3)。

在上述想法和公式背景下，可以將該項目表示為以下優(yōu)化問題：

 

 

換句話說，每個可能的配置 ε 都和根據(jù)相應(yīng)修正數(shù)據(jù)訓(xùn)練得到的分類器 f_θ∗(ξ) 搭配成對，這里的目標(biāo)是找到噪聲生成器 g_ξ∗，這樣在所有可能的 ξ 中，成對的分類器 f_θ∗(ξ∗) 在干凈的測試數(shù)據(jù)集上會得到最糟糕的表現(xiàn)。

這種非凸優(yōu)化問題極具挑戰(zhàn)性，特別是在非線性等式約束的背景下。本文提出了一種交替更新程序，該程序使用了一些在強(qiáng)化學(xué)習(xí)中保證穩(wěn)定性的常用操作，這種方法很簡單，但實(shí)踐證明它是有效的。

 

 

首先，因?yàn)槲闹屑僭O(shè) f_θ 和 g_ξ 是神經(jīng)網(wǎng)絡(luò)，因此可以將等式約束近似為：

 

 

式中的 i 是 SGD 更新的索引。

其次，基本思想是通過梯度下降根據(jù)對抗訓(xùn)練數(shù)據(jù)交替更新 f_θ，并通過梯度上升根據(jù)干凈數(shù)據(jù)更新 g_ξ。主要問題在于，如果直接使用這種交替方法，實(shí)際上 f_θ 和 g_ξ 都無法收斂。為了穩(wěn)定這一過程，要先根據(jù)對抗訓(xùn)練數(shù)據(jù)更新 f_θ，同時收集 f_θ 的更新軌跡，然后根據(jù)收集到的軌跡，通過計算 f_θ 在每一個時間步上的偽更新來更新對抗訓(xùn)練數(shù)據(jù)和 g_ξ。這樣將整個過程重復(fù)實(shí)驗(yàn) T 次直到收斂為止。算法 1 和圖 1 詳細(xì)地說明了這一過程。

最后，本文還提出了一種修改方法以提升效率。注意在訓(xùn)練 f_θ 時存儲整個梯度更新的軌跡是一種低效使用內(nèi)存的方法。為了避免直接存儲這樣的信息，在訓(xùn)練的每一次實(shí)驗(yàn)中，都可以創(chuàng)建 g_ξ 的副本 g'ξ，用 f_θ 交替更新 g'ξ，然后將參數(shù)復(fù)制回 g_ξ。通過這樣的方式，可以將每一次試驗(yàn)中的兩個循環(huán)合并為一個循環(huán)，而且根本不需要存儲梯度。算法 2 中詳細(xì)地說明了這一過程。

指定標(biāo)簽的對抗數(shù)據(jù)

這一節(jié)簡要介紹了如何將本文的設(shè)置擴(kuò)展到指定標(biāo)簽的情況中。指定標(biāo)簽對抗數(shù)據(jù)的目標(biāo)是，攻擊者不僅希望分類器能做出錯誤的預(yù)測，還希望分類器的預(yù)測值能符合之前定義好的規(guī)則。例如，攻擊者希望分類器可以將 A 類錯誤地識別為 B 類(而不是 C 類)。為了實(shí)現(xiàn)這一目的，預(yù)定義標(biāo)簽轉(zhuǎn)移函數(shù) η：Z_+→Z_+，該函數(shù)可以從一個標(biāo)簽映射到另一個。這里的 η 是攻擊者預(yù)定義的，而且它將一個標(biāo)簽索引轉(zhuǎn)換成了另一個不同的標(biāo)簽索引。這種指定標(biāo)簽的對抗數(shù)據(jù)可以表示為：

 

 

不難看出，上述問題的優(yōu)化過程和算法 2 中描述的基本一致。唯一要改變的是將算法 2 中第 10 行的梯度上升換成梯度下降，并將同一行的 η(y) 換成 y，其他不變。

實(shí)驗(yàn)

為了驗(yàn)證本文提出方法的有效性，研究者用經(jīng)典的 MNIST 和 CIFAR-10 數(shù)據(jù)集進(jìn)行多分類，并使用 ImageNet 的子集進(jìn)行二分類。對抗訓(xùn)練數(shù)據(jù)的隨機(jī)樣本如圖 2 所示：

 

 

圖 2：第一行：原始訓(xùn)練樣本;第二行：對抗訓(xùn)練樣本。

本文分別根據(jù) MNIST、ImageNet 以及 CIFAR-10 訓(xùn)練了噪聲生成器 g_ξ，相應(yīng)的分類器 f_θ 的擾動約束分別為 0.3、0.1、0.032。分類結(jié)果如表 1 所示。

 

 

文中還可視化了在對抗訓(xùn)練集上訓(xùn)練的 f_θs 的最后隱藏層的激活，如圖 3 所示。

 

 

圖 3：第一行：對抗訓(xùn)練數(shù)據(jù)的深度特征;第二行：干凈測試數(shù)據(jù)的深度特征。

了解擾動約束如何影響準(zhǔn)確率和可視化表現(xiàn)是很有趣的，結(jié)果如圖 4 所示。

 

 

圖 4：變化的效果。

研究者還檢驗(yàn)了修改部分訓(xùn)練數(shù)據(jù)后得到的結(jié)果，結(jié)果如圖 5 所示：

 

 

圖 5：在不同的 ε 下改變對抗的比率。

在 MNIST 中，研究者加倍 / 減半了所有通道 / 隱藏單元，并將模型標(biāo)記為 CNNlarge 和 CNNsmall。此外，文中還訓(xùn)練了有 300 棵樹的標(biāo)準(zhǔn)隨機(jī)森林以及使用了 RBF 核、核系數(shù)等于 0.01 的支持向量機(jī)。實(shí)驗(yàn)結(jié)果如圖 6 所示。

 

 

圖 6：使用不同分類器時的測試性能。紅色的水平線表示隨機(jī)猜測的準(zhǔn)確率。

針對 CIFAR-10 和 ImageNet，文中嘗試了層數(shù)不同、包括 VGG、ResNet 以及 DenseNet 在內(nèi)的不同卷積網(wǎng)絡(luò)，并相應(yīng)地評估了它們的性能。結(jié)果如圖 7 所示。

 

 

圖 7：不同模型架構(gòu)的測試表現(xiàn)。紅色的水平線表示隨機(jī)猜測準(zhǔn)確率。

為了充分說明對抗數(shù)據(jù)造成的泛化差距，在獲得對抗性訓(xùn)練數(shù)據(jù)之后，研究者重新訓(xùn)練了 3 個有相同架構(gòu) f_θ 的卷積網(wǎng)絡(luò)(每個數(shù)據(jù)集對應(yīng)一個網(wǎng)絡(luò))，并在圖 8 中繪制了訓(xùn)練曲線。

 

 

圖 8：f_θ 的學(xué)習(xí)曲線

 

 

圖 9：MNIST、CIFAR-10 和 ImageNet 中的干凈樣本以及對應(yīng)的對抗噪聲。

為了驗(yàn)證本文提出的猜想，研究者還衡量了真實(shí)標(biāo)簽和僅以對抗噪聲作為輸入的 f_θ(g_ξ(x)) 的預(yù)測值之間的預(yù)測準(zhǔn)確率。結(jié)果如表 2 所示。

 

 

表 2：僅以噪聲作為輸入的預(yù)測準(zhǔn)確率。也就是說，真實(shí)標(biāo)簽和 f_θ(g_ξ(x)) 之間的準(zhǔn)確率，其中 x 是干凈的樣本。

為了驗(yàn)證指定標(biāo)簽對抗設(shè)置的有效性，在沒有泛化損失的情況下，將預(yù)測值轉(zhuǎn)換為 1。對 MNIST 數(shù)據(jù)集來說，研究者希望在對抗數(shù)據(jù)上訓(xùn)練的分類器可以將類別 1 預(yù)測為類別 2，將類別 2 預(yù)測為類別 3…… 將類別 9 預(yù)測為類別 0。用本文第 4 節(jié)中描述的方法，研究者訓(xùn)練了相應(yīng)的噪聲生成器并在測試集上評估了相應(yīng)的 CNN，如圖 10 所示。

 

 

圖 10：MNIST 在不同場景下的測試集的混淆矩陣。圖中總結(jié)了訓(xùn)練設(shè)置不同的分類器的測試性能：(a)干凈的訓(xùn)練數(shù)據(jù);(b)非特定標(biāo)簽設(shè)置;(c)特定標(biāo)簽設(shè)置。

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。