像許多追隨AI發(fā)展的人一樣，我無法忽略生成建模的最新進(jìn)展，尤其是圖像生成中生成對抗網(wǎng)絡(luò)(GAN)的巨大成功�？纯聪旅孢@些樣本：它們與真實照片幾乎沒有區(qū)別!

 

 

從2014年到2018年，面部生成的進(jìn)展也非常顯著。

這些結(jié)果讓我感到興奮，但我內(nèi)心總是懷疑它們是否真的有用且廣泛適用�；�本上我“懷疑”，憑借生成模型的所有功能，我們并沒有真正將它們用于比高分辨率面部表情生成這些更實用的東西。當(dāng)然，有些企業(yè)可以直接基于圖像生成或風(fēng)格轉(zhuǎn)移(如游戲行業(yè)中的角色生成或關(guān)卡生成，從真實照片到動漫頭像的風(fēng)格轉(zhuǎn)換)，但我一直在尋找GAN和其他生成方式更多領(lǐng)域模型的應(yīng)用。我想通過生成模型，我們不僅可以生成圖像，還可以生成文本、聲音、音樂、結(jié)構(gòu)化數(shù)據(jù)，如游戲關(guān)卡或藥物分子。

 

 

使用RNN生成游戲人物

在本文中，我將介紹7個用例。其中一些我已經(jīng)親自確認(rèn)它們的用處，其他一些正在研究中，但這并不意味著它們不值得嘗試。所有這些使用生成模型創(chuàng)建的例子都可以應(yīng)用于不同的領(lǐng)域，因為我們的主要目標(biāo)不是生成一些現(xiàn)實的東西，而是利用神經(jīng)網(wǎng)絡(luò)的內(nèi)在知識來完成新任務(wù)。

1.數(shù)據(jù)增強

最明顯的應(yīng)用是訓(xùn)練模型：從我們的數(shù)據(jù)生成新樣本以增強我們的數(shù)據(jù)集。我們?nèi)绾螜z查這種增強是否真的有幫助呢?有兩個主要策略：我們可以在“假”數(shù)據(jù)上訓(xùn)練我們的模型，并檢查它在真實樣本上的表現(xiàn)。對應(yīng)的我們在實際數(shù)據(jù)上訓(xùn)練我們的模型來做一些分類任務(wù)，并且檢查它對生成的數(shù)據(jù)的執(zhí)行情況。如果它在兩種情況下都能正常工作，你可以隨意將生成模型中的樣本添加到你的實際數(shù)據(jù)中并再次重新訓(xùn)練，你應(yīng)該期望獲得性能。

NVIDIA展示了這種方法的驚人實例：他們使用GAN來增加具有不同疾病的醫(yī)學(xué)腦CT圖像的數(shù)據(jù)集，并且表明僅使用經(jīng)典數(shù)據(jù)的分類性能是78.6%的靈敏度和88.4%的特異性。通過添加合成數(shù)據(jù)增強，可以增加到85.7%的靈敏度和92.4%的特異性。

 

 

https://arxiv.org/pdf/1803.01229.pdf

2.隱私保護(hù)

許多公司的數(shù)據(jù)可能是秘密的，敏感的(包含患者診斷的醫(yī)療數(shù)據(jù))，但有時我們需要與顧問或研究人員等第三方分享。如果我們只想分享關(guān)于我們的數(shù)據(jù)的一般信息，包括最重要的模式，對象的細(xì)節(jié)和形狀，我們可以使用生成模型來抽樣我們的數(shù)據(jù)示例以與其他人分享。這樣我們就不會分享任何確切的機密數(shù)據(jù)，只是看起來完全像它的東西。

更困難的情況是我們想要秘密共享數(shù)據(jù)。當(dāng)然，我們有不同的加密方案，如同態(tài)加密，但它們有已知的缺點，例如在10GB代碼中隱藏1MB信息。2016年，谷歌開辟了一條關(guān)于使用GAN競爭框架加密問題的新研究路徑，其中兩個網(wǎng)絡(luò)必須競爭創(chuàng)建代碼并破解它：

 

 

但最好的結(jié)果不是獲得的代碼效率，我們應(yīng)該記住，通過神經(jīng)網(wǎng)絡(luò)獲得的表示通常包含有關(guān)輸入數(shù)據(jù)的最有用的信息，并且從這個壓縮數(shù)據(jù)我們?nèi)匀豢梢赃M(jìn)行分類/回歸/聚類。如果我們將“壓縮”替換為“加密”，那么這個想法很明確：這是與第三方共享數(shù)據(jù)而不顯示任何數(shù)據(jù)集的驚人方式。它比匿名甚至假樣本生成強得多，可能是下一件大事(當(dāng)然使用區(qū)塊鏈)

3.異常檢測

變分自動編碼器(VAE)或GAN等主要生成模型由兩部分組成。VAE具有編碼器和解碼器，其中第一個對分布進(jìn)行建模，第二個重建。GAN由生成器和鑒別器組成，第一個模擬分布，第二個判斷它是否接近訓(xùn)練數(shù)據(jù)。我們可以看到，它們在某種程度上非常相似：有建模和判斷部分(在VAE中我們可以考慮將重建視為某種判斷)，建模部分應(yīng)該學(xué)習(xí)數(shù)據(jù)分布。如果我們將一些不是來自訓(xùn)練樣本分發(fā)，那么判斷部分將會發(fā)生什么?訓(xùn)練有素的GAN鑒別器會告訴我們0，并且VAE的重建誤差將高于訓(xùn)練數(shù)據(jù)的平均值。這就是我們接下來要說的：無監(jiān)督異常探測器，它易于訓(xùn)練和評估。在本文中你可以找到例子是用于異常檢測，這里可以找到自動編碼的。我還添加了自己的基于自動編碼器的粗略草圖——用于在Keras中編寫的時間序列。

4.判別性建模

深度學(xué)習(xí)所做的一切都是將輸入數(shù)據(jù)映射到某個空間，在這個空間中，通過SVM或邏輯回歸等簡單的數(shù)學(xué)模型可以更容易地分離或解釋。生成模型也有自己的映射，我們從VAE開始。Autoencoders將輸入樣本映射到一些有意義的潛在空間，基本上我們可以直接訓(xùn)練一些模型。它有意義嗎?它是否與僅使用編碼器層和訓(xùn)練模型直接進(jìn)行分類有所不同?確實是。自動編碼器的潛在空間是復(fù)雜的非線性降維，并且在變分自動編碼器的情況下也是多變量分布，這可以比一些隨機初始化更好地開始訓(xùn)練判別模型。

GAN對于其他任務(wù)來說有點難度。它們被設(shè)計為從隨機種子生成樣本，并且不期望任何輸入。但我們?nèi)匀豢梢灾辽僖詢煞N方式利用它們作為分類器，第一個已經(jīng)研究過的，就是利用鑒別器將生成的樣本分類到不同的類別，同時只是告訴它是真的還是假的。我們可以期望從獲得的分類器更好地規(guī)則化(因為它已經(jīng)看到不同類型的噪聲和輸入數(shù)據(jù)的擾動)并且具有用于異常值/異常的額外類：

 

 

5.域遷移(Domain adaptation)

我認(rèn)為，這是最強大的用處之一。在實踐中，我們幾乎從未擁有相同的數(shù)據(jù)源來訓(xùn)練模型并在現(xiàn)實世界環(huán)境中運行它們。在計算機視覺中，不同的光線條件、相機設(shè)置或天氣可以使非常準(zhǔn)確的模型變得無用。在NLP/語音分析中，俚語或重音會破壞你在“語法正確”上訓(xùn)練的模型的表現(xiàn)。在信號處理中，你很可能擁有完全不同的設(shè)備來捕獲數(shù)據(jù)以訓(xùn)練模型和生產(chǎn)。我們知道機器學(xué)習(xí)模型執(zhí)行是從一個條件到另一個條件的映射，保留主要內(nèi)容，但要更改細(xì)節(jié)。

 

 

例如，如果你正在處理應(yīng)該在某種CCTV攝像機上工作的應(yīng)用程序，但是你已經(jīng)在高分辨率圖像上訓(xùn)練了你的模型，那么你可以嘗試使用GAN來對圖像進(jìn)行去噪處理并對其進(jìn)行增強。我可以從信號處理領(lǐng)域提供更激進(jìn)的例子：有很多與手機加速度計數(shù)據(jù)相關(guān)的數(shù)據(jù)集，描述了不同的人的活動。但是，如果你想在腕帶上應(yīng)用受過手機數(shù)據(jù)訓(xùn)練的模型，該怎么辦?GAN可以嘗試幫助你還原不同類型的動作。一般來說，生成模型不是從噪聲中進(jìn)行生成，而是一些預(yù)定義的先驗?zāi)Ｐ涂梢詭椭�你進(jìn)行域遷移，協(xié)方差轉(zhuǎn)換以及與數(shù)據(jù)差異相關(guān)的其他問題。

6.數(shù)據(jù)處理

我們在前一段談到了風(fēng)格轉(zhuǎn)移。我不喜歡的是它的映射函數(shù)適用于整個輸入，如果我只想換一些照片的鼻子怎么辦?或改變汽車的顏色?或者在不完全改變的情況下替換演講中的某些單詞?如果我們想要這樣做，那么我們的對象就需用一些有限的因子來描述，例如，臉是眼睛，鼻子，頭發(fā)，嘴唇等的組合，這些因素有它們自己的屬性如顏色、大小等。如果我們可以將帶有照片的像素映射到某些...我們可以調(diào)整這些因素并使鼻子更大或更小?有一些數(shù)學(xué)概念允許它：多樣性假設(shè)，對我們來說好消息是，自動編碼器可能實現(xiàn)。

 

 

7.對抗訓(xùn)練(Adversarial training)

你可能不同意我添加關(guān)于機器學(xué)習(xí)模型攻擊的文字，但它對生成模型(對抗性攻擊算法確實非常簡單)和對抗性算法影響很大。也許你熟悉對抗性例子的概念：模型輸入中的小擾動(甚至可能是圖像中的一個像素)導(dǎo)致完全錯誤的性能。其中一個最基本的方法叫做對抗性訓(xùn)練：基本上是利用對抗性的例子來構(gòu)建更準(zhǔn)確的模型。

 

 

如果不深入細(xì)節(jié)，這意味著我們需要雙人游戲：對抗模型需要最大化其影響力，并且存在需要最小化其損失的分類模型�？雌饋砗芟馟AN，但出于不同的目的：使模型對對抗性攻擊更穩(wěn)定，并通過某種智能數(shù)據(jù)增強和正規(guī)化提高其性能。

小貼士

在本文中，我們已經(jīng)介紹了幾個例子，說明GAN和其他一些生成模型如何用于生成漂亮的圖像，旋律或短文本。當(dāng)然，他們的主要長期目標(biāo)是生成以正確情況為條件的真實世界對象，但今天我們可以利用他們的分布建模和學(xué)習(xí)有用的表示來改進(jìn)我們當(dāng)前的AI、保護(hù)我們的數(shù)據(jù)、發(fā)現(xiàn)異�；蜻m應(yīng)更多現(xiàn)實世界的案例。我希望你會發(fā)現(xiàn)它們很有用，并將適用于你的項目。

文章原標(biāo)題《gans-beyond-generation-7-alternative-use-cases》

作者：Alexandr Honchar 譯者：虎說八道，

標(biāo)簽： 代碼 谷歌 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。