識別 PS 照片的問題，還是需要依靠推出 PS 的公司 Adobe 來解決。
 

現(xiàn)在的社交媒體上充斥著各種自拍，而且其中大部分人物都長得挺好看。但大家心知肚明的是，這些照片大多被 P 過。有很多人甚至因為 P 得一手堪比「整容」的照片而走紅。

雖然只是出于愛美之心，但不可否認(rèn)的一個事實是，這些「照騙」的盛行，的確讓我們對社交媒體的信任日漸下降。

隨著技術(shù)的發(fā)展和流行，制作這種假照片的門檻越來越低，幾乎人人都可以是修圖大師，更不用說手機廠商和科技公司已經(jīng)有實時 AI 美顏技術(shù)了。

如果有人利用 P 過的圖來行騙，成功率估計也會相應(yīng)提高。

 

 

那我們要如何識別這些被 P 過的照片呢?

眾所周知，PS 是美國公司 Adobe 推出的一款專業(yè)圖形編輯軟件 Photoshop 的簡稱。自 1990 年發(fā)布之后，Photoshop 已經(jīng)成為創(chuàng)造力和藝術(shù)表達進步的重要組成部分，甚至廣泛影響了我們的視覺文化。但誰曾想到作為「萬惡之源」的 Adobe 也在研究破解 PS 的方式。

最近，Adobe 的研究人員和來自 UC Berkeley 的合作者開發(fā)了一種檢測圖像 PS 痕跡的方法。該方法效果如何呢?請先看下圖：

 

 

如果對比左右兩張圖，你可能會發(fā)現(xiàn)右圖的臉頰更寬，而左圖中更瘦，尤其是靠近下巴一塊;右圖的嘴角下垂，而左圖嘴唇是微笑的狀態(tài)。

但如果只看左圖呢?你能看出來臉頰被 P 過的痕跡嗎?可能下巴左邊 P 得過了點，往里凹了一塊，有點明顯;但右邊 P 得算是不錯了，不太明顯，小編看了半天才發(fā)現(xiàn)(可對比右臉下方邊緣至旁邊白色圓圈的距離)。

但是你看中圖的檢測分析，該方法圈出了右邊嘴角和左臉頰下方的 PS 痕跡，且右臉頰下方用紅色標(biāo)注了。

此外，研究人員通過實驗對比發(fā)現(xiàn)，人工檢測 PS 照片的準(zhǔn)確率僅為 53%，而他們提出的方法檢測 PS 照片的準(zhǔn)確率高達 99%。

 

 

準(zhǔn)確率對比。

算法原理

這項研究利用卷積神經(jīng)網(wǎng)絡(luò)識別「修」過的人臉圖片，由 Adobe 研究科學(xué)家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 與 Alexei A. Efros 參與完成。

Adobe 之前對 PS 圖像的檢測工作主要集中在拼接、移除、復(fù)制方面，而這項研究主要針對 Adobe Photoshop 自帶的功能「臉部感知液化」(Face Aware Liquify)。

臉部感知液化可以先識別人臉五官，然后用戶可以使用它進行相應(yīng)的修改，如眼睛大小、額頭寬窄、瘦臉、鼻高等，還可以輕松調(diào)出微笑唇。

 

 

Liquify 工具堪稱修圖神器，而且使用起來也非常簡單。

果然是「以子之矛攻子之盾」啊，Adobe 這項新研究對自己之前推出的「美顏」功能下手了!

根據(jù) Adobe 博客介紹，這項新研究試圖解決以下基本問題：

是否可以創(chuàng)建一個比人類識別「修圖」還可靠的工具?

該工具能否指出到底「修」了哪兒?

能否撤回對原圖的「修改」?

 

 

還是以上文的人臉圖像為例，右一為原圖，左一為 PS 后的圖像(Manipulated photo)，左二展示了 Adobe 這項新研究的功力：它發(fā)現(xiàn)了修圖的具體位置(Detected manipulations)，那么右二是什么呢?

仔細(xì)觀察右一和右二，區(qū)別大嗎?

Adobe 這項新研究把修過的地方又修回去了!

對比左一、右二和右一，可以看到，三張圖存在一些細(xì)微差別。三張圖的嘴角弧度不同，原圖很明顯是下垂的，而修過的圖片則是微笑唇，撤銷修圖后的圖片嘴角弧度則處于中間狀態(tài)。

這些圖像被 P 過嗎?

研究人員訓(xùn)練了一個卷積神經(jīng)網(wǎng)絡(luò)，以識別出修改過的人臉圖像。具體而言，他們使用為 ImageNet 分類任務(wù)訓(xùn)練的 ResNet50 [13] 架構(gòu)，然后針對該任務(wù)進行微調(diào)。

另外，他們通過編寫 Photoshop 腳本創(chuàng)建了圖像訓(xùn)練集，以在數(shù)千幅抓取自網(wǎng)絡(luò)的照片上進行臉部感知液化調(diào)整。

研究人員隨機選擇這些照片的子集進行訓(xùn)練。他們還請了一名美術(shù)師來手動修改一些圖像，并將這些圖像混入了數(shù)據(jù)集中。這樣的做法拓寬了測試集中圖像的修改和技術(shù)范圍，超出了那些合成圖像。

 

 

該研究所用數(shù)據(jù)集的具體數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)集中的隨機樣本示例如下圖所示：

 

 

Adobe 研究人員 Oliver 表示：「我們首先向人們展示一對圖像(修改前和修改后)，他們知道其中一幅圖像被修改過。若我們的方法能夠行之有效，那它在識別編輯過的人臉時效果應(yīng)顯著優(yōu)于人類�！�

實驗對比發(fā)現(xiàn)，人工檢測 PS 照片的準(zhǔn)確率僅為 53%，而他們提出的方法檢測 PS 照片的準(zhǔn)確率高達 99%。

到底動了哪兒?能還原回去嗎?

這個工具還能確定面部修改的特定區(qū)域和方法。此外，在實驗中，該工具可以將修改后的圖像還原至它們初始狀態(tài)，還原效果相當(dāng)不錯。

具體而言，研究人員預(yù)測從原圖 X_orig ∈ R^(H×W×3) 到修改后的圖 X 的光流場(optical flow field)Uˆ ∈ R^(H×W×2)。之后，研究人員嘗試「撤銷」修改，將圖像恢復(fù)為原圖。

研究人員訓(xùn)練了一個光流場預(yù)測模型 F 來預(yù)測像素扭曲場(perpixel warping field)，衡量其與每個樣本真實光流場 U 之間的距離(通過計算原圖和修改后的圖之間的光流得到)。

下圖展示了光流場的一些示例。

 

 

損失函數(shù)公式如下所示：

 

 

其中，X 是修改后的圖像，U 是真值光流場，L_epe 表示光流場之間的誤差。

研究者試圖使光流場更加平滑流暢，于是使用以下?lián)p失函數(shù)：

 

 

UC Berkeley 的教授 Alexei A. Efros 說道：「這聽起來似乎是不可能的，因為面部幾何形狀存在著大量的變化。但如果深度學(xué)習(xí)能夠查看低級圖像數(shù)據(jù)(如扭曲偽像)和高級線索(如面部布局)，那這種方法似乎是行之有效的�！�

那么如何「撤回」對圖像的修改呢?

我們現(xiàn)在已經(jīng)預(yù)測到了原始圖像到修改圖像的光流場，基于此，就可以通過「逆扭曲」來恢復(fù)原圖。重建損失函數(shù)為：

 

 

而直接使用該重建損失函數(shù)會導(dǎo)致低紋理區(qū)域出現(xiàn)模糊和偽影，于是研究者聯(lián)合訓(xùn)練以上三個損失函數(shù)：

 

 

總之，在架構(gòu)層面上，研究人員使用在 ImageNet 數(shù)據(jù)集上訓(xùn)練的 Dilated Residual Network variant (DRN-C-26) [37] 作為基礎(chǔ)網(wǎng)絡(luò)，來進行局部預(yù)測。

至于光流場回歸網(wǎng)絡(luò)，研究者首先將該問題重塑為多項式分類，然后再針對光流場回歸進行微調(diào)。在計算真值光流場時，研究者使用的是 PWC-Net [32]。

應(yīng)用何時上線?

Richard 補充道：「制作一個神奇的「撤銷」按鈕來恢復(fù)圖像編輯的想法離現(xiàn)實還很遙遠(yuǎn)。但在我們生活的這個世界里，人們越來越難以信任自己消費的數(shù)字信息，所以我們非常期待這一領(lǐng)域的進一步研究。

 

 

我們看到的明星照片大多經(jīng)過了 PS。

與此同時，Adobe 正在進行大量研究項目，以幫助驗證自身產(chǎn)品所創(chuàng)建的數(shù)字媒體的真實性，并識別和阻止濫用現(xiàn)象。

Adobe Research 負(fù)責(zé)人 Gavin Miller 表示：「該方法在檢測某些類型的圖像編輯領(lǐng)域邁出了重要一步，同時撤銷功能的效果也出奇得好。但除了這種人臉識別方法，有經(jīng)驗的公眾才是最好的圖像鑒定者�！�

Adobe 目前還沒有立即將這項研究成果轉(zhuǎn)變?yōu)樯虡I(yè)產(chǎn)品的計劃，一位發(fā)言人表示，這只是 Adobe 在更好地檢測圖像、視頻、音頻和文檔操作方面的眾多努力之一。

不過算法已經(jīng)推出，應(yīng)用還會遠(yuǎn)嗎?看來解決 AI 造假的問題還是要靠 AI。

參考內(nèi)容：

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。