近日，南京大學(xué)推理與學(xué)習(xí)研究組(R&L Group)發(fā)布了一個新的漫畫人臉識別數(shù)據(jù)集 WebCaricature。該數(shù)據(jù)集包含了 252 個名人的 6042 幅漫畫圖像以及 5974 幅人臉圖像，并且每幅圖像均提供了 17 個人臉關(guān)鍵點(diǎn)標(biāo)注。該數(shù)據(jù)集是目前為止最大的漫畫人臉識別數(shù)據(jù)集，填補(bǔ)了深度學(xué)習(xí)時代漫畫人臉識別研究在基準(zhǔn)數(shù)據(jù)集上的空缺。關(guān)于該數(shù)據(jù)集的文章目前已在 2018 年 BMVC 會議發(fā)表。

數(shù)據(jù)集網(wǎng)址：https://cs.nju.edu.cn/rl/WebCaricature.htm

論文網(wǎng)址：http://bmvc2018.org/contents/papers/0728.pdf

 

 

圖 1：WebCaricature 中的人臉圖像以及漫畫圖像示例

引言

真人夸張漫畫 (Caricature) 通常是由漫畫家對真實(shí)人臉的五官進(jìn)行不同程度的夸大后創(chuàng)作出來的，這種夸大通常會更加凸顯人臉原來較為顯著的特征，但也會導(dǎo)致真實(shí)人臉與漫畫之間存在較大的差異。盡管如此，人類通常還是可以很容易地識別出漫畫中我們認(rèn)識的人臉，并且，由于顯著特征的加強(qiáng)，識別甚至?xí)�變得更加簡單。但對于目前的機(jī)器學(xué)習(xí)算法卻并非如此。

在過去，關(guān)于漫畫人臉識別的任務(wù)受到了心理學(xué)以及腦科學(xué)研究者的廣泛關(guān)注，在心理學(xué)研究上，對于漫畫人臉識別的研究可以幫助我們更好的了解人類對哪些面部特征的夸張更加敏感以及理解人類大腦是如何表示和匹配人臉的。相應(yīng)地，在計算機(jī)視覺領(lǐng)域，關(guān)于漫畫人臉識別的研究也可以幫助我們找到更好的人臉特征表示以及相似度計算方法，進(jìn)而提升現(xiàn)有人臉識別系統(tǒng)的性能。

過去幾年，隨著深度學(xué)習(xí)的興起，人臉識別系統(tǒng)的性能得到了快速的提升。然而對于漫畫人臉識別任務(wù)，目前的機(jī)器學(xué)習(xí)方法的效果仍比較差。主要原因是漫畫人臉存在多種多樣的藝術(shù)風(fēng)格且臉部存在形變和夸張，對于同一個人的人臉，不同漫畫家可能會選取不同的夸大方式，使得匹配和識別變得更加困難。另外一方面，目前漫畫人臉識別相關(guān)的數(shù)據(jù)集匱乏，已有的數(shù)據(jù)集不管是在人員數(shù)量上還是圖像數(shù)量上都較少。

在上述背景下，南京大學(xué)推理與學(xué)習(xí)研究組(R&L Group)建立了一個大的漫畫人臉識別數(shù)據(jù)集 WebCaricature，該數(shù)據(jù)集包含了 252 個名人的 6042 幅漫畫圖像以及 5974 幅人臉圖像，并且，數(shù)據(jù)集中的每幅圖像均提供了 17 個人臉關(guān)鍵點(diǎn)標(biāo)注。該數(shù)據(jù)集的特點(diǎn)是，不同人的漫畫圖像在漫畫風(fēng)格上迥異，并且同一個人的漫畫圖像之間也存在著巨大的差異，對于照片，同一人的拍攝角度、面部表情、光照環(huán)境、年齡等也都是非受控的，因此，在識別上會有非常大的難度。

該數(shù)據(jù)集是目前為止最大的漫畫數(shù)據(jù)集，通過發(fā)布該數(shù)據(jù)集，我們希望促進(jìn)深度學(xué)習(xí)等機(jī)器學(xué)習(xí)方法在漫畫人臉識別方面的相關(guān)進(jìn)展。關(guān)于該數(shù)據(jù)集的文章目前已在 2018 年 BMVC 會議上發(fā)表。

 

 

圖 2：數(shù)據(jù)集中的關(guān)鍵點(diǎn)標(biāo)注

評價基準(zhǔn)

基于該數(shù)據(jù)集，論文中還建立了四種漫畫人臉識別的評價基準(zhǔn)，分別是受限視圖下的漫畫核實(shí) (Restricted View Caricature Verification)，非受限視圖下的漫畫核實(shí) (UnRestricted View Caricature Verification)，通過漫畫識別人臉 (Caricature to Photo Recognition)，通過人臉識別漫畫 (Photo to Caricature Recognition)。其中前兩種評價基準(zhǔn)可用于評價漫畫與真人照片一對一核實(shí)的任務(wù)，第三種評價基準(zhǔn)用于評價給定一幅漫畫后，從人臉庫中識別對應(yīng)照片的算法性能，最后一種評價基準(zhǔn)用于評價給定一幅照片后，從庫中識別對應(yīng)漫畫的算法性能。

數(shù)據(jù)集上的挑戰(zhàn)

此外，論文中還對應(yīng)傳統(tǒng)人臉識別任務(wù)的各個階段分析了漫畫人臉識別的難點(diǎn)，并給出了一些基準(zhǔn)算法在該數(shù)據(jù)集上目前的識別效果。

其中，對應(yīng)傳統(tǒng)人臉識別系統(tǒng)中的人臉檢測與人臉關(guān)鍵點(diǎn)檢測任務(wù)，由于漫畫的風(fēng)格變化以及臉部形變，漫畫的人臉模式變化更多更豐富，漫畫人臉關(guān)鍵點(diǎn)的位置更加不固定，因此，漫畫人臉檢測以及漫畫人臉關(guān)鍵點(diǎn)檢測也是一個可研究的具有挑戰(zhàn)性的研究問題。

在檢測的漫畫人臉的基礎(chǔ)上，漫畫人臉與真人照片之間的對齊方法也需要一些特殊的設(shè)計，圖 3 中給出了原文中采用基于眼睛的人臉對齊方法后，漫畫與照片不能很好對齊的示例圖片。

 

 

圖 3：通過同一種基于眼睛的人臉對齊方法，漫畫人臉的對齊效果很差，照片人臉的對齊效果相對較好

在漫畫人臉特征抽取的問題上，該問題相較于傳統(tǒng)的異構(gòu)人臉識別(包括照片與素描人像相互識別、照片與紅外人像相互識別等)[1] 中的人臉特征抽取問題會更難。傳統(tǒng)的異構(gòu)人臉識別中的人臉特征抽取主要考慮消除不同模態(tài)(如照片和素描屬于兩種圖像模態(tài))的人臉圖像之間的模態(tài)差異使得特征對于個體具有判別性。在漫畫中，由于不同的漫畫風(fēng)格，不同的漫畫可能屬于不同的模態(tài)，使得模態(tài)差異的消除更加困難，此外，漫畫具有不同的形變，因此，如何抽取特征使得真實(shí)人臉特征與漫畫人臉特征同構(gòu)可比較是一個非常具有挑戰(zhàn)性的研究問題。

在漫畫與真人照片的特征匹配問題上，假設(shè)在前面的幾個步驟中算法無法完全對漫畫人臉與真實(shí)人臉進(jìn)行對齊，且在特征抽取中不能很好的消除模態(tài)差異，則在匹配漫畫與真人照片的特征的時候既需要考慮消除模態(tài)差異，也需要考慮由于形變造成的特征誤配準(zhǔn) [2]，對傳統(tǒng)的特征匹配算法也提出了新的挑戰(zhàn)。

基準(zhǔn)性能

目前在該數(shù)據(jù)集上，文章中給出了不同對齊算法、特征抽取算法以及特征匹配算法組合在不同評價基準(zhǔn)下的算法性能，結(jié)果見表 1 和表 2。在四種評價基準(zhǔn)下，最好的效果由 VGG-Face 方法與 KCSR 方法結(jié)合取得，但可以看到目前該數(shù)據(jù)集上，在各項(xiàng)性能指標(biāo)下，算法的性能還沒有達(dá)到飽和。

由于 VGG-Face 方法目前未考慮模態(tài)差異消除以及漫畫中的形變，KCSR 方法可以進(jìn)行模態(tài)差異的消除，兩者結(jié)合可以較好的提升性能。因此在深度學(xué)習(xí)方法中引入模態(tài)差異消除，同時考慮漫畫中的形變影響，設(shè)計端到端的算法應(yīng)該是后續(xù)可行的漫畫識別研究方向。

 

 

表 1 WebCaricature 數(shù)據(jù)集上，受限視圖以及非受限視圖漫畫核實(shí)評價基準(zhǔn)下不同算法的識別性能

 

 

表 2 WebCaricature 數(shù)據(jù)集上，通過漫畫識別人臉以及通過人臉識別漫畫兩種評價基準(zhǔn)下不同算法的識別性能

數(shù)據(jù)集下載信息可從以下鏈接獲�。篽ttps://cs.nju.edu.cn/rl/WebCaricature.htm

[1] B. F. Klare and A. K. Jain,「Heterogeneous face recognition using kernel prototype similarities,」IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 6, pp. 1410–1422, 2013.

[2] J. Huo, Y. Gao, Y. Shi, and H. Yin,「Variation Robust Cross-Modal Metric Learning for Caricature Recognition,」in Proceedings of the on Thematic Workshops of ACM Multimedia 2017, 2017, pp. 340–348.

標(biāo)簽： ssl

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。