近日，南京大學(xué)推理與學(xué)習(xí)研究組(R&L Group)發(fā)布了一個(gè)新的漫畫(huà)人臉識(shí)別數(shù)據(jù)集 WebCaricature。該數(shù)據(jù)集包含了 252 個(gè)名人的 6042 幅漫畫(huà)圖像以及 5974 幅人臉圖像，并且每幅圖像均提供了 17 個(gè)人臉關(guān)鍵點(diǎn)標(biāo)注。該數(shù)據(jù)集是目前為止最大的漫畫(huà)人臉識(shí)別數(shù)據(jù)集，填補(bǔ)了深度學(xué)習(xí)時(shí)代漫畫(huà)人臉識(shí)別研究在基準(zhǔn)數(shù)據(jù)集上的空缺。關(guān)于該數(shù)據(jù)集的文章目前已在 2018 年 BMVC 會(huì)議發(fā)表。

數(shù)據(jù)集網(wǎng)址：https://cs.nju.edu.cn/rl/WebCaricature.htm

論文網(wǎng)址：http://bmvc2018.org/contents/papers/0728.pdf

 

 

圖 1：WebCaricature 中的人臉圖像以及漫畫(huà)圖像示例

引言

真人夸張漫畫(huà) (Caricature) 通常是由漫畫(huà)家對(duì)真實(shí)人臉的五官進(jìn)行不同程度的夸大后創(chuàng)作出來(lái)的，這種夸大通常會(huì)更加凸顯人臉原來(lái)較為顯著的特征，但也會(huì)導(dǎo)致真實(shí)人臉與漫畫(huà)之間存在較大的差異。盡管如此，人類(lèi)通常還是可以很容易地識(shí)別出漫畫(huà)中我們認(rèn)識(shí)的人臉，并且，由于顯著特征的加強(qiáng)，識(shí)別甚至?xí)�變得更加�?jiǎn)單。但對(duì)于目前的機(jī)器學(xué)習(xí)算法卻并非如此。

在過(guò)去，關(guān)于漫畫(huà)人臉識(shí)別的任務(wù)受到了心理學(xué)以及腦科學(xué)研究者的廣泛關(guān)注，在心理學(xué)研究上，對(duì)于漫畫(huà)人臉識(shí)別的研究可以幫助我們更好的了解人類(lèi)對(duì)哪些面部特征的夸張更加敏感以及理解人類(lèi)大腦是如何表示和匹配人臉的。相應(yīng)地，在計(jì)算機(jī)視覺(jué)領(lǐng)域，關(guān)于漫畫(huà)人臉識(shí)別的研究也可以幫助我們找到更好的人臉特征表示以及相似度計(jì)算方法，進(jìn)而提升現(xiàn)有人臉識(shí)別系統(tǒng)的性能。

過(guò)去幾年，隨著深度學(xué)習(xí)的興起，人臉識(shí)別系統(tǒng)的性能得到了快速的提升。然而對(duì)于漫畫(huà)人臉識(shí)別任務(wù)，目前的機(jī)器學(xué)習(xí)方法的效果仍比較差。主要原因是漫畫(huà)人臉存在多種多樣的藝術(shù)風(fēng)格且臉部存在形變和夸張，對(duì)于同一個(gè)人的人臉，不同漫畫(huà)家可能會(huì)選取不同的夸大方式，使得匹配和識(shí)別變得更加困難。另外一方面，目前漫畫(huà)人臉識(shí)別相關(guān)的數(shù)據(jù)集匱乏，已有的數(shù)據(jù)集不管是在人員數(shù)量上還是圖像數(shù)量上都較少。

在上述背景下，南京大學(xué)推理與學(xué)習(xí)研究組(R&L Group)建立了一個(gè)大的漫畫(huà)人臉識(shí)別數(shù)據(jù)集 WebCaricature，該數(shù)據(jù)集包含了 252 個(gè)名人的 6042 幅漫畫(huà)圖像以及 5974 幅人臉圖像，并且，數(shù)據(jù)集中的每幅圖像均提供了 17 個(gè)人臉關(guān)鍵點(diǎn)標(biāo)注。該數(shù)據(jù)集的特點(diǎn)是，不同人的漫畫(huà)圖像在漫畫(huà)風(fēng)格上迥異，并且同一個(gè)人的漫畫(huà)圖像之間也存在著巨大的差異，對(duì)于照片，同一人的拍攝角度、面部表情、光照環(huán)境、年齡等也都是非受控的，因此，在識(shí)別上會(huì)有非常大的難度。

該數(shù)據(jù)集是目前為止最大的漫畫(huà)數(shù)據(jù)集，通過(guò)發(fā)布該數(shù)據(jù)集，我們希望促進(jìn)深度學(xué)習(xí)等機(jī)器學(xué)習(xí)方法在漫畫(huà)人臉識(shí)別方面的相關(guān)進(jìn)展。關(guān)于該數(shù)據(jù)集的文章目前已在 2018 年 BMVC 會(huì)議上發(fā)表。

 

 

圖 2：數(shù)據(jù)集中的關(guān)鍵點(diǎn)標(biāo)注

評(píng)價(jià)基準(zhǔn)

基于該數(shù)據(jù)集，論文中還建立了四種漫畫(huà)人臉識(shí)別的評(píng)價(jià)基準(zhǔn)，分別是受限視圖下的漫畫(huà)核實(shí) (Restricted View Caricature Verification)，非受限視圖下的漫畫(huà)核實(shí) (UnRestricted View Caricature Verification)，通過(guò)漫畫(huà)識(shí)別人臉 (Caricature to Photo Recognition)，通過(guò)人臉識(shí)別漫畫(huà) (Photo to Caricature Recognition)。其中前兩種評(píng)價(jià)基準(zhǔn)可用于評(píng)價(jià)漫畫(huà)與真人照片一對(duì)一核實(shí)的任務(wù)，第三種評(píng)價(jià)基準(zhǔn)用于評(píng)價(jià)給定一幅漫畫(huà)后，從人臉庫(kù)中識(shí)別對(duì)應(yīng)照片的算法性能，最后一種評(píng)價(jià)基準(zhǔn)用于評(píng)價(jià)給定一幅照片后，從庫(kù)中識(shí)別對(duì)應(yīng)漫畫(huà)的算法性能。

數(shù)據(jù)集上的挑戰(zhàn)

此外，論文中還對(duì)應(yīng)傳統(tǒng)人臉識(shí)別任務(wù)的各個(gè)階段分析了漫畫(huà)人臉識(shí)別的難點(diǎn)，并給出了一些基準(zhǔn)算法在該數(shù)據(jù)集上目前的識(shí)別效果。

其中，對(duì)應(yīng)傳統(tǒng)人臉識(shí)別系統(tǒng)中的人臉檢測(cè)與人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)，由于漫畫(huà)的風(fēng)格變化以及臉部形變，漫畫(huà)的人臉模式變化更多更豐富，漫畫(huà)人臉關(guān)鍵點(diǎn)的位置更加不固定，因此，漫畫(huà)人臉檢測(cè)以及漫畫(huà)人臉關(guān)鍵點(diǎn)檢測(cè)也是一個(gè)可研究的具有挑戰(zhàn)性的研究問(wèn)題。

在檢測(cè)的漫畫(huà)人臉的基礎(chǔ)上，漫畫(huà)人臉與真人照片之間的對(duì)齊方法也需要一些特殊的設(shè)計(jì)，圖 3 中給出了原文中采用基于眼睛的人臉對(duì)齊方法后，漫畫(huà)與照片不能很好對(duì)齊的示例圖片。

 

 

圖 3：通過(guò)同一種基于眼睛的人臉對(duì)齊方法，漫畫(huà)人臉的對(duì)齊效果很差，照片人臉的對(duì)齊效果相對(duì)較好

在漫畫(huà)人臉特征抽取的問(wèn)題上，該問(wèn)題相較于傳統(tǒng)的異構(gòu)人臉識(shí)別(包括照片與素描人像相互識(shí)別、照片與紅外人像相互識(shí)別等)[1] 中的人臉特征抽取問(wèn)題會(huì)更難。傳統(tǒng)的異構(gòu)人臉識(shí)別中的人臉特征抽取主要考慮消除不同模態(tài)(如照片和素描屬于兩種圖像模態(tài))的人臉圖像之間的模態(tài)差異使得特征對(duì)于個(gè)體具有判別性。在漫畫(huà)中，由于不同的漫畫(huà)風(fēng)格，不同的漫畫(huà)可能屬于不同的模態(tài)，使得模態(tài)差異的消除更加困難，此外，漫畫(huà)具有不同的形變，因此，如何抽取特征使得真實(shí)人臉特征與漫畫(huà)人臉特征同構(gòu)可比較是一個(gè)非常具有挑戰(zhàn)性的研究問(wèn)題。

在漫畫(huà)與真人照片的特征匹配問(wèn)題上，假設(shè)在前面的幾個(gè)步驟中算法無(wú)法完全對(duì)漫畫(huà)人臉與真實(shí)人臉進(jìn)行對(duì)齊，且在特征抽取中不能很好的消除模態(tài)差異，則在匹配漫畫(huà)與真人照片的特征的時(shí)候既需要考慮消除模態(tài)差異，也需要考慮由于形變?cè)斐傻奶卣髡`配準(zhǔn) [2]，對(duì)傳統(tǒng)的特征匹配算法也提出了新的挑戰(zhàn)。

基準(zhǔn)性能

目前在該數(shù)據(jù)集上，文章中給出了不同對(duì)齊算法、特征抽取算法以及特征匹配算法組合在不同評(píng)價(jià)基準(zhǔn)下的算法性能，結(jié)果見(jiàn)表 1 和表 2。在四種評(píng)價(jià)基準(zhǔn)下，最好的效果由 VGG-Face 方法與 KCSR 方法結(jié)合取得，但可以看到目前該數(shù)據(jù)集上，在各項(xiàng)性能指標(biāo)下，算法的性能還沒(méi)有達(dá)到飽和。

由于 VGG-Face 方法目前未考慮模態(tài)差異消除以及漫畫(huà)中的形變，KCSR 方法可以進(jìn)行模態(tài)差異的消除，兩者結(jié)合可以較好的提升性能。因此在深度學(xué)習(xí)方法中引入模態(tài)差異消除，同時(shí)考慮漫畫(huà)中的形變影響，設(shè)計(jì)端到端的算法應(yīng)該是后續(xù)可行的漫畫(huà)識(shí)別研究方向。

 

 

表 1 WebCaricature 數(shù)據(jù)集上，受限視圖以及非受限視圖漫畫(huà)核實(shí)評(píng)價(jià)基準(zhǔn)下不同算法的識(shí)別性能

 

 

表 2 WebCaricature 數(shù)據(jù)集上，通過(guò)漫畫(huà)識(shí)別人臉以及通過(guò)人臉識(shí)別漫畫(huà)兩種評(píng)價(jià)基準(zhǔn)下不同算法的識(shí)別性能

數(shù)據(jù)集下載信息可從以下鏈接獲取：https://cs.nju.edu.cn/rl/WebCaricature.htm

[1] B. F. Klare and A. K. Jain,「Heterogeneous face recognition using kernel prototype similarities,」IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 6, pp. 1410–1422, 2013.

[2] J. Huo, Y. Gao, Y. Shi, and H. Yin,「Variation Robust Cross-Modal Metric Learning for Caricature Recognition,」in Proceedings of the on Thematic Workshops of ACM Multimedia 2017, 2017, pp. 340–348.

標(biāo)簽： ssl

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。