近日，在人工智能國(guó)際會(huì)議 (IJCAI) 舉辦的2020 iCartoonFace挑戰(zhàn)賽中，騰訊優(yōu)圖實(shí)驗(yàn)室基于自研的“千尋”檢測(cè)平臺(tái)，首次提出面向動(dòng)漫場(chǎng)景的卡通臉檢測(cè)算法ACFD，并從國(guó)內(nèi)頂尖學(xué)術(shù)機(jī)構(gòu)和商業(yè)公司中脫穎而出，取得第一名的成績(jī)。目前，論文已在arXiv公開(kāi)。
優(yōu)圖提出的ACFD算法在IJCAI2020舉辦的iCartoonFace挑戰(zhàn)賽中排名第一
卡通臉檢測(cè)廣泛使用在內(nèi)容審核和動(dòng)漫視頻分析等業(yè)務(wù)場(chǎng)景中，現(xiàn)有的DSFD等通用人臉檢測(cè)器難以檢測(cè)到一些特定場(chǎng)景下的人臉，因此，優(yōu)圖首次提出一種面向動(dòng)漫場(chǎng)景的非對(duì)稱卡通臉檢測(cè)器ACFD。ACFD是一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)，屬于一階段帶有錨點(diǎn)框的檢測(cè)方法，輸入一張卡通圖片，ACFD便可以輸出卡通圖片中卡通臉的位置(x,y,w,h)以及對(duì)應(yīng)的置信度。
本次，優(yōu)圖提出的ACFD檢測(cè)算法推理速度僅為50ms且無(wú)需任何預(yù)訓(xùn)練模型，能夠檢測(cè)出動(dòng)漫視頻作品中的較為抽象的卡通臉：如機(jī)器人臉，類動(dòng)物臉，玩具臉，簡(jiǎn)筆畫臉，表情臉等。
不同于含有端正五官的正常人臉，卡通臉?lè)N類豐富，人物抽象。最為常見(jiàn)的有類動(dòng)物臉，機(jī)器人臉，還有一些表情臉。針對(duì)這些特點(diǎn)，優(yōu)圖提出非對(duì)稱卡通人臉檢測(cè)算法ACFD，復(fù)用了一些經(jīng)典的人臉檢測(cè)器的框架，并作出創(chuàng)新性的改進(jìn)。
ACFD包括四個(gè)部分：用來(lái)對(duì)卡通圖提取6個(gè)特征圖的主干網(wǎng)絡(luò)VoVNetV3，對(duì)高低特征融合的非對(duì)稱的雙向特征金字塔結(jié)構(gòu)ABi-FPN，動(dòng)態(tài)錨點(diǎn)框匹配DAM和基于間隔的損失函數(shù)MC loss。
VoVNet是一種計(jì)算高效的骨干網(wǎng)絡(luò)，其OSA模塊可以輸出靈活的特征表達(dá)。VoVNetV2通過(guò)添加殘差連接方式解決了VoVNet訓(xùn)練的局限性，同時(shí)引入一種高效的注意力機(jī)制。
為進(jìn)一步提升特征的靈活性，優(yōu)圖提出了一種更有效的骨干網(wǎng)絡(luò)VoVNetV3。VoVNetV3在不使用預(yù)訓(xùn)練模型情況下，在較為抽象的動(dòng)漫場(chǎng)景中表現(xiàn)優(yōu)異，相比于ResNet50，VoVNetV3能夠?qū)z測(cè)指標(biāo)AP (Average Precision) 從0.9018提升至0.9074。
在提取多尺度特征時(shí)，目前大部分人臉檢測(cè)器采用ResNet或VGG。然而，它們僅僅可以處理方形感受野的，這可能會(huì)影響尺度差異較大的人臉檢測(cè)。而卡通人臉中大約有10%的比例大于2.0或小于0.5.
優(yōu)圖提出的ABi-FPN模塊同時(shí)進(jìn)行特征融合、語(yǔ)義信息增強(qiáng)以及感受野精細(xì)處理，它可以使特征感受野更靈活。
為了在檢測(cè)任務(wù)中更好的劃分并分類正負(fù)樣本，也就是卡通臉和背景兩個(gè)類別，ACFD將傳統(tǒng)的錨點(diǎn)框匹配過(guò)程改進(jìn)為動(dòng)態(tài)的錨點(diǎn)框匹配(DAM)，在訓(xùn)練的每次前向傳播后，對(duì)于困難的卡通臉用一些負(fù)樣本進(jìn)行錨點(diǎn)框的補(bǔ)償。這種動(dòng)態(tài)的錨點(diǎn)框匹配能將baseline的AP指標(biāo)由0.8765提升至0.8890。
動(dòng)態(tài)的錨點(diǎn)框匹配策略DAM
在訓(xùn)練的過(guò)程中使用的多任務(wù)損失函數(shù)，包括回歸loss和分類loss。損失函數(shù)對(duì)補(bǔ)償?shù)腻^點(diǎn)框計(jì)算出的loss進(jìn)行了加權(quán)，并且在分類loss中引入了margin。優(yōu)圖提出的基于margin損失函數(shù)MC loss最終將AP提升了0.3。
卡通臉檢測(cè)是許多業(yè)務(wù)的基礎(chǔ)和關(guān)鍵環(huán)節(jié)，廣泛使用在內(nèi)容審核和動(dòng)漫視頻分析兩個(gè)典型的場(chǎng)景中：
互聯(lián)網(wǎng)上源源不斷產(chǎn)生海量?jī)?nèi)容和數(shù)據(jù)，AI算法審核可以提升內(nèi)容審核效率，降低審核成本。比如AI可以在電商平臺(tái)、新聞、視頻網(wǎng)站、短視頻應(yīng)用上檢測(cè)識(shí)別知名IP形象的使用是否侵權(quán)。
動(dòng)漫產(chǎn)業(yè)蓬勃發(fā)展，每年會(huì)產(chǎn)生大量的卡通視頻。使用AI幫助檢測(cè)卡通臉，理解卡通人物的人臉信息來(lái)進(jìn)行動(dòng)漫視頻的分析。
作為騰訊旗下頂級(jí)AI實(shí)驗(yàn)室之一，優(yōu)圖一直聚焦視覺(jué)AI研究與落地，并積極拓展卡通臉等相關(guān)智能識(shí)別能力，為新聞平臺(tái)、視頻網(wǎng)站、短視頻應(yīng)用等業(yè)務(wù)提供技術(shù)支持和解決方案，讓AI視覺(jué)識(shí)別提升應(yīng)用效率。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
