編者按：蘇軾在《題西林壁》中曾寫道：“橫看成嶺側(cè)成峰，遠(yuǎn)近高低各不同?！边@兩句詩闡釋了視角的變化對于視覺任��(wù)的影響。而在人臉識別��(lǐng)��，由于真實場景的��(fù)雜多變，受人體姿��(tài)和取景角度的影響，采集到的人臉圖��，時常會存在平面��(nèi)旋轉(zhuǎn)角度不確定等問題，這為人臉檢測以及基于人臉的視覺任��(wù)帶來了極大的挑戰(zhàn)。本文中，將為大家介紹中科院計算所VIPL組的CVPR2018新作：如何利用級��(lián)矯正��(wǎng)��(luò)，來實現(xiàn)實時、旋��(zhuǎn)自適��(yīng)的人臉檢測��

本文將介紹我們的一篇實時旋��(zhuǎn)不變?nèi)四槞z測的算法��


在體��、街��、家庭合影等��(fù)雜的��(yīng)用場��，由于人體姿��(tài)和取景角度的變化，人臉不總是豎直��，有可能有各種各樣的平面��(nèi)旋轉(zhuǎn)角度。旋��(zhuǎn)不變?nèi)四槞z測算法目��(biāo)是精確的檢測這種旋轉(zhuǎn)的人��。多樣的平面��(nèi)旋轉(zhuǎn)角度，使得人臉的表觀變化非常��，為旋轉(zhuǎn)不變?nèi)四槞z測帶來了極大的挑��(zhàn)����


有很多已有的工作嘗試解決旋轉(zhuǎn)不變?nèi)四槞z測。最簡單直接的方法就是基于數(shù)��(jù)増廣的方��，在��(xùn)練階段將人臉旋轉(zhuǎn)到任意角��。這樣做的��(yōu)點是測試階段沒有額外的時間開銷；缺點是旋��(zhuǎn)人臉的表觀變化非常��，需要使用一個計算量較大的網(wǎng)��(luò)才能保證檢測的精��，這在一些對實時性要求高的應(yīng)用中是不實用����


另外一種策略就是分��。可以訓(xùn)練一個豎直人臉檢測器，在測試階段，將待檢測圖像旋��(zhuǎn)多遍��(jìn)行檢測，這樣也可以實��(xiàn)任意旋轉(zhuǎn)角度人臉的檢��。豎直人臉檢測器的計算量是相對較小的，但是檢測多次也會使得時間開銷成倍增��，而且?guī)砀嗟恼`檢測��


還有一種方法是先將旋轉(zhuǎn)的人臉轉(zhuǎn)正然后再��(jìn)行檢測。具體而言，可以先使用一個旋��(zhuǎn)路由��(wǎng)��(luò)，預(yù)測候選人臉框的旋轉(zhuǎn)角度，然后轉(zhuǎn)正人��，之后可以使用一個豎直人臉檢測器完成檢測。然��，精確的��(yù)測人臉的旋轉(zhuǎn)角度本身也是一個很難的任務(wù)，旋��(zhuǎn)角度��(yù)測錯誤也會降低檢測精����


目前的許多旋��(zhuǎn)不變?nèi)四槞z測算法需要在精度或者速度上��(jìn)行妥��(xié)。我們提出的PCN算法目標(biāo)是在保持很低的計算量的前提下，實��(xiàn)精準(zhǔn)的旋��(zhuǎn)人臉檢測��


在CVPR 2015上提出了Cascade CNN人臉檢測方法，即通過級聯(lián)多個CNN逐步過濾非人臉樣��。之后提出的MTCNN對Cascade CNN改��(jìn)，將分類、邊框回歸、特征點三個任��(wù)合并，利用不同任��(wù)相關(guān)性實��(xiàn)多任��(wù)��(xué)��(xí)提升性能。Cascade CNN、MTCNN算法在豎直人臉檢測上可以實現(xiàn)出很好的效果，但在旋��(zhuǎn)不變?nèi)四槞z測上仍有提升空間。我們的PCN由CNN級聯(lián)組成，這點借鑒于Cascade CNN。PCN中的每一級CNN都是一個多任務(wù)��(wǎng)��(luò)，同時學(xué)��(xí)人臉非人臉判��、邊框回��、旋��(zhuǎn)角度校準(zhǔn)三個任��(wù)��


在測試階��，首先使用滑動窗口與圖像金字塔的方式��(chǎn)生候選窗口，然后送入��(wǎng)��(luò)開始檢測。每一級網(wǎng)��(luò)過濾掉部分非人臉窗口，根��(jù)邊框回歸��(jié)果調(diào)整候選框位��，然后根��(jù)��(yù)測出的旋��(zhuǎn)角度校準(zhǔn)窗口的角度，具體來講��
第一級網(wǎng)��(luò)��(yù)測旋��(zhuǎn)角度使用二分類的方式，只��(yù)測人臉朝上或者朝��，朝下的人臉會被翻轉(zhuǎn)，經(jīng)過第一級后人臉旋轉(zhuǎn)角度范圍��360度縮減為180����
第二級網(wǎng)��(luò)��(yù)測旋��(zhuǎn)角度使用三分類的方式，只��(yù)測人臉朝��、朝左或者朝右，朝左或右的人臉會被翻��(zhuǎn)為朝��，經(jīng)過第二級后人臉旋��(zhuǎn)角度范圍��180度縮減為90����
在第三級旋轉(zhuǎn)范圍已經(jīng)比較��，所以第三級��(wǎng)��(luò)直接回歸旋轉(zhuǎn)角度��
通過逐漸減少人臉的旋��(zhuǎn)變化，可以顯著降低人臉與非人臉分類的難度，��(jìn)而提升檢測精��。在第一級和第二級采用只��(yù)測粗糙朝向的方式，可以使得旋��(zhuǎn)角度��(yù)測的精度大大提高且速度更快��


在PCN��，存在兩個級��(lián)��(jié)��(gòu)。第一個是人臉與非人臉的級��(lián)分類，這點與Cascade CNN一��。先使用小的CNN過濾簡單��(fù)樣本，再用大的CNN判別難負(fù)樣本，這種方式可以極大地提升檢測速度��


第二個級��(lián)��(jié)��(gòu)是旋��(zhuǎn)角度的級��(lián)校準(zhǔn)。PCN的級��(lián)校準(zhǔn)屬于一種由粗到精的級聯(lián)回歸模式，與人臉特征點估計、人體姿��(tài)估計思想類似。人臉的旋轉(zhuǎn)角度等于三級��(wǎng)��(luò)��(yù)測結(jié)果之����


級聯(lián)校準(zhǔn)模式，將難度較大的旋��(zhuǎn)角度��(yù)測分解為多個任��(wù)，每一個任��(wù)都會比較簡單，這使得整個校��(zhǔn)的難度降低。在第一級和第二級只��(yù)測粗糙朝向有兩個原��，第一是粗糙朝向預(yù)測的精度更高，剛開始就直接回歸角度誤差會很大；第二是可以避免傾斜的圖像crop操作，可以大大提高速度��


在實��(xiàn)人臉窗口旋轉(zhuǎn)校準(zhǔn)操作時，即使只是對窗口做計算低廉的翻��(zhuǎn)操作，如果窗口數(shù)目很大時，速度仍然很慢。我們可以先將輸入圖像翻��(zhuǎn)三次，得到上下左右四個朝向的圖像。這樣將一個人臉旋��(zhuǎn)到某個角��，等價于去對��(yīng)角度的圖像上crop人臉。此策略可以將與窗口��(shù)量成正比的校��(zhǔn)操作時間縮減為常��(shù)時間，效率大大提����


為了驗證我們的算法的有效��，我們比較了常見的各種旋��(zhuǎn)不變?nèi)四槞z測算法��


FDDB是一個常用的人臉檢測評測��，但是主要包括豎直人��，我們將FDDB旋轉(zhuǎn)到上下左右四個方向來評測旋轉(zhuǎn)不變?nèi)四槞z測算��?？梢钥闯鑫覀兊乃惴ň扰cFaster RCNN（VGG16）和SSD500（VGG16）精度相��(dāng)，在誤檢測較少時候PCN會更好一��。與Cascade CNN等其他方法相��，PCN的精度有明顯提升��


我們從WIDER FACE中挑選了一部分旋轉(zhuǎn)人臉的圖像��(jìn)行算法評測。這個數(shù)��(jù)集上的測試結(jié)果��(jìn)一步證明了PCN的有效����


下面��(jié)合速度、精��、模型大小��(jìn)行綜合的分析。PCN是一個可以在CPU上也實時運行的算��，模型大小和速度都遠(yuǎn)��(yōu)于Faster RCNN、SSD、R-FCN算法。同時可以看��，PCN相比Cascade CNN，速度幾乎一��，但精度有明顯提��，這得益于我們快速準(zhǔn)確的漸��(jìn)校準(zhǔn)策略��


這是PCN算法的一些檢測結(jié)��，可以看出PCN算法可以精準(zhǔn)的檢測任意平面內(nèi)旋轉(zhuǎn)角度的人臉，且對膚色、光照、視角魯����


總結(jié)一��，PCN是一個快��、魯��、準(zhǔn)確的旋轉(zhuǎn)不變?nèi)四槞z測算��，在實際中有良好的應(yīng)用前����