?作者?|?小舟、陳萍

來源?|?機器之心

人臉識別是計算機視覺（CV）領域中最熱門和悠久的研究課題之一。本篇綜述全面地回顧了端到端深度學習人臉識別系統的三個組成要素，包括人臉檢測、人臉對齊和人臉表征。從最新的算法設計，評估指標，數據集，方法性能比較，現有的挑戰和未來發展方向等方面展開介紹，同時討論了不同要素對后續環節和整體識別系統的影響。通過該綜述，作者期望讀者能夠認識到各個要素中值得進一步探索的方法，以及如何從頭開始選擇合適的方法來建立一套先進的端到端人臉識別系統。該綜述已被 ACM 旗艦期刊 Computing Surveys（IF 10.282）接收。

端到端深度人臉識別系統由三個關鍵要素構成：人臉檢測（face detection）、人臉對齊（face alignment）和人臉表征（face representation）。其中，人臉檢測的作用是定位靜止圖像或視頻幀中的人臉位置。然后，人臉對齊將人臉校準到一個規范的視角，并將人臉圖像裁剪到一個標準化像素大小。最后，在人臉表征階段，從對齊后的圖像中提取具有鑒別性的特征用于識別。

在實際應用中，端到端人臉識別系統的性能表現同時取決于上述三種組成要素，任何一個環節出現短板，都會對端到端系統的識別性能造成不良影響，成為人臉識別系統的瓶頸。為了建立一套先進的端到端人臉識別系統，因此有必要理解每個要素對系統整體的影響，以及各個要素之間的內在聯系。

論文地址：https://arxiv.org/pdf/2009.13290.pdf

因此，來自上海大學、京東 AI 研究院和瑞爾森大學的研究者聯合撰寫的這篇綜述具有以下幾項主要貢獻：

• 系統地調研并回顧了端到端深度人臉識別三個組成要素的最近進展；

• 從多個方面介紹了這三個組成要素: 算法設計、評估指標、數據集和性能比較。并且指出了各個要素對其后續環節和整體系統的影響；

• 分析了每個要素及其子類別現有的挑戰和發展方向，并從整體系統的角度進一步討論了主要的挑戰和未來趨勢。??

下圖 1 為端到端人臉識別系統的流程展示：

下圖 2 介紹了各章節的主要內容，圖中左側部分主要是功能性的介紹，包括參考提供全面介紹和討論的功能內容。右側部分為技術性的內容，對三個要素分別進行了詳細的分析。??

人臉檢測

給定一幅輸入圖像，人臉檢測的目標是找到圖像中所有的人臉，并給出所有人臉的包圍框的坐標和置信度得分。為了讓讀者更好的認識和理解人臉檢測的發展，研究者從多個角度對人臉檢測方法進行了分類，包括多階段、單階段、anchor-based、anchor-free、多任務學習、CPU 實時、面向問題等方法，具體分類可以參考下表 1。

表 1：深度人臉檢測方法的類別

下圖 3 給出了具有代表性的人臉檢測方法的發展歷程。

圖 3：臉檢測方法的發展歷程

此外，研究者討論了人臉檢測方法對后續人臉對齊和表征環節的影響。不精確的檢測框會導致人臉關鍵點定位性能下降，使用更魯棒的人臉檢測器能夠進一步提升識別性能。相關實驗結果如下圖 4 所示。

圖 4：人臉檢測對后續要素的影響

人臉對齊

人臉對齊的目標是將檢測到的人臉校準到一個規范的標準化視圖，并裁剪為固定圖像尺寸的圖像，這是提高人臉識別性能的必要步驟。人臉對齊方法包括基于關鍵點對齊和不使用關鍵點的兩種技術方案。其中，基于關鍵點的對齊方法是目前最常用的方案，根據如何獲取關鍵點可分為坐標點回歸、熱力圖回歸以及 3D 模型擬合三種方法。不使用關鍵點的人臉對齊方法通過可學習的方式直接生成對齊后的人臉圖像，具體分類可以參考下表 2。

表 2：人臉對齊方法的類別

下圖 5 給出了人臉對齊方法的發展歷程。

圖 5：人臉對齊方法的發展歷程

同時，研究者進一步討論了五種不同的對齊方法對人臉識別性能的影響。下圖 6 中的實驗結果表明恰當的對齊策略能夠有利于提升人臉識別性能。

圖 6：合適的對齊策略有利于提升人臉識別性能

人臉表征

人臉表征利用深度卷積神經網絡模型從預處理后的人臉圖像中提取具有身份判別力的特征，這些特征用于計算匹配人臉之間的相似度。我們從網絡模型架構，訓練監督，以及具體的識別任務三個方面對人臉表征分別進行介紹，方法的具體分類可參考下表 3。

表 3：人臉表征學習方法的類別

下圖 7 是人臉表征訓練監督方法的發展歷程，包含了分類學習、特征嵌入、混合方法以及半監督學習四種方案。

圖 7：人臉表征訓練監督方法

下圖 8 是三種有監督人臉表示學習方法與公開數據集規模的發布趨勢，其中分類學習是目前主流研究和采用的方法。可以發現隨著訓練和測試的數據集規模不斷增加，對大規模數據集進行閉集分類訓練，可以近似模擬人臉識別的開集場景。這可能是近年來基于分類的訓練方法得到廣泛研究并占據主導地位的原因。?

圖 8：三種監督人臉表示學習方法與公開數據集規模的發布趨勢

討論和總結

最后，研究者分析了端到端人臉識別系統各個組成要素現有的問題和未來趨勢，同時還有三種要素共有的挑戰，以及面向整個識別系統的角度討論了現有挑戰和發展方向，如下表 4 所示。

表 4：端到端深度人臉識別系統的主要挑戰

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的ACM旗舰期刊最新综述：一览端到端人脸识别最新进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。