from:?http://geek.csdn.net/news/detail/126153

本文來源微信公眾號：深度學習大講堂，已授權發布。?
作者：劉峰，四川大學計算機學院生物特征識別實驗室博士三年級學生，導師游志勝教授、趙啟軍博士。研究方向為機器學習與模式識別（三維人臉建模與識別、二維人臉特征點檢測等）。?
原文：【ECCV2016論文速讀】回歸框架下的人臉對齊和三維重建?
歡迎技術投稿、約稿、給文章糾錯，請發送郵件至heyc@csdn.net

輸入二維頭像

三維重構結果

三維人臉重建的目標是根據某個人的一張或者多張二維人臉圖像重建出其三維人臉模型（此處的三維人臉模型一般僅指形狀模型，定義為三維點云）。今天我們只討論由單張二維圖像重建三維人臉的問題。這個問題本身其實是個病態（ill-posed）問題，因為在將人臉從三維空間投影到二維平面上形成我們看到的二維人臉圖像的過程中，人臉的絕對尺寸（如鼻子高度）、以及由于自遮擋而不可見的部分等很多信息已經丟失。在不掌握相機和拍攝環境的相關參數的情況下，這個問題其實是沒有確定解的。

為了解決這一病態問題，一個直接思路是借助機器視覺中的Shape-from-Shading（SFS）方法。但是該方法依賴于光照條件和光照模型的先驗知識，而未考慮人臉結構的特殊性，在任意拍攝的人臉圖像上效果一般。后來，Kemelmacher-Shizerman和Basri [1] 引入了平均三維人臉模型作為約束條件對傳統的SFS方法進行了改進，取得了不錯的效果。然而，重建結果往往都接近平均模型，缺少個性化特征。另一個常用思路是建立三維人臉的統計模型，再將該模型擬合到輸入的二維人臉圖像上，利用擬合參數實現三維人臉的重建。這類方法基本都是基于Blanz和Vetter提出的三維形變模型（3D Morphable Model，簡稱3DMM） [2]。由于3DMM采用主成分分析（PCA）方法構建統計模型，而PCA本質上是一種低通濾波，所以這類方法在恢復人臉的細節特征方面效果仍然不理想。此外，上述兩類方法在重建過程中對每幅圖像都需要求解優化問題，因而實時性較差。

受到近年來回歸方法在人臉對齊中的成功應用的啟發，我們最早試圖建立二維人臉圖像上的面部特征點（包括眼角、鼻尖、嘴角等）與人臉三維模型之間的回歸關系。這一思路的基本出發點是面部特征點是反映人臉三維結構的最直觀依據。我們嘗試根據二維特征點的偏差直接預測三維人臉形狀的調整量。這就好比我們知道二維特征點是由三維人臉形狀投影得到的，如果我們發現二維特征點存在偏差，那么根據這一線索我們就應該能夠計算出三維人臉形狀應該做怎樣的調整。而這個計算過程可以用事先訓練好的二維特征點偏差與三維形狀調整量之間的回歸函數來實現。基于這樣的思路，我們成功地設計實現了在給定輸入二維人臉圖像上的特征點的條件下實時重建其三維模型的新方法。相關結果發布在Arxiv [3]。

沿著上述思路，基于2D人臉特征點和3D人臉形狀之間很強的相關性，我們進一步嘗試將二維人臉圖像特征點檢測（即人臉對齊）與三維人臉重建過程耦合起來，在回歸的框架下同時實現這兩個任務。這就是我們今天要介紹的發表在ECCV2016上的工作 [4] （以下稱ECCV2016方法）。扯了這么多（希望不是那么遠^_^），下面正式進入正題。

另一方面，2D特征點攜帶有豐富的幾何信息，這也是3D重建方法的基礎。

現有的2D特征點檢測方法大部分是基于2D人臉形狀建模的，主要存在以下幾個問題：i）很難去刻畫3D平面外旋轉的人臉特征點；ii）在人臉姿態不是很大的情況下，通過變化人臉輪廓特征點語義位置來解決自遮擋的情況，這樣會導致不同姿態下檢測的特征點語義信息不一致 [5]（如上圖，人臉圖像中藍色點所示）；iii）在更大姿態下，尤其是yaw方向超過60度以后，人臉區域存在近一半自遮擋，遮擋區域的紋理特征信息完全缺失，導致特征點檢測失敗。

現有的利用2D特征點來恢復3D人臉形狀的方法也存在以下幾個問題：i）需要第三方2D特征點檢測算法或者手動得到2D特征點；ii）不同姿態下檢測的特征點語義信息不一致，難以確定3D點云中與其對應的點 [6]；iii）只生成與輸入人臉圖像同樣姿態和表情的3D人臉，而這樣的3D人臉，相對于姿態和表情歸一化的3D人臉而言，顯然并不有利于人臉識別。

ECCV2016方法的整體框架如下：

我們先給出利用訓練好的回歸模型檢測任意一張二維人臉圖像上的特征點，并重建其三維模型的過程。

值得指出的是：Step 5中，從3D人臉投影得到2D特征點對人臉形狀和姿態都有很強的約束。而Step 2中，特征點是通過紋理特征指導得到的，其中自遮擋區域由于紋理信息的缺失，回歸得到的特征點常常是不準確的。通過此步驟3D投影來修正能夠有效地提高特征點檢測的準確度。

在訓練過程中，為了得到上述回歸模型，需要提供成對的標定好特征點的二維人臉圖像及其對應的三維人臉數據

為了更好地處理任意姿態、任意表情的二維人臉圖像，訓練數據中需要包括盡量多不同姿態和不同表情的人臉，而對應的三維人臉則都是中性表情的、且已經稠密對齊的點云數據。下面我們重點介紹一下用于人臉對齊的2D特征點回歸的目標函數和用于三維人臉重建的3D形狀回歸的目標函數。

該目標函數建立當前2D特征點周圍的紋理特征與其距離真實位置的偏移量之間的回歸關系。我們訓練所用2D特征點是從3D形狀投影得到的，因而確保了語義上的一致性。同時為了處理大姿態人臉圖像，如果某個特征點被判定為不可見點，那這個點的SIFT特征向量置為0。

3D形狀回歸建立的是2D特征點修正量與3D形狀修正量之間的關系。所有訓練3D人臉都進行了稠密對齊，且2D特征點之間也作好了對齊，所以并不需要增加額外的平滑約束，同時也盡量保持了3D人臉的個性化差異。訓練數據中的3D形狀是姿態-表情歸一化（Pose and Expression Normalized，簡稱PEN）3D人臉，如此重建得到的PEN 3D人臉更適用于人臉識別。

在公開測試集上的實驗結果證明了在統一的回歸框架下同時解決人臉對齊和三維重建的有效性。ECCV2016論文中還進一步證明了重構出來的姿態與表情歸一化的三維人臉在提升人臉識別準確率方面的有效性。最后，我們展示利用ECCV2016方法得到的人臉對齊和三維重建的幾個典型結果。

參考文獻?
[1] Kemelmacher-Shlizerman, I., Basri, R.: 3D face reconstruction from a single image using a single reference face shape. TPAMI (2011).?
[2] Blanz, V., Vetter, T.: A morphable model for the synthesis of 3D faces. In: SIGGRAPH (1999).?
[3] Liu, F., Zeng, D., Li, J., Zhao, Q.: Cascaded regressor based 3D face reconstruction from a single arbitrary view image. arXiv preprint arXiv:1509.06161 (2015 Version)?
[4] Liu F, Zeng D, Zhao Q, Liu X.: Joint face alignment and 3D face reconstruction. In: ECCV (2016).?
[5] Jourabloo, A., Liu, X.: Pose-invariant 3D face alignment. In: ICCV (2015)?
[6] Qu C, Monari E, Schuchert T. Fast, robust and automatic 3D face model reconstruction from videos. In: AVSS, 113-118 (2014)?
[7] Xiong X, De la Torre F. Supervised descent method and its applications to face alignment. In: CVPR. 532-539 (2013)

總結

以上是生活随笔為你收集整理的回归框架下的人脸对齐和三维重建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。