from:?http://blog.csdn.net/GarfieldEr007/article/details/50866089

pedestrian-detection-resource-1-summary-review-survey-1

? ? ? ? 行人檢測具有極其廣泛的應用：智能輔助駕駛，智能監控，行人分析以及智能機器人等領域。從2005年以來行人檢測進入了一個快速的發展階段，但是也存在很多問題還有待解決，主要還是在性能和速度方面還不能達到一個權衡。近年，以谷歌為首的自動駕駛技術的研發正如火如荼的進行，這也迫切需要能對行人進行快速有效的檢測，以保證自動駕駛期間對行人的安全不會產生威脅。

1? ?行人檢測的現狀

? ? ? ? 大概可以分為兩類

1.1??? 基于背景建模

? ? ? ? 利用背景建模方法，提取出前景運動的目標，在目標區域內進行特征提取，然后利用分類器進行分類，判斷是否包含行人；背景建模目前主要存在的問題：

? ? ? ? 1）必須適應環境的變化（比如光照的變化造成圖像色度的變化）；

? ? ? ? 2）相機抖動引起畫面的抖動(比如手持相機拍照時候的移動)；

? ? ? ? 3）圖像中密集出現的物體（比如樹葉或樹干等密集出現的物體，要正確的檢測出來）；

? ? ? ? 4）必須能夠正確的檢測出背景物體的改變（比如新停下的車必須及時的歸為背景物體，而有靜止開始移動的物體也需要及時的檢測出來）。

? ? ? ? 5）物體檢測中往往會出現Ghost區域，Ghost區域也就是指當一個原本靜止的物體開始運動，背靜差檢測算法可能會將原來該物體所覆蓋的區域錯誤的檢測為運動的，這塊區域就成為Ghost，當然原來運動的物體變為靜止的也會引入Ghost區域，Ghost區域在檢測中必須被盡快的消除。

1.2??? 基于統計學習的方法

? ? ? ? 這也是目前行人檢測最常用的方法，根據大量的樣本構建行人檢測分類器。提取的特征主要有目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經網絡、SVM、adaboost以及現在被計算機視覺視為寵兒的深度學習。

? ? ? ? 統計學習目前存在的難點：

? ? ? ? 1）行人的姿態、服飾各不相同、復雜的背景、不同的行人尺度以及不同的光照環境。

? ? ? ? 2）提取的特征在特征空間中的分布不夠緊湊；

? ? ? ? 3）分類器的性能受訓練樣本的影響較大；

? ? ? ? 4）離線訓練時的負樣本無法涵蓋所有真實應用場景的情況；

?? ? ? ? 目前的行人檢測基本上都是基于法國研究人員Dalal在2005的CVPR發表的HOG+SVM的行人檢測算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。HOG+SVM作為經典算法也集成到opencv里面去了，可以直接調用實現行人檢測

? ? ? ? 為了解決速度問題可以采用背景差分法的統計學習行人檢測，前提是背景建模的方法足夠有效（即效果好速度快），目前獲得比較好的檢測效果的方法通常采用多特征融合的方法以及級聯分類器。（常用的特征有Harry-like、Hog特征、LBP特征、Edgelet特征、CSS特征、COV特征、積分通道特征以及CENTRIST特征）。

2? ??綜述類的文章

2.1??? 行人檢測十年回顧

? ? ? ? Ten Years of Pedestrian Detection, What Have We Learned?

? ? ? ? 一篇2014年ECCV的文章，是對pedestrian detectiond過去十年發展的回顧，從dataset，main approaches的角度分析了近10年的40多篇論文提出的方法，并對提高feature復雜度的影響進行了評估

? ? ? ? 下載：http://rodrigob.github.io/documents/2014_eccvw_ten_years_of_pedestrian_detection_with_supplementary_material.pdf

? ? ? ? 學習筆記：http://blog.csdn.net/mduke/article/details/46582443

2.2??? P.Dollar ?PAMI 2012上的綜述

? ? ? ? P.Dollar,?C.?Wojek,B.?Schiele,?et?al.?Pedestrian?detection:?an?evaluation?of?the?state?of?the?art?[J]. IEEE?Transactions?on?Pattern Analysis?and Machine?Intelligence,?2012,?34(4):?743-761.

? ? ? ? 2012年PAMI上發表的一篇關于行人檢測的綜述性文章，PDF格式，共20頁，對常見的16種行人檢測算法進行了簡單描述，并在6個公開測試庫上進行測試，給出了各種方法的優缺點及適用情況。另外，指出了未來行人檢測的發展方向和趨勢。

? ? ? ? 下載：http://vision.ucsd.edu/~pdollar/files/papers/DollarPAMI12peds.pdf

2.3??? CVPR2010 HOF和CSS

? ? ? ??https://www.d2.mpi-inf.mpg.de/CVPR10Pedestrians

? ? ? ? New Features and Insights for Pedestrian Detection

? ? ? ? 文中使用改進的HOG，即HOF和CSS（color self similarity）特征，使用HIK SVM分類器。 本文的作者是德國人：Stefen Walk。目前Stefan Walk在蘇黎世聯邦理工大學任教。

2.4??? Integral Channel Features

? ? ? ? 加州理工學院2009年行人檢測的文章：Integral Channel Features（積分通道特征）

? ? ? ? 這篇文章與2012年PAMI綜述文章是同一作者。作者：Piotr Dollar

? ? ? ? Paper下載：http://pages.ucsd.edu/~ztu/publication/dollarBMVC09ChnFtrs_0.pdf

? ? ? ? 中文筆記：http://blog.csdn.net/carson2005/article/details/8455837

2.5??? The Fastest Pedestrian Detector in the West

? ? ? ? Dollar 在 2010 年 BMVC 的 《The fastest pedestrian detector in the west》 一文中提出了一種新的思想，這種思想只需要訓練一個標準 model,檢測 N/K（K ≈10） 然后其余的 N-N/K 種大小的圖片的特征不需要再進行這種復雜的計算，而是跟據這 N/K 次的結果， 由另外一種簡單的算法給估計出來，這種思想實現的 基礎是大小相近的圖像的特征可以被足夠精確的估計出來

? ? ? ? 下載：http://vision.ucsd.edu/sites/default/files/FPDW_0.pdf

2.6??? DPM算法做目標檢測

? ? ? ? CVPR2008：A Discriminatively Trained, Multiscale, Deformable Part Model

? ? ? ? PAMI2010：Object Detection with Discriminatively Trained Part Based Models

? ? ? ? CVPR2010：Cascade Object Detection with Deformable Part Models

? ? ? ? 以上三篇文章，都是作者研究DPM算法做目標檢測的文章，有源代碼可以下載。

? ? ? ? 作者的個人主頁：http://cs.brown.edu/~pff/papers/

2.7??? 利用DPM模型，檢測粘連

? ? ? ? Detection and Tracking of Occluded People

? ? ? ? IJCV2014年的文章，利用DPM模型，檢測粘連情況很嚴重的行人，效果很好。

? ? ? ? 下載：http://www.bmva.org/bmvc/2012/BMVC/paper009/

2.8??? UDN算法

? ? ? ? ICCV2013：

? ? ? ? 1）Joint Deep Learning for Pedestrian Detection

? ? ? ? 2）Multi-Stage Contextual Deep Learning for Pedestrian Detection

? ? ? ? 簡 稱UDN算法，從文中描述的檢測效果來看，該方法是所有方法中最好的，并且，效果遠超過其他方法。經過對論文和該算法源碼的研究，該算法是與作者另外一篇 論文的方法 ，另外的論文算法做圖片掃描，得到矩形框，然后用該方法對矩形框進行進一步確認，以及降低誤警率和漏警率。另外的論文是：Multi-Stage Contextual Deep Learning for Pedestrian Detection。

? ? ? ? 這篇文章是用深度學習的CNN做candidate window的確認。而主要的行人檢測的算法還是HOG+CSS+adaboost。

? ? ? ? 香港中文大學，Joint Deep Learning for Pedestrian Detection，行人檢測論文的相關資源：http://www.ee.cuhk.edu.hk/~wlouyang/projects/ouyangWiccv13Joint/index.html

2.9??? Monocular?pedestrian?detection

? ? ? ? ?Enzweiler,?and?D.Gavrila.?Monocular?pedestrian?detection:?survey?and?experiments?[J]. IEEE?Transactions?on?Pattern?Analysis?and Machine?Intelligence, 2009, ?31(12):?2179-2195.

? ? ? ? 下載：http://www.gavrila.net/pami09.pdf

2.10?????? Survey?of?pedestrian?detection?for?advanced?driver assistance?systems

? ? ? ? Geronimo,?A.?M.Lopez?and?A.?D.?Sappa,?et?al.?Survey?of?pedestrian?detection?for?advanced?driver assistance?systems?[J]. ?IEEE?Transactionson?Pattern?Analysis?and?Machine?Intelligence, ?2010,?32(7):?1239-1258.

? ? ? ? ?百度文庫下載：http://wenku.baidu.com/link?url=xLDWZTdLXT1_fiZoUzNFiyQtZTwnyL-lZHhTSI0B87vkIE6UEDrKz6iz8zpKmmPvZq7ktlX6WRxyVxcjk8B-ymgl53QBfzBEKgYPZmsi1l_

2.11?????? Vision-based Pedestrian Protection Systems for Intelligent Vehicles

? ? ? ? Geronimo, and A. M.Lopez. Vision-based Pedestrian Protection Systems for Intelligent Vehicles, BOOK, 2014.

? ? ? ? 下載：http://bookzz.org/book/2167094/e21639

2.12?????? 行人檢測技術綜述

? ? ? ? 蘇松志,?李紹滋,?陳淑媛等.?行人檢測技術綜述[J].?電子學報,?2012,?40(4):?814-820.

? ? ? ? 下載：行人檢測技術綜述

2.13?????? 車輛輔助駕駛系統中基于計算機視覺的行人檢測研究綜述

? ? ? ? 賈慧星,?章毓晉.車輛輔助駕駛系統中基于計算機視覺的行人檢測研究綜述[J],?自動化學報,?2007,?33(1):?84-90.

? ? ? ? 下載：車輛輔助駕駛系統中基于計算機視覺的行人檢測研究綜述

2.14?????? 行人檢測系統研究新進展及關鍵技術展望

? ? ? ? 許言午, 曹先彬,喬紅. 行人檢測系統研究新進展及關鍵技術展望[J], 電子學報, 2008, 36(5): 368-376.

? ? ? ? 下載：行人檢測系統研究新進展及關鍵技術展望

2.15?????? 基于視覺的人的運動識別綜述

?? ? ? ? 杜友田; 陳峰;徐文立; 李永彬;基于視覺的人的運動識別綜述, 電子學報,? 2007. 35(1): 84-90.

? ? ? ? 下載：基于視覺的人的運動識別綜述

2.16?????? 基于機器學習的行人檢測關鍵技術研究

? ? ? ? 朱文佳.?基于機器學習的行人檢測關鍵技術研究[D].?第一章,?碩士學位論文,?上海交通大學.?2008.?指導教師:?戚飛虎.

?

參考：http://hi.baidu.com/susongzhi/item/085983081b006311eafe38e7

參考：http://blog.csdn.net/dpstill/article/details/22420065

? ? ? ? 這是行人檢測相關資源的第二部分：源碼和數據集。考慮到實際應用的實時性要求，源碼主要是C/C++的。源碼和數據集的網址，經過測試都可訪問，并注明了這些網址最后更新的日期，供學習和研究進行參考。（歡迎補充更多的資源）

1??????? Source?Code

1.1??? INRIA Object Detection and Localization Toolkit

http://pascal.inrialpes.fr/soft/olt/

Dalal于2005年提出了基于HOG特征的行人檢測方法，行人檢測領域中的經典文章之一。HOG特征目前也被用在其他的目標檢測與識別、圖像檢索和跟蹤等領域中。

更新：2008

1.2??? Real-time?Pedestrian?Detection.

http://cs.nju.edu.cn/wujx/projects/C4/C4.htm

Jianxin?Wu實現的快速行人檢測方法。

Real-Time Human Detection Using Contour Cues：

http://c2inet.sce.ntu.edu.sg/Jianxin/paper/ICRA_final.pdf

更新：2012

1.3??? 霍夫變換實現的多目標檢測

http://graphics.cs.msu.ru/en/science/research/machinelearning/hough

Olga?Barinova,?CVPR?2010?Paper:?On?detection?of?multiple?object?instances?using?Hough?Transforms

源碼：C++

更新：2010

1.4??? HIKSVM

http://ttic.uchicago.edu/~smaji/projects/fiksvm/

Classification Using Intersection Kernel SVMs is efficient

HOG+LBP+HIKSVM,?行人檢測的經典方法.

源碼：C/C++

更新：2012

1.5??? GroundHOG

http://www.mmp.rwth-aachen.de/projects/groundhog

GPU-based?Object?Detection?with?Geometric?Constraints,?In:?ICVS,?2011.??CUDA版本的HOG+SVM,

源碼：C/C++

更新：2011

1.6??? doppia?code

https://bitbucket.org/rodrigob/doppia

這是一個代碼集合，包含如下：

Pedestrian?detection?at?100?frames?per?second,?R.?Benenson.??CVPR,?2012.?實時的

Stixels estimation without depth map computation

Fast stixels estimation for fast pedestrian detection

Seeking the strongest rigid detector

Ten years of pedestrian detection, what have we learned?

Face detection without bells and whistles

源碼：C/C++

更新：2015

1.7??? Multiple?camera?pedestrian?detection.

POM: Occupancy map estimation for people detection

http://cvlab.epfl.ch/software/pom/

Paper：Multi-Camera People Tracking with a Probabilistic Occupancy Map

源碼：？

更新：2014

1.8??? Pitor Dollar Detector.

Piotr’s Computer Vision Matlab Toolbox

http://vision.ucsd.edu/~pdollar/toolbox/doc/index.html

The toolbox is divided into 7 parts, arranged by directory:

channels Robust image features, including HOG, for fast object detection.

classify Fast clustering, random ferns, RBF functions, PCA, etc.

detector Aggregate Channel Features (ACF) object detection code.

filters Routines for filtering images.

images Routines for manipulating and displaying images.

matlab General Matlab functions that should have been a part of Matlab.

videos Routines for annotating and displaying videos.

源碼：matlab

更新：2014

2??????? DataSets

2.1??? MIT數據庫

http://cbcl.mit.edu/software-datasets/PedestrianData.html

介紹：該數據庫為較早公開的行人數據庫，共924張行人圖片（ppm格式，寬高為64×128），肩到腳的距離約80象素。該數據庫只含正面和背面兩個視角，無負樣本，未區分訓練集和測試集。Dalal等采用“HOG+SVM”，在該數據庫上的檢測準確率接近100%。

更新：2000

2.2??? INRIA Person Dataset

http://pascal.inrialpes.fr/data/human/

介紹：該數據庫是“HOG+SVM”的作者Dalal創建的，該數據庫是目前使用最多的靜態行人檢測數據庫，提供原始圖片及相應的標注文件。訓練集有正樣本614張（包含2416個行人），負樣本1218張；測試集有正樣本288張（包含1126個行人），負樣本453張。圖片中人體大部分為站立姿勢且高度大于100個象素，部分標注可能不正確。圖片主要來源于GRAZ-01、個人照片及google，因此圖片的清晰度較高。在XP操作系統下部分訓練或者測試圖片無法看清楚，但可用OpenCV正常讀取和顯示。

更新：2005

2.3??? Daimler行人數據庫

http://www.gavrila.net/Research/Pedestrian_Detection/Daimler_Pedestrian_Benchmark_D/

該數據庫采用車載攝像機獲取，分為檢測和分類兩個數據集。檢測數據集的訓練樣本集有正樣本大小為18×36和48×96的圖片各15560（3915×4）張，行人的最小高度為72個象素；負樣本6744張（大小為640×480或360×288）。測試集為一段27分鐘左右的視頻（分辨率為640×480），共21790張圖片，包含56492個行人。分類數據庫有三個訓練集和兩個測試集，每個數據集有4800張行人圖片，5000張非行人圖片，大小均為18×36，另外還有3個輔助的非行人圖片集，各1200張圖片。

更新：2009？

2.4??? Caltech Pedestrian Detection

http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

該數據庫是目前規模較大的行人數據庫，采用車載攝像頭拍攝，約10個小時左右，視頻的分辨率為640×480，30幀/秒。標注了約250,000幀（約137分鐘），350000個矩形框，2300個行人，另外還對矩形框之間的時間對應關系及其遮擋的情況進行標注。數據集分為set00~set10，其中set00~set05為訓練集，set06~set10為測試集（標注信息尚未公開）。性能評估方法有以下三種：（1）用外部數據進行訓練，在set06~set10進行測試；（2）6-fold交叉驗證，選擇其中的5個做訓練，另外一個做測試，調整參數，最后給出訓練集上的性能；（3）用set00~set05訓練，set06~set10做測試。由于測試集的標注信息沒有公開，需要提交給Pitor?Dollar。結果提交方法為每30幀做一個測試，將結果保存在txt文檔中（文件的命名方式為I00029.txt?I00059.txt?……），每個txt文件中的每行表示檢測到一個行人，格式為“[left,?top,width,?height,?score]”。如果沒有檢測到任何行人，則txt文檔為空。該數據庫還提供了相應的Matlab工具包，包括視頻標注信息的讀取、畫ROC（Receiver?Operatingcharacteristic?Curve）曲線圖和非極大值抑制等工具。

更新：2014

2.5??? TUD行人數據庫

https://www.mpi-inf.mpg.de/departments/multi-cue-onboard-pedestrian-detection/

介紹：TUD行人數據庫為評估運動信息在行人檢測中的作用，提供圖像對以便計算光流信息。訓練集的正樣本為1092對圖像（圖片大小為720×576，包含1776個行人）；負樣本為192對非行人圖像（手持攝像機85對，車載攝像機107對）；另外還提供26對車載攝像機拍攝的圖像（包含183個行人）作為附加訓練集。測試集有508對圖像（圖像對的時間間隔為1秒，分辨率為640×480），共有1326個行人。Andriluka等也構建了一個數據庫用于驗證他們提出的檢測與跟蹤相結合的行人檢測技術。該數據集的訓練集提供了行人的矩形框信息、分割掩膜及其各部位（腳、小腿、大腿、軀干和頭部）的大小和位置信息。測試集為250張圖片（包含311個完全可見的行人）用于測試檢測器的性能，2個視頻序列（TUD-Campus和TUD-Crossing）用于評估跟蹤器的性能。

更新：2010

2.6??? NICTA行人數據庫

http://www.nicta.com.au/category/research/computer-vision/tools/automap-datasets/

該數據庫是目前規模較大的靜態圖像行人數據庫，25551張含單人的圖片，5207張高分辨率非行人圖片，數據庫中已分好訓練集和測試集，方便不同分類器的比較。Overett等用“RealBoost+Haar”評估訓練樣本的平移、旋轉和寬高比等各種因素對分類性能的影響：（1）行人高度至少要大于40個象素；（2）在低分辨率下，對于Haar特征來說，增加樣本寬度的性能好于增加樣本高度的性能；（3）訓練圖片的大小要大于行人的實際大小，即背景信息有助于提高性能；（4）對訓練樣本進行平移提高檢測性能，旋轉對性能的提高影響不大。以上的結論對于構建行人數據庫具有很好的指導意義。

更新：2008

2.7??? ETHZ行人數據庫

Robust Multi-Person Tracking from Mobile Platforms

https://data.vision.ee.ethz.ch/cvl/aess/dataset/

Ess等構建了基于雙目視覺的行人數據庫用于多人的行人檢測與跟蹤研究。該數據庫采用一對車載的AVT?Marlins?F033C攝像頭進行拍攝，分辨率為640×480，幀率13-14fps，給出標定信息和行人標注信息，深度信息采用置信度傳播方法獲取。

更新：2010

2.8??? CVC行人數據庫

http://www.cvc.uab.es/adas/site/?q=node/7

該數據庫目前包含三個數據集（CVC-01、CVC-02和CVC-Virtual），主要用于車輛輔助駕駛中的行人檢測研究。CVC-01[Geronimo,2007]有1000個行人樣本，6175個非行人樣本（來自于圖片中公路區域中的非行人圖片，不像有的行人數據庫非行人樣本為天空、沙灘和樹木等自然圖像）。CVC-02包含三個子數據集（CVC-02-CG、CVC-02-Classification和CVC-02-System），分別針對行人檢測的三個不同任務：感興趣區域的產生、分類和系統性能評估。圖像的采集采用Bumblebee2立體彩色視覺系統，分辨率640×480，焦距6mm，對距離攝像頭0~50m的行人進行標注，最小的行人圖片為12×24。CVC-02-CG主要針對候選區域的產生，有100張彩色圖像，包含深度和3D點信息；CVC-02-Classification主要針對行人分類，訓練集有1016張正樣本，7650張負樣本，測試集分為基于切割窗口的分類（570張行人，7500張非行人）和整張圖片的檢測（250張包含行人的圖片，共587個行人）；CVC-02-System主要用于系統的性能評估，包含15個視頻序列（4364幀），7983個行人。CVC-Virtual是通過Half-Life?2圖像引擎產生的虛擬行人數據集，共包含1678虛擬行人，2048個非行人圖片用于測試。

更新：2015，目前已經更新到CVC-08了。

2.9??? USC行人數據庫

http://iris.usc.edu/Vision-Users/OldUsers/bowu/DatasetWebpage/dataset.html

該數據庫包含三組數據集（USC-A、USC-B和USC-C），以XML格式提供標注信息。USC-A[Wu,?2005]的圖片來自于網絡，共205張圖片，313個站立的行人，行人間不存在相互遮擋，拍攝角度為正面或者背面；USC-B的圖片主要來自于CAVIAR視頻庫，包括各種視角的行人，行人之間有的相互遮擋，共54張圖片，271個行人；USC-C有100張圖片來自網絡的圖片，232個行人（多角度），行人之間無相互遮擋。

更新：2007

3??????? 其他資料

1：Video：Pedestrian Detection: The State of the Art

http://research.microsoft.com/apps/video/default.aspx?id=135046&r=1

A video talk byPitor Dollar. Pitor Dollar做了很多關于行人檢測方法的研究，他們研究小組的Caltech Pedestrian Dataset也很出名。

2：Statistical and Structural Recognition of Human Actions. ECCV, 2010 Tutorial, by Ivan Laptev and Greg Mori. （注：要用爬墻軟件才能訪問到）

3：?Human Action Recognition in realistic scenarios, 一份很好的碩士生畢業論文開題資料。

?

參考：http://hi.baidu.com/susongzhi/item/085983081b006311eafe38e7

參考：http://blog.csdn.net/dpstill/article/details/22420065

聲明：

如果轉載了本文，也請注明轉載出處：http://www.cvrobot.net/pedestrian-detection-resource-2-code-and-dataset/

總結

以上是生活随笔為你收集整理的行人检测资源综述文献的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。