微軟研究員在ImageNet計(jì)算機(jī)視覺識別挑戰(zhàn)中實(shí)現(xiàn)里程碑式突破

微軟亞洲研究院 2015年2月11日

?

本文翻譯自：Microsoft Researchers' Algorithm Sets ImageNet Challenge Milestone

一直以來，計(jì)算科學(xué)家一直在為建立世界上最精確的計(jì)算機(jī)視覺系統(tǒng)孜孜不倦地努力著，但取得進(jìn)展的過程卻一直如馬拉松競賽般漫長而艱辛。近期，微軟亞洲研究院視覺計(jì)算組實(shí)現(xiàn)的突破讓他們成為了這場競賽的最新領(lǐng)跑者。該團(tuán)隊(duì)所開發(fā)的基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計(jì)算機(jī)視覺系統(tǒng)，在ImageNet 1000挑戰(zhàn)中首次超越了人類進(jìn)行對象識別分類的能力。

微軟研究團(tuán)隊(duì)在題為“Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification”的論文中指出，他們的系統(tǒng)在ImageNet 2012分類數(shù)據(jù)集中的錯誤率已降低至4.94%。此前同樣的實(shí)驗(yàn)中，人眼辨識的錯誤率大概為5.1%。這個數(shù)據(jù)集包含約120萬張訓(xùn)練圖像、5萬張驗(yàn)證圖像和10萬張測試圖像，分為1000個不同的類別。微軟研究員表示：“據(jù)我們所知，我們的研究成果是這項(xiàng)視覺識別挑戰(zhàn)中第一個超越人類視覺能力的計(jì)算機(jī)系統(tǒng)。”

該研究團(tuán)隊(duì)由微軟亞洲研究院研究員孫劍、何愷明以及來自西安交通大學(xué)和中國科學(xué)技術(shù)大學(xué)的實(shí)習(xí)生張祥雨和任少卿組成。

孫劍已在微軟亞洲研究院工作了十二年，現(xiàn)任視覺計(jì)算組首席研究員。此前，他在西安交通大學(xué)獲得了電氣工程專業(yè)學(xué)士、碩士及博士學(xué)位。2001年，孫劍曾是沈向洋博士的學(xué)生。沈向洋目前擔(dān)任微軟全球執(zhí)行副總裁，主管技術(shù)與研究，并且是微軟亞洲研究院創(chuàng)始成員之一。這位因在計(jì)算機(jī)視覺及圖像學(xué)領(lǐng)域建樹卓著而當(dāng)選IEEE Fellow（電氣電子工程師學(xué)會院士）及ACM Fellow（美國計(jì)算機(jī)協(xié)會院士）的計(jì)算機(jī)科學(xué)家，對他昔日弟子所取得的成就感到非常自豪。

“孫劍和我在2001年和西安交通大學(xué)鄭南寧教授一起做的第一個項(xiàng)目是利用置信傳播(belief propagation)進(jìn)行立體重建。孫劍第一個將貝葉斯置信傳播用來解決立體視覺問題并取得了當(dāng)時最好的效果。” 沈向洋對孫劍在微軟所取得的成就倍感驕傲。“孫劍的很多研究成果都成功應(yīng)用到了微軟的核心產(chǎn)品中。而他在更深層神經(jīng)網(wǎng)絡(luò)方面最新研究成果的潛力讓我尤為興奮和期待。”

孫劍將團(tuán)隊(duì)取得的最新成果歸功于以下兩項(xiàng)關(guān)鍵突破：一是開發(fā)了適應(yīng)性更強(qiáng)的非線性神經(jīng)元，二是改進(jìn)訓(xùn)練算法，使得神經(jīng)網(wǎng)絡(luò)更為強(qiáng)大。

微軟研究員在論文中指出，修正神經(jīng)元 (rectifier neuron)是近期將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)視覺挑戰(zhàn)時取得成功的關(guān)鍵要素之一。

研究人員表示：“在本論文中，我們從兩個方面對主要由修正神經(jīng)元驅(qū)動的神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究。首先，我們生成了一種新的修正線性單元（ReLU），并將其稱為參數(shù)化修正線性單元（PReLU）。該激活函數(shù)不僅可自適應(yīng)獲取修正參數(shù)，還可提高計(jì)算精度，且所需額外計(jì)算成本幾乎可以忽略不計(jì)。其次，我們研究了深度修正模型的訓(xùn)練難度。我們通過對修正線性單元（即ReLU/PReLU）的非線性特征進(jìn)行直接建模，推導(dǎo)出一種符合理論的初始化方法，并直接從頭開始訓(xùn)練網(wǎng)絡(luò)，將其應(yīng)用于深度模型（例如，具有30個帶權(quán)層的模型）的收斂過程。這為我們探索功能更強(qiáng)大的網(wǎng)絡(luò)體系結(jié)構(gòu)提供了更多的靈活性。”

該研究團(tuán)隊(duì)雖然對其算法超越人類視覺識別極限感到興奮不已，但與該領(lǐng)域的其他研究人員一樣，研究團(tuán)隊(duì)成員也強(qiáng)調(diào)，計(jì)算機(jī)視覺目前從根本上仍無法與人類視覺相比。計(jì)算機(jī)系統(tǒng)在識別物體、理解圖像上下文及場景高級信息等領(lǐng)域仍面臨諸多挑戰(zhàn)。

?“雖然我們的算法基于該特定的數(shù)據(jù)集得出了極為理想的結(jié)果，但這并不表明在對象識別領(lǐng)域機(jī)器視覺普遍優(yōu)于人類視覺。某些對于人類來說輕而易舉的基本對象類別的識別，機(jī)器識別仍然存在明顯錯誤。盡管如此，我們的研究結(jié)果表明機(jī)器算法在眾多視覺識別任務(wù)上具有巨大的發(fā)展?jié)摿Α！?/p>

?“人類可以毫不費(fèi)力地區(qū)分出一只羊和一頭牛。但計(jì)算機(jī)在執(zhí)行這些簡單任務(wù)時卻不盡完美，”孫劍解釋道。“但是，當(dāng)涉及到不同品種的羊的區(qū)分時，計(jì)算機(jī)可超越人類。通過訓(xùn)練，計(jì)算機(jī)可觀察圖像的細(xì)節(jié)、紋理、形狀及環(huán)境，并發(fā)現(xiàn)人類無法察覺出的區(qū)別。”

微軟研究團(tuán)隊(duì)的工作并不僅僅局限于基礎(chǔ)研究，其多項(xiàng)成果已被應(yīng)用到微軟的產(chǎn)品和服務(wù)中，包括必應(yīng)圖片搜索及微軟云存儲解決方案OneDrive。在近期的一篇博文中，微軟OneDrive項(xiàng)目經(jīng)理Douglas Pearce介紹了 OneDrive自動識別照片內(nèi)容的功能。

“OneDrive會自動為用戶上傳的照片創(chuàng)建標(biāo)簽，比如人、狗、沙灘、落日等等，使用戶借助標(biāo)簽?zāi)軌蚋p松地尋找到自己的圖片。有了這項(xiàng)功能，我們向演示項(xiàng)目中添加照片、與家人重溫特殊回憶，或與Facebook好友分享重要時刻就變得輕而易舉。”Pearce如是說。

想要了解此項(xiàng)技術(shù)背后原理的讀者可閱讀微軟研究院去年發(fā)布的專題文章。該文章介紹了來自同一研究團(tuán)隊(duì)的研究成果，他們在保持準(zhǔn)確性不變的條件下將深度學(xué)習(xí)目標(biāo)檢測系統(tǒng)加速了多達(dá)100倍。該團(tuán)隊(duì)的科研進(jìn)展記錄于題為“Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition”研究論文中。

?“微軟亞洲研究院視覺計(jì)算研究組一直致力于推動計(jì)算機(jī)視覺研究的前沿發(fā)展，終極目標(biāo)是使計(jì)算機(jī)能夠模擬出人類的感知能力。我對研究組多年來所取得的成就深感自豪，他們不僅以高質(zhì)量的論文取得了學(xué)術(shù)界的認(rèn)可，而且通過將這些技術(shù)轉(zhuǎn)化到了微軟的多個核心產(chǎn)品中。”微軟亞太研發(fā)集團(tuán)主席兼微軟亞洲研究院院長洪小文博士說道。

2010年，來自斯坦福大學(xué)、普林斯頓大學(xué)及哥倫比亞大學(xué)的科學(xué)家們啟動大規(guī)模視覺識別挑戰(zhàn)賽（Large Scale Visual Recognition Challenge），推動了計(jì)算機(jī)視覺識別挑戰(zhàn)的持續(xù)發(fā)展。科技行業(yè)知名記者John Markoff于2014年8月在《紐約時報》上刊登文章指出，2014年計(jì)算機(jī)識別挑戰(zhàn)的目標(biāo)識別準(zhǔn)確率幾乎提升了一倍，圖像分類錯誤率也減少了一半。最近，百度的研究人員在其論文中宣稱，以ImageNet對象分類為基準(zhǔn)，百度的計(jì)算機(jī)視覺系統(tǒng)實(shí)現(xiàn)了前五選5.33%的錯誤率。

關(guān)于計(jì)算機(jī)視覺的挑戰(zhàn)仍在繼續(xù)，今年的挑戰(zhàn)賽將于12月啟動。但這并不是孫劍、何愷明及其研究團(tuán)隊(duì)的關(guān)注重點(diǎn)。“我們的目標(biāo)是在眾多應(yīng)用上開發(fā)出能與人類視覺媲美，甚至比人類更準(zhǔn)確的計(jì)算機(jī)視覺系統(tǒng)，”孫劍說道。“如要實(shí)現(xiàn)這一目標(biāo)，我們需要更多的訓(xùn)練數(shù)據(jù)和更加真實(shí)的測試場景。我們在必應(yīng)、OneDrive和其他服務(wù)平臺上的工作將幫助我們進(jìn)一步改善算法的魯棒性。”

總結(jié)

以上是生活随笔為你收集整理的微软研究员在ImageNet计算机视觉识别挑战中实现里程碑式突破的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。