????????隨著人工智能時(shí)代的來臨，相應(yīng)的芯片產(chǎn)品和行業(yè)也產(chǎn)生了相應(yīng)的新方向。

????????在人工智能的各個(gè)分支中，機(jī)器視覺無疑是應(yīng)用最廣泛的方向，它支撐著諸如人臉檢測、工業(yè)異常檢測、手勢識(shí)別等諸多重要的應(yīng)用。顧名思義，機(jī)器視覺是使用機(jī)器學(xué)習(xí)/人工智能的方法來分析視覺信號(hào)，并且通過人工智能直接產(chǎn)生分析結(jié)果。因此，機(jī)器視覺天然就需要一個(gè)圖像傳感器來作為輸入信號(hào)，而隨著機(jī)器視覺和人工智能的逐漸發(fā)展，機(jī)器視覺與圖像傳感器芯片的結(jié)合成為“智能圖像傳感器”也是順應(yīng)了技術(shù)發(fā)展的脈絡(luò)。如果我們進(jìn)一步分析智能圖像傳感器，我們認(rèn)為又可以分為兩類。

第一類是圖像傳感器與人工智能計(jì)算相結(jié)合，即圖像傳感器模組除了可以輸出圖像之外，還可以直接輸出人工智能算法計(jì)算的結(jié)果。這樣的智能圖像傳感器我們可以稱之外“人工智能賦能的圖像傳感器”，它們往往能做到非常低功耗的人工智能分析，因此在物聯(lián)網(wǎng)和可穿戴式智能設(shè)備中有重要應(yīng)用。

另一類智能圖像傳感器則是為人工智能應(yīng)用專門設(shè)計(jì)的圖像傳感器，其輸出的內(nèi)容和方式往往與傳統(tǒng)的圖像傳感器有區(qū)別。這類智能圖像傳感器可以稱之為“為人工智能賦能的圖像傳感器”。這類圖像傳感器中的一種重要圖像傳感器是事件驅(qū)動(dòng)傳感器，它突破了傳統(tǒng)圖像傳感器固定幀率的特性，從而可以為一些重要的工業(yè)和智能車應(yīng)用提供支撐。

????????當(dāng)然，我們也可以預(yù)期會(huì)出現(xiàn)同時(shí)結(jié)合上述兩類特性的智能圖像傳感器，為各類人工智能應(yīng)用提供硬件支持。目前，Sony是在智能圖像傳感器領(lǐng)域布局最多的巨頭，同時(shí)我們也看到了一些初創(chuàng)公司在這個(gè)方向持續(xù)地探索新的技術(shù)和應(yīng)用。

一、人工智能賦能的圖像傳感器

????????如前所述，圖像傳感器為機(jī)器視覺這一最重要的機(jī)器視覺應(yīng)用提供輸入信號(hào)。在傳統(tǒng)的機(jī)器視覺芯片解決方案中，圖像傳感和人工智能算法的運(yùn)行在不同的硬件上完成，圖像傳感器提供圖像信號(hào)，而處理器或者AI加速芯片執(zhí)行人工智能算法。然而，這樣的做法在強(qiáng)調(diào)低功耗和能效比的移動(dòng)端或IoT智能設(shè)備中，將會(huì)造成能量的浪費(fèi)，并且難以處理一些需要常開（always-on）的應(yīng)用場景。

????????舉例來說，如果拿目前流行的手機(jī)端機(jī)器視覺解決方案來說，通常的做法是，手機(jī)SoC中的主處理器AP打開圖像傳感器，圖像傳感器將圖像信號(hào)發(fā)送給SoC，并且由SoC中的處理器，或GPU，或AI加速器來跑人工智能算法，并且輸出結(jié)果。在這個(gè)過程中，能效比有幾個(gè)瓶頸。首先是圖像傳感器必須把圖像傳送給SoC，這期間需要使用MIPI等接口，存在額外功耗開銷。其次，是SoC在整個(gè)過程必須處于喚醒狀態(tài)，還通常必須運(yùn)行整個(gè)操作系統(tǒng)，因此即使AI加速器能以很高的能效比運(yùn)行算法，但是整個(gè)過程中能量消耗最大的部分可能并不是人工智能算法，而是SoC處于喚醒狀態(tài)并且運(yùn)行整個(gè)操作系統(tǒng)帶來的額外功耗。這樣的功耗開銷在手機(jī)端只需要偶爾運(yùn)行機(jī)器學(xué)習(xí)的場景或許可行，但是在IoT和可穿戴設(shè)備中，尤其是需要執(zhí)行常開式機(jī)器視覺算法的場合，就成為了瓶頸。

????????人工智能賦能的圖像傳感器就可以解決這個(gè)問題。具體來說，這樣的智能圖像傳感器在圖像傳感器模組中集成了人工智能算法的運(yùn)行模塊，因此可以直接輸出機(jī)器視覺算法的結(jié)果，而這樣運(yùn)行機(jī)器視覺的方法也常被稱為“傳感器內(nèi)運(yùn)算（in-sensor computing）”。通過傳感器內(nèi)計(jì)算，機(jī)器視覺算法的運(yùn)行單位從SoC換到了圖像傳感器，因此在運(yùn)行機(jī)器視覺算法時(shí)，SoC無需處于喚醒狀態(tài)，也無需運(yùn)行操作系統(tǒng)，而是可以處于低功耗的待機(jī)狀態(tài)。另一方面，傳感器內(nèi)運(yùn)算由于整個(gè)系統(tǒng)比較簡單，并沒有運(yùn)行操作系統(tǒng)等額外開銷，并且有為機(jī)器視覺算法量身定做的加速器芯片模組，因此能效比可以做到很高。最后，在接口方面，通常可以實(shí)現(xiàn)由智能圖像傳感器在檢測到重要輸出時(shí)才去以中斷的方式去喚醒SoC，并且只需要傳遞機(jī)器視覺算法運(yùn)行的結(jié)果，因此數(shù)據(jù)傳輸?shù)拈_銷也大大降低了。

????????在人工智能賦能的圖像傳感器中，Sony已經(jīng)于去年首先發(fā)布了帶有傳感器內(nèi)計(jì)算功能的智能圖像傳感器IMX500，可望使用在各類需要低功耗高性能邊緣機(jī)器視覺應(yīng)用的領(lǐng)域。除此之外，Sony還發(fā)布了相應(yīng)的開發(fā)平臺(tái)Aitrios，能以訂閱服務(wù)的形式為用戶提供用于智能圖像傳感器的模型開發(fā)和部署服務(wù)。

二、賦能人工智能的圖像傳感器

????????另一類新的智能圖像傳感器是可以賦能人工智能機(jī)器視覺的圖像傳感器。在傳統(tǒng)的圖像傳感器中，幀率是固定的（通常在數(shù)十到上百幀每秒），即無論外部條件如何，圖像傳感器都會(huì)以同樣的頻率采集圖像并且傳輸給機(jī)器視覺算法。然而，在工業(yè)檢測（如振動(dòng)監(jiān)測）和智能駕駛等應(yīng)用中，固定幀率得到的圖像并不是最優(yōu)化的圖像采集方式。具體來說，工業(yè)檢測和智能駕駛中，機(jī)器視覺最關(guān)注的是事件；當(dāng)沒有發(fā)生任何事件（例如，圖像沒有變化）時(shí)，即使以很低的幀率采集圖像甚至不采集圖像都可以。然而，當(dāng)發(fā)生事件時(shí)（例如工業(yè)檢測中機(jī)器開始振動(dòng)，智能駕駛中出現(xiàn)來車），使用數(shù)十幀每秒的幀率又顯得不夠，而希望以千幀每秒甚至更高的幀率去采樣。

????????在這種需求中，事件驅(qū)動(dòng)視覺傳感器就是一種為機(jī)器視覺專門賦能的新智能圖像傳感器。顧名思義，事件驅(qū)動(dòng)視覺傳感器關(guān)注“事件”，因此在檢測到相關(guān)事件發(fā)生時(shí)，可以以非常高的幀率（1000-10000 fps）來采集圖像，而在沒有事件發(fā)生時(shí)，則可以以很低的幀率采樣以降低功耗。

????????事件相機(jī)的最基本的原理，即：當(dāng)某個(gè)像素的亮度變化累計(jì)達(dá)到一定閾值后，輸出一個(gè)事件。這里強(qiáng)調(diào)幾個(gè)概念：a) 亮度變化：說明事件相機(jī)的輸出和變化有關(guān)，而與亮度的絕對(duì)值沒有關(guān)系；b) 閾值：當(dāng)亮度變化達(dá)到一定程度時(shí)，將輸出數(shù)據(jù)，這個(gè)閾值是相機(jī)的固有參數(shù)。

????????下面重點(diǎn)解釋什么是一個(gè)“事件”。事件具有三要素：時(shí)間戳、像素坐標(biāo)與極性。一個(gè)事件表達(dá)的是“在什么時(shí)間，哪個(gè)像素點(diǎn)，發(fā)生了亮度的增加或減小”。

????????當(dāng)場景中由物體運(yùn)動(dòng)或光照改變?cè)斐纱罅肯袼刈兓瘯r(shí)，會(huì)產(chǎn)生一系列的事件，這些事件以事件流(Events stream)方式輸出。事件流的數(shù)據(jù)量遠(yuǎn)小于傳統(tǒng)相機(jī)傳輸?shù)臄?shù)據(jù)，且事件流沒有最小時(shí)間單位，所以不像傳統(tǒng)相機(jī)定時(shí)輸出數(shù)據(jù)，具有低延遲特性。下面的動(dòng)圖揭示了事件相機(jī)與傳統(tǒng)相機(jī)的成像的不同。

????????事件相機(jī)具有優(yōu)勢的典型場景包括實(shí)時(shí)交互系統(tǒng)，比如機(jī)器人與可穿戴設(shè)備，因?yàn)檫@些場景下的光照條件不可控，并且對(duì)于延時(shí)以及功率敏感。事件相機(jī)可以用于物體跟蹤、識(shí)別以及手勢控制，也可以應(yīng)用在三維重建、光流估計(jì)、圖像HDR和SLAM中，隨著事件相機(jī)的發(fā)展，圖像去模糊以及恒星跟蹤也成為新的應(yīng)用范圍。

????????2008年，誕生了第一款商用的事件相機(jī)。這么看來，事件相機(jī)從商用到現(xiàn)在也剛剛過了十來年。在傳感器巨頭領(lǐng)域，Sony在事件驅(qū)動(dòng)傳感器領(lǐng)域布局最多，在一年多前收購了瑞士的相關(guān)初創(chuàng)公司Insightness，而三星也在積極研發(fā)相關(guān)技術(shù)，并且在ISSCC等頂級(jí)芯片會(huì)議上發(fā)表了相關(guān)研究論文。初創(chuàng)公司領(lǐng)域，事件驅(qū)動(dòng)視覺傳感器領(lǐng)域最重要初創(chuàng)公司是法國公司Prophesee，該公司目前已經(jīng)獲得了來自博世、Intel、華為等業(yè)界巨頭總計(jì)近七千萬美元的投資，并且與各大公司進(jìn)行合作。在今年九月，Prophesee更是和Sony強(qiáng)強(qiáng)聯(lián)手推出了IMX636和IMX637。目前，許多商業(yè)公司致力于事件相機(jī)的發(fā)展，除法國prophesee外，有韓國Samsung、瑞士iniVation、中國CelePixel（芯侖科技）等。預(yù)計(jì)在未來我們會(huì)看到更多這樣的事件驅(qū)動(dòng)視覺傳感器出現(xiàn)在市場上，為各類新機(jī)器視覺應(yīng)用賦能。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的人工智能与图像传感器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。