選自丨機(jī)器之心

本文將介紹視頻理解中的三大基礎(chǔ)領(lǐng)域:動(dòng)作識(shí)別(Action Recognition)、時(shí)序動(dòng)作定位(Temporal Action Localization)和視頻 Embedding。

1.視頻理解背景

根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）第 47 次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，截至 2020 年 12 月，中國(guó)網(wǎng)民規(guī)模達(dá)到 9.89 億人，其中網(wǎng)絡(luò)視頻（含短視頻）用戶規(guī)模達(dá)到 9.27 億人，占網(wǎng)民整體的 93.7%，短視頻用戶規(guī)模為 8.73 億人，占網(wǎng)民整體的 88.3%。

回顧互聯(lián)網(wǎng)近年來(lái)的發(fā)展歷程，伴隨著互聯(lián)網(wǎng)技術(shù)（特別是移動(dòng)互聯(lián)網(wǎng)技術(shù)）的發(fā)展，內(nèi)容的主流表現(xiàn)形式經(jīng)歷了從純文本時(shí)代逐漸發(fā)展到圖文時(shí)代，再到現(xiàn)在的視頻和直播時(shí)代的過(guò)渡，相比于純文本和圖文內(nèi)容形式，視頻內(nèi)容更加豐富，對(duì)用戶更有吸引力。

圖 1：互聯(lián)網(wǎng)內(nèi)容表現(xiàn)形式的 3 個(gè)階段。本圖源于《深度學(xué)習(xí)視頻理解》

隨著近年來(lái)人們拍攝視頻的需求更多、傳輸視頻的速度更快、存儲(chǔ)視頻的空間更大，多種場(chǎng)景下積累了大量的視頻數(shù)據(jù)，需要一種有效地對(duì)視頻進(jìn)行管理、分析和處理的工具。視頻理解旨在通過(guò)智能分析技術(shù)，自動(dòng)化地對(duì)視頻中的內(nèi)容進(jìn)行識(shí)別和解析。視頻理解算法順應(yīng)了這個(gè)時(shí)代的需求。因此，近年來(lái)受到了廣泛關(guān)注，取得了快速發(fā)展。

視頻理解涉及生活的多個(gè)方面，目前視頻理解已經(jīng)發(fā)展成一個(gè)十分廣闊的學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用方向。受篇幅所限，本文將介紹視頻理解中的三大基礎(chǔ)領(lǐng)域: 動(dòng)作識(shí)別 (Action Recognition)、時(shí)序動(dòng)作定位(Temporal Action Localization) 和視頻 Embedding。

圖 2：視頻理解涉及的部分任務(wù)。本圖源于《深度學(xué)習(xí)視頻理解》

2. 動(dòng)作識(shí)別（Action Recognition）

2.1 動(dòng)作識(shí)別簡(jiǎn)介

動(dòng)作識(shí)別的目標(biāo)是識(shí)別出視頻中出現(xiàn)的動(dòng)作，通常是視頻中人的動(dòng)作。視頻可以看作是由一組圖像幀按時(shí)間順序排列而成的數(shù)據(jù)結(jié)構(gòu)，比圖像多了一個(gè)時(shí)間維度。動(dòng)作識(shí)別不僅要分析視頻中每幀圖像的內(nèi)容，還需要從視頻幀之間的時(shí)序信息中挖掘線索。動(dòng)作識(shí)別是視頻理解的核心領(lǐng)域，雖然動(dòng)作識(shí)別主要是識(shí)別視頻中人的動(dòng)作，但是該領(lǐng)域發(fā)展出來(lái)的算法大多數(shù)不特定針對(duì)人，也可以用于其他視頻分類(lèi)場(chǎng)景。

動(dòng)作識(shí)別看上去似乎是圖像分類(lèi)領(lǐng)域向視頻領(lǐng)域的一個(gè)自然延伸，深度學(xué)習(xí)盡管在圖像分類(lèi)領(lǐng)域取得了舉世矚目的成功，目前深度學(xué)習(xí)算法在圖像分類(lèi)上的準(zhǔn)確率已經(jīng)超過(guò)普通人的水平，但是，深度學(xué)習(xí)在動(dòng)作識(shí)別領(lǐng)域的進(jìn)展并不像在圖像分類(lèi)領(lǐng)域那么顯著，很長(zhǎng)一段時(shí)間基于深度學(xué)習(xí)算法的動(dòng)作識(shí)別準(zhǔn)確率達(dá)不到或只能接近傳統(tǒng)動(dòng)作識(shí)別算法的準(zhǔn)確率。概括地講，動(dòng)作識(shí)別面臨以下幾點(diǎn)困難:

• 訓(xùn)練視頻模型所需的計(jì)算量比圖像大了一個(gè)量級(jí)，這使得視頻模型的訓(xùn)練時(shí)長(zhǎng)和訓(xùn)練所需的硬件資源相比圖像大了很多，導(dǎo)致難以快速用實(shí)驗(yàn)進(jìn)行驗(yàn)證和迭代；

• 在 2017 年，Kinetics 數(shù)據(jù)集 (Carreira & Zisserman, 2017) 誕生之前， 缺少大規(guī)模通用的視頻基準(zhǔn) (Benchmark) 數(shù)據(jù)集。在很長(zhǎng)一段時(shí)間里，研究者都是在如 UCF-101 數(shù)據(jù)集 (Soomro et al., 2012) 上比較算法準(zhǔn) 確率，而 UCF-101 只有 1.3 萬(wàn)條數(shù)據(jù)，共 101 個(gè)類(lèi)別，平均每個(gè)類(lèi)別只有約 100 個(gè)視頻，相比于圖像分類(lèi)領(lǐng)域的 ImageNet 數(shù)據(jù)集有 128 萬(wàn) 條數(shù)據(jù)，共 1000 個(gè)類(lèi)別，平均每個(gè)類(lèi)別約有 1,000 個(gè)視頻，UCF-101 數(shù)據(jù)集顯得十分小。數(shù)據(jù)集規(guī)模制約了動(dòng)作識(shí)別領(lǐng)域的發(fā)展；

• 學(xué)習(xí)視頻中幀之間的時(shí)序關(guān)系，尤其是長(zhǎng)距離的時(shí)序關(guān)系，本身就比較難。不同類(lèi)型的動(dòng)作變化快慢和持續(xù)時(shí)長(zhǎng)有所不同，不同的人做同一個(gè)動(dòng)作的方式也存在不同，同時(shí)相機(jī)拍攝角度和相機(jī)自身的運(yùn)動(dòng)也會(huì)對(duì)識(shí)別帶來(lái)挑戰(zhàn)。此外，不是視頻中所有的幀對(duì)于動(dòng)作識(shí)別都有相同的作用，有許多幀存在信息冗余；

• 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)缺少公認(rèn)的方案。圖像分類(lèi)領(lǐng)域的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)有一些公認(rèn)的指導(dǎo)理念，例如，端到端訓(xùn)練、小卷積核、從輸入到輸出空間分辨率不斷降低且通道數(shù)不斷增大等。然而，在動(dòng)作識(shí)別領(lǐng)域，同時(shí)存在多個(gè)網(wǎng)絡(luò)設(shè)計(jì)理念，例如，幀之間的時(shí)序關(guān)系應(yīng)該如何捕捉、使用 2D 卷積還是 3D 卷積、不同幀的特征應(yīng)該如何融合等都還沒(méi)有定論。

2.2 基于 2D 卷積的動(dòng)作識(shí)別

視頻是由一系列圖像幀（Frame）組成的，圖像分類(lèi)模型經(jīng)過(guò)這些年的發(fā)展已經(jīng)相對(duì)成熟。如何進(jìn)行視頻分類(lèi)呢？一種直觀的想法是將圖像分類(lèi)的模型直接運(yùn)用到視頻分類(lèi)中。如下圖所示，一個(gè)簡(jiǎn)單的想法是先把視頻各幀提取出來(lái)，每幀圖像各自前饋（Feedforward）一個(gè)圖像分類(lèi)模型，不同幀的圖像分類(lèi)模型之間相互共享參數(shù)。得到每幀圖像的特征之后，對(duì)各幀圖像特征進(jìn)行匯合（Pooling），例如采用平均匯合，得到固定維度的視頻特征，最后經(jīng)過(guò)一個(gè)全連接層和 Softmax 激活函數(shù)進(jìn)行分類(lèi)以得到視頻的類(lèi)別預(yù)測(cè)。

圖 3：利用圖像分類(lèi)模型和平均匯合進(jìn)行動(dòng)作識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖。本圖源于《深度學(xué)習(xí)視頻理解》

平均匯合方法十分簡(jiǎn)單，其視頻分類(lèi)的準(zhǔn)確率與其他同時(shí)期專(zhuān)門(mén)為動(dòng)作識(shí)別設(shè)計(jì)的深度學(xué)習(xí)模型相比差距并不大 (Karpathy et al., 2014) ，但是與傳統(tǒng)動(dòng)作識(shí)別算法的準(zhǔn)確率相比還有很大差距，不過(guò)后來(lái)專(zhuān)門(mén)為動(dòng)作識(shí)別設(shè)計(jì)的深度學(xué)習(xí)模型的準(zhǔn)確率高了很多。

最直觀的想法是先把視頻拆成一幀幀的圖像，每幀圖像各自用一個(gè)圖像分類(lèi)模型得到幀級(jí)別的特征，然后用某種匯合方法從幀級(jí)別特征得到視頻級(jí)別特征，最后進(jìn)行分類(lèi)預(yù)測(cè)，其中的匯合方法包括: 平均匯合、NetVLAD/NeXtVLAD、NetFV、RNN、3D 卷積等。另外，我們可以借助一些傳統(tǒng)算法來(lái)補(bǔ)充時(shí)序關(guān)系，例如，雙流法利用光流顯式地計(jì)算幀之間的運(yùn)動(dòng)關(guān)系，TDD 利用 iDT 計(jì)算的軌跡進(jìn)行匯合等。基于 2D 卷積的動(dòng)作識(shí)別方法的一個(gè)優(yōu)點(diǎn)是可以快速吸收?qǐng)D像分類(lèi)領(lǐng)域的最新成果，通過(guò)改變骨架網(wǎng)絡(luò)，新的圖像分類(lèi)模型可以十分方便地遷移到基于 2D 卷積的動(dòng)作識(shí)別方法中。

圖 4：基于 2D 卷積的動(dòng)作識(shí)別算法。本圖源于《深度學(xué)習(xí)視頻理解》

2.3 基于 3D 卷積的動(dòng)作識(shí)別

另一方面，圖像是三維的，而視頻比圖像多了一維，是四維。圖像使用的是 2D 卷積，因此視頻使用的是 3D 卷積。我們可以設(shè)計(jì)對(duì)應(yīng)的 3D 卷積神經(jīng)網(wǎng)絡(luò)，就像在圖像分類(lèi)中利用 2D 卷積可以從圖像中學(xué)習(xí)到復(fù)雜的圖像表示一樣，利用 3D 卷積可以從視頻片段中同時(shí)學(xué)習(xí)圖像特征和相鄰幀之間復(fù)雜的時(shí)序特征，最后利用學(xué)到的高層級(jí)特征進(jìn)行分類(lèi)。

相比于 2D 卷積，3D 卷積可以學(xué)習(xí)到視頻幀之間的時(shí)序關(guān)系。我們可以將 2D 卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展為對(duì)應(yīng)的 3D 卷積神經(jīng)網(wǎng)絡(luò)，如 C3D、Res3D/3D ResNet、LTC、I3D 等。由于 3D 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量和計(jì)算量比 2D 卷積神經(jīng)網(wǎng)絡(luò)大了很多，不少研究工作專(zhuān)注于對(duì) 3D 卷積進(jìn)行低秩近似，如 FSTCN、P3D、R(2+1)D、S3D 等。TSM 對(duì) 2D 卷積進(jìn)行改造以近似 3D 卷積的效果。3D 卷積 + RNN、ARTNet、Non-Local、SlowFast 等從不同角度學(xué)習(xí)視頻幀之間的時(shí)序關(guān)系。此外，多網(wǎng)格訓(xùn)練和 X3D 等對(duì) 3D 卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)進(jìn)行調(diào)整，使網(wǎng)絡(luò)更加精簡(jiǎn)和高效。

圖 5：基于 3D 卷積的動(dòng)作識(shí)別算法。本圖源于《深度學(xué)習(xí)視頻理解》

3. 時(shí)序動(dòng)作定位（Temporal Action Localization）

時(shí)序動(dòng)作定位 (Temporal Action Localization) 也稱(chēng)為時(shí)序動(dòng)作檢測(cè) (Temporal Action Detection)，是視頻理解的另一個(gè)重要領(lǐng)域。動(dòng)作識(shí)別可以看作是一個(gè)純分類(lèi)問(wèn)題，其中要識(shí)別的視頻基本上已經(jīng)過(guò)剪輯(Trimmed)，即每個(gè)視頻包含一段明確的動(dòng)作，視頻時(shí)長(zhǎng)較短，且有唯一確定的動(dòng)作類(lèi)別。而在時(shí)序動(dòng)作定位領(lǐng)域，視頻通常沒(méi)有被剪輯(Untrimmed)，視頻時(shí)長(zhǎng)較長(zhǎng)，動(dòng)作通常只發(fā)生在視頻中的一小段時(shí)間內(nèi)，視頻可能包含多個(gè)動(dòng)作，也可能不包含動(dòng)作，即為背景(Background) 類(lèi)。時(shí)序動(dòng)作定位不僅要預(yù)測(cè)視頻中包含了什么動(dòng)作，還要預(yù)測(cè)動(dòng)作的起始和終止時(shí)刻。相比于動(dòng)作識(shí)別，時(shí)序動(dòng)作定位更接近現(xiàn)實(shí)場(chǎng)景。

時(shí)序動(dòng)作定位可以看作由兩個(gè)子任務(wù)組成，一個(gè)子任務(wù)是預(yù)測(cè)動(dòng)作的起止時(shí)序區(qū)間，另一個(gè)子任務(wù)是預(yù)測(cè)動(dòng)作的類(lèi)別。由于動(dòng)作識(shí)別領(lǐng)域經(jīng)過(guò)近年來(lái)的發(fā)展，預(yù)測(cè)動(dòng)作類(lèi)別的算法逐漸成熟，因此時(shí)序動(dòng)作定位的關(guān)鍵是預(yù)測(cè)動(dòng)作的起止時(shí)序區(qū)間，有不少研究工作專(zhuān)注于該子任務(wù)，ActivityNet 競(jìng)賽除了每年舉辦時(shí)序動(dòng)作定位競(jìng)賽，還專(zhuān)門(mén)組織候選時(shí)序區(qū)間生成競(jìng)賽(也稱(chēng)為時(shí)序動(dòng)作區(qū)間提名)。

既然要預(yù)測(cè)動(dòng)作的起止區(qū)間，一種最樸素的想法是窮舉所有可能的區(qū)間，然后逐一判斷該區(qū)間內(nèi)是否包含動(dòng)作。對(duì)于一個(gè) T 幀的視頻，所有可能的區(qū)間為 ，窮舉所有的區(qū)間會(huì)帶來(lái)非常龐大的計(jì)算量。

時(shí)序動(dòng)作檢測(cè)的很多思路源于圖像目標(biāo)檢測(cè) (Object Detection)，了解目標(biāo)檢測(cè)的一些常見(jiàn)算法和關(guān)鍵思路對(duì)學(xué)習(xí)時(shí)序動(dòng)作定位很有幫助。相比于圖像分類(lèi)的目標(biāo)是預(yù)測(cè)圖像中物體的類(lèi)別，目標(biāo)檢測(cè)不僅要預(yù)測(cè)類(lèi)別，還要預(yù)測(cè)出物體在圖像中的空間位置信息，以物體外接矩形的包圍盒(Bounding Box) 形式表示。

3.1 基于滑動(dòng)窗的算法

這類(lèi)算法的基本思路是預(yù)先定義一系列不同時(shí)長(zhǎng)的滑動(dòng)窗，之后滑動(dòng)窗在視頻上沿著時(shí)間維度進(jìn)行滑動(dòng)，并逐一判斷每個(gè)滑動(dòng)窗對(duì)應(yīng)的時(shí)序區(qū)間內(nèi)具體是什么動(dòng)作類(lèi)別。圖 6 (a) 中使用了 3 幀時(shí)長(zhǎng)的滑動(dòng)窗，圖 6 (b) 中使用了 5 幀時(shí)長(zhǎng)的滑動(dòng)窗，最終匯總不同時(shí)長(zhǎng)的滑動(dòng)窗的類(lèi)別預(yù)測(cè)結(jié)果?？梢灾?#xff0c;該視頻中包含的動(dòng)作是懸崖跳水、動(dòng)作出現(xiàn)的起止時(shí)序區(qū)間在靠近視頻結(jié)尾的位置。

圖 6：基于滑動(dòng)窗的算法流程圖。本圖源于《深度學(xué)習(xí)視頻理解》

如果對(duì)目標(biāo)檢測(cè)熟悉的讀者可以聯(lián)想到，Viola-Jones 實(shí)時(shí)人臉檢測(cè)器 (Viola & Jones, 2004) 中也采用了滑動(dòng)窗的思想，其先用滑動(dòng)窗在圖像上進(jìn)行密集滑動(dòng)，之后提取每個(gè)滑動(dòng)窗對(duì)應(yīng)的圖像區(qū)域的特征，最后通過(guò) AdaBoost 級(jí)聯(lián)分類(lèi)器進(jìn)行分類(lèi)。Viola-Jones 實(shí)時(shí)人臉檢測(cè)器是計(jì)算機(jī)視覺(jué)歷史上具有里程碑意義的算法之一，獲得了 2011 年 CVPR(Computer Vision and Pattern Recognition，計(jì)算機(jī)視覺(jué)和模式識(shí)別)大會(huì)用于表彰十年影響力的 Longuet-Higgins 獎(jiǎng)。

3.2 基于候選時(shí)序區(qū)間的算法

目標(biāo)檢測(cè)算法中的兩階段 (Two-Stage) 算法將目標(biāo)檢測(cè)分為兩個(gè)階段: 第一階段產(chǎn)生圖像中可能存在目標(biāo) 的候選區(qū)域(Region Proposal)，一般一張圖像可以產(chǎn)生成百上千個(gè)候選區(qū)域，這一階段和具體的類(lèi)別無(wú)關(guān); 第二階段逐一判斷每個(gè)候選區(qū)域的類(lèi)別并對(duì)候選區(qū)域的邊界進(jìn)行修正。

類(lèi)比于兩階段的目標(biāo)檢測(cè)算法，基于候選時(shí)序區(qū)間的時(shí)序動(dòng)作定位算法也將整個(gè)過(guò)程分為兩個(gè)階段: 第一階段產(chǎn)生視頻中動(dòng)作可能發(fā)生的候選時(shí)序區(qū)間; 第 二階段逐一判斷每個(gè)候選時(shí)序區(qū)間的類(lèi)別并對(duì)候選時(shí)序區(qū)間的邊界進(jìn)行修正。最終將兩個(gè)階段的預(yù)測(cè)結(jié)果結(jié)合起來(lái)，得到未被剪輯視頻中動(dòng)作的類(lèi)別和起止時(shí)刻預(yù)測(cè)。

圖 7：Faster R-CNN 和基于候選時(shí)序區(qū)間的方法類(lèi)比。本圖源于《深度學(xué)習(xí)視頻理解》

3.3 自底向上的時(shí)序動(dòng)作定位算法

基于滑動(dòng)窗和基于候選時(shí)序區(qū)間的時(shí)序動(dòng)作定位算法都可以看作是自頂向下的算法，其本質(zhì)是預(yù)先定義好一系列不同時(shí)長(zhǎng)的滑動(dòng)窗或錨點(diǎn)時(shí)序區(qū)間，之后判斷每個(gè)滑動(dòng)窗位置或錨點(diǎn)時(shí)序區(qū)間是否包含動(dòng)作并對(duì)邊界進(jìn)行微調(diào)以產(chǎn)生候選時(shí)序區(qū)間。這類(lèi)自頂向下的算法產(chǎn)生的候選時(shí)序區(qū)間會(huì)受到預(yù)先定義的滑動(dòng)窗或錨點(diǎn)時(shí)序區(qū)間的影響，導(dǎo)致產(chǎn)生的候選時(shí)序區(qū)間不夠靈活，區(qū)間的起止位置不夠精確。

本節(jié)介紹自底向上的時(shí)序動(dòng)作定位算法，這類(lèi)算法首先局部預(yù)測(cè)視頻動(dòng)作開(kāi)始和動(dòng)作結(jié)束的時(shí)刻，之后將開(kāi)始和結(jié)束時(shí)刻組合成候選時(shí)序區(qū)間，最后對(duì)每個(gè)候選時(shí)序區(qū)間進(jìn)行類(lèi)別預(yù)測(cè)。相比于自頂向下的算法，自底向上的算法預(yù)測(cè)的候選時(shí)序區(qū)間邊界更加靈活。了解人體姿態(tài)估計(jì) (Human Pose Estimation) 的讀者可以聯(lián)想到，人體姿態(tài)估計(jì)也可以分為自頂向下和自底向上兩類(lèi)算法，其中自頂 向下的算法先檢測(cè)出人的包圍盒，之后對(duì)每個(gè)包圍盒內(nèi)檢測(cè)人體骨骼關(guān)鍵點(diǎn)，如 (Chen et al., 2018) 等; 自底向上的算法先檢測(cè)所有的人體骨骼關(guān)鍵點(diǎn)，之后再組合成人，如 (Cao et al., 2021) 等。

BSN(Boundary Sensitive Network，邊界敏感網(wǎng)絡(luò))(Lin et al., 2018b)是自底向上的時(shí)序動(dòng)作定位算法的一個(gè)實(shí)例，BSN 獲得了 2018 年 ActivityNet 時(shí)序動(dòng)作定位競(jìng)賽的冠軍和百度綜藝節(jié)目精彩片段預(yù)測(cè)競(jìng)賽的冠軍。

圖 8：BSN 網(wǎng)絡(luò)結(jié)構(gòu)圖。本圖源于《深度學(xué)習(xí)視頻理解》

3.4 對(duì)時(shí)序結(jié)構(gòu)信息建模的算法

假設(shè)我們的目標(biāo)是識(shí)別視頻中的體操單跳 (Tumbling) 動(dòng)作和對(duì)應(yīng)的動(dòng)作起止區(qū)間，見(jiàn)圖 9 中的綠色框。圖 9 中的藍(lán)色框表示模型預(yù)測(cè)的候選時(shí)序區(qū)間，有的候選時(shí)序區(qū)間時(shí)序上并不完整，即候選時(shí)序區(qū)間并沒(méi)有覆蓋動(dòng)作完整的起止過(guò)程。圖 9 上半部分的算法直接基于候選時(shí)序區(qū)間內(nèi)的特征對(duì)候選時(shí)序區(qū)間內(nèi)的動(dòng)作類(lèi)別進(jìn)行預(yù)測(cè)，導(dǎo)致模型一旦發(fā)現(xiàn)任何和單跳動(dòng)作有關(guān)的視頻片段，就會(huì)輸出很高的置信度，進(jìn)而導(dǎo)致時(shí)序定位不夠精準(zhǔn)。

圖 9：SSN 對(duì)動(dòng)作不同的階段進(jìn)行建模。本圖源于(Zhao et al., 2020)

SSN(Structured Segment Network，結(jié)構(gòu)化視頻段網(wǎng)絡(luò))算法 (Zhao et al., 2020) 對(duì)動(dòng)作不同的階段 (開(kāi)始、過(guò)程、結(jié)束) 進(jìn)行建模，SSN 不僅會(huì)預(yù)測(cè)候選時(shí)序區(qū)間內(nèi)的動(dòng)作類(lèi)別，還會(huì)預(yù)測(cè)候選時(shí)序區(qū)間的完整性，這樣做的好處是可以更好地定位動(dòng)作開(kāi)始和結(jié)束的時(shí)刻，SSN 只在候選時(shí)序區(qū)間和動(dòng)作真實(shí)起止區(qū)間對(duì)齊的時(shí)候輸出高置信度。

3.5 逐幀預(yù)測(cè)的算法

我們希望模型對(duì)動(dòng)作時(shí)序區(qū)間的預(yù)測(cè)能夠盡量精細(xì)。CDC (Convolutional-De-Convolutional networks，卷積 - 反卷積網(wǎng)絡(luò))算法 (Shou et al., 2017) 和前文介紹的其他算法的不同之處在于，CDC 可以對(duì)未被剪輯的視頻逐幀預(yù)測(cè)動(dòng)作的類(lèi)別，這種預(yù)測(cè)粒度十分精細(xì)，使得對(duì)動(dòng)作時(shí)序區(qū)間邊界的定位更加精確。

如圖 10 所示，輸入一個(gè)未被剪輯的視頻，首先利用動(dòng)作識(shí)別網(wǎng)絡(luò)提取視頻特征，之后利用多層 CDC 層同時(shí)對(duì)特征進(jìn)行空間維度的下采樣和時(shí)間維度的上采樣，進(jìn)而得到視頻中每幀的預(yù)測(cè)結(jié)果，最后結(jié)合候選時(shí)序區(qū)間得到動(dòng)作類(lèi)別和起止時(shí)刻的預(yù)測(cè)。CDC 的一個(gè)優(yōu)點(diǎn)是預(yù)測(cè)十分高效，在單 GPU 服務(wù)器下，可以達(dá)到 500 FPS(Frames per Second，幀每秒)的預(yù)測(cè)速度。

圖 10：CDC 網(wǎng)絡(luò)結(jié)構(gòu)圖。本圖源于《深度學(xué)習(xí)視頻理解》

3.6 單階段算法

目標(biāo)檢測(cè)算法可以大致分為兩大類(lèi)，其中一大類(lèi)算法為兩階段算法，兩階段算法會(huì)先從圖像中預(yù)測(cè)可能存在目標(biāo)的候選區(qū)域，之后逐一判斷每個(gè)候選區(qū)域的類(lèi)別，并對(duì)候選區(qū)域邊界進(jìn)行修正。時(shí)序動(dòng)作定位中也有一些算法采用了兩階段算法的策略，先從視頻中預(yù)測(cè)可能包含動(dòng)作的候選時(shí)序區(qū)間，之后逐一判斷每個(gè)候選時(shí)序區(qū)間的類(lèi)別，并對(duì)候選時(shí)序區(qū)間的邊界進(jìn)行修正，這部分算法已在 3.2 節(jié)介紹過(guò)。

另一大類(lèi)算法為單階段 (One-Stage) 算法，單階段算法沒(méi)有單獨(dú)的候選區(qū)域生成的步驟，直接從圖像中預(yù)測(cè)。在目標(biāo)檢測(cè)領(lǐng)域中，通常兩階段算法識(shí)別精度高，但是預(yù)測(cè)速度慢，單階段算法識(shí)別精度略低，但是預(yù)測(cè)速度快。時(shí)序動(dòng)作定位中也有一些算法采用了單階段算法的策略。

到此為止，我們了解了許多時(shí)序動(dòng)作定位算法，一種直觀的想法是預(yù)先定義一組不同時(shí)長(zhǎng)的滑動(dòng)窗，之后滑動(dòng)窗在視頻上進(jìn)行滑動(dòng)，并逐一判斷每個(gè)滑動(dòng)窗對(duì)應(yīng)的時(shí)序區(qū)間內(nèi)的動(dòng)作類(lèi)別，如 S-CNN。TURN 和 CBR 以視頻單元作為最小計(jì)算單位避免了滑動(dòng)窗帶來(lái)的冗余計(jì)算，并且可以對(duì)時(shí)序區(qū)間的邊界進(jìn)行修正; 受兩階段目標(biāo)檢測(cè)算法的啟發(fā)，基于候選時(shí)序區(qū)間的算法先從視頻中產(chǎn)生一些可能包含動(dòng)作的候選時(shí)序區(qū)間，之后逐一判斷每個(gè)候選時(shí)序區(qū)間內(nèi)的動(dòng)作類(lèi)別，并對(duì)區(qū)間邊界進(jìn)行修正，如 R-C3D 和 TAL-Net; 自底向上的時(shí)序動(dòng)作定位算法先預(yù)測(cè)動(dòng)作開(kāi)始和結(jié)束的時(shí)刻，之后將開(kāi)始和結(jié)束時(shí)刻組合為候選時(shí)序區(qū)間，如 BSN、TSA-Net 和 BMN;SSN 不僅會(huì)預(yù)測(cè)每個(gè)區(qū)間的動(dòng)作類(lèi)別，還會(huì) 預(yù)測(cè)區(qū)間的完整性; CDC 通過(guò)卷積和反卷積操作可以逐幀預(yù)測(cè)動(dòng)作類(lèi)別。此外，單階段目標(biāo)檢測(cè)的思路也可以用于時(shí)序動(dòng)作定位中，如 SSAD、SS-TAD 和 GTAN。

圖 11：時(shí)序動(dòng)作定位算法。本圖源于《深度學(xué)習(xí)視頻理解》

4. 視頻 Embedding

Embedding 直譯為嵌入，這里譯為向量化更貼切。視頻 Embedding 的目標(biāo)是從視頻中得到一個(gè)低維、稠密、浮點(diǎn)的特征向量表示，這個(gè)特征向量是對(duì)整個(gè)視頻內(nèi)容的總結(jié)和概括。其中，低維是指視頻 Embedding 特征向量的維度比較低，典型值如 128 維、256 維、512 維、1024 維等; 稠密和稀疏 (Sparse) 相對(duì)，稀疏是指特征向量中有很多元素為 0，稠密是指特征向量中很多元素為非 0; 浮點(diǎn)是指特征向量中的元素都是浮點(diǎn)數(shù)。

不同視頻 Embedding 之間的距離 (如歐式距離或余弦距離) 反映了對(duì)應(yīng)視頻之間的相似性。如果兩個(gè)視頻的語(yǔ)義內(nèi)容接近，則它們的 Embedding 特征之間的距離近，相似度高; 反之，如果兩個(gè)視頻不是同一類(lèi)視頻，那么它們的 Embedding 特征之間的距離遠(yuǎn)，相似度低。在得到視頻 Embedding 之后，可以用于視頻推薦系統(tǒng)、視頻檢索、視頻侵權(quán)檢測(cè)等多個(gè)任務(wù)中。

動(dòng)作識(shí)別和時(shí)序動(dòng)作定位都是預(yù)測(cè)型任務(wù)，即給定一個(gè)視頻，預(yù)測(cè)該視頻中出現(xiàn)的動(dòng)作，或者更進(jìn)一步識(shí)別出視頻中出現(xiàn)的動(dòng)作的起止時(shí)序區(qū)間。而視頻 Embedding 是一種表示型任務(wù)，輸入一個(gè)視頻，模型給出該視頻的向量化表示。視頻 Embedding 算法可以大致分為以下 3 大類(lèi)。

第一類(lèi)方法基于視頻內(nèi)容有監(jiān)督地學(xué)習(xí)視頻 Embedding。我們基于視頻的類(lèi)別有監(jiān)督地訓(xùn)練一個(gè)動(dòng)作識(shí)別網(wǎng)絡(luò)，之后可以從網(wǎng)絡(luò)的中間層 (通常是全連接層) 提取視頻 Embedding。這類(lèi)方法的重點(diǎn)在于動(dòng)作識(shí)別網(wǎng)絡(luò)的設(shè)計(jì)。

第二類(lèi)方法基于視頻內(nèi)容無(wú)監(jiān)督地學(xué)習(xí)視頻 Embedding。第一類(lèi)方法需要大量的視頻標(biāo)注，標(biāo)注過(guò)程十分耗時(shí)、耗力，這類(lèi)方法不需要額外的標(biāo)注，從視頻自身的結(jié)構(gòu)信息中學(xué)習(xí)，例如，視頻重建和未來(lái)幀預(yù)測(cè)、視頻幀先后順序驗(yàn)證、利用視頻 和音頻信息、利用視頻和文本信息等。

第三類(lèi)方法通過(guò)用戶行為學(xué)習(xí)視頻 Embedding。如果我們知道每個(gè)用戶的視頻觀看序列，由于用戶有特定類(lèi)型的視頻觀看喜好，用戶在短時(shí)間內(nèi)一起觀看的視頻通常有很高的相似性，利用用戶觀看序列信息，我們可以學(xué)習(xí)得到視頻 Embedding。

其中，第一類(lèi)和第二類(lèi)方法基于視頻內(nèi)容學(xué)習(xí)視頻 Embedding，它們的優(yōu)點(diǎn)是沒(méi)有視頻冷啟動(dòng)問(wèn)題，即一旦有新視頻產(chǎn)生，就可以計(jì)算該視頻的 Embedding 用于后續(xù)的任務(wù)中。例如，這可以對(duì)視頻推薦系統(tǒng)中新發(fā)布的視頻給予展示機(jī)會(huì); 基于內(nèi)容的視頻 Embedding 的另一個(gè)優(yōu)點(diǎn)是對(duì)所有的視頻“一視同仁”，不會(huì)推薦過(guò)于熱門(mén)的視頻。另外，也可以為具有小眾興趣愛(ài)好的用戶進(jìn)行推薦。

一旦新視頻獲得了展示機(jī)會(huì)，積累了一定量的用戶反饋 (即用戶觀看的行為數(shù)據(jù)) 之后，我們就可以用第三類(lèi)方法基于用戶行為數(shù)據(jù)學(xué)習(xí)視頻 Embedding， 有時(shí)視頻之間的關(guān)系比較復(fù)雜，有些視頻雖然不屬于同一個(gè)類(lèi)別，但是它們之間存在很高的相似度，用戶常常喜歡一起觀看?；谟脩粜袨閿?shù)據(jù)學(xué)習(xí)的視頻 Embedding 可以學(xué)習(xí)到這種不同類(lèi)別視頻之間的潛在聯(lián)系。

第三大類(lèi)方法通過(guò)用戶行為學(xué)習(xí)視頻 Embedding，其中 Item2Vec 將自然語(yǔ)言處理中經(jīng)典的 Word2Vec 算法用到了用戶行為數(shù)據(jù)中，并在后續(xù)工作中得到了優(yōu)化，DeepWalk 和 Node2Vec 基于圖的隨機(jī)游走學(xué)習(xí)視頻 Embedding，是介于圖算法和 Item2Vec 算法之間的過(guò)渡，LINE 和 SDNE 可以學(xué)習(xí)圖中結(jié)點(diǎn)的一階和二階相似度，GCN GraphSAGE 和 GAT 等將卷積操作引入到了圖中，YouTube 召回模型利用多種信息學(xué)習(xí)視頻 Embedding。

圖 12：視頻 Embedding 算法。本圖源于《深度學(xué)習(xí)視頻理解》

推薦閱讀：

我的2022屆互聯(lián)網(wǎng)校招分享

我的2021總結(jié)

淺談算法崗和開(kāi)發(fā)崗的區(qū)別

互聯(lián)網(wǎng)校招研發(fā)薪資匯總

對(duì)于時(shí)間序列，你所能做的一切.

什么是時(shí)空序列問(wèn)題？這類(lèi)問(wèn)題主要應(yīng)用了哪些模型？主要應(yīng)用在哪些領(lǐng)域？

公眾號(hào)：AI蝸牛車(chē)

保持謙遜、保持自律、保持進(jìn)步

發(fā)送【蝸牛】獲取一份《手把手AI項(xiàng)目》（AI蝸牛車(chē)著）

發(fā)送【1222】獲取一份不錯(cuò)的leetcode刷題筆記

發(fā)送【AI四大名著】獲取四本經(jīng)典AI電子書(shū)

總結(jié)

以上是生活随笔為你收集整理的视频理解综述：动作识别、时序动作定位、视频Embedding的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。