本文認(rèn)為對于類增量學(xué)習(xí)任務(wù)而言，單個(gè)點(diǎn)在特征空間的位置不是關(guān)鍵，它們之間距離值也不是關(guān)鍵，它們兩兩距離的排序才是重中之重。為此我們提出了一種新的類增量學(xué)習(xí)模型并設(shè)計(jì)了一個(gè)可導(dǎo)的排序算法，已被 IEEE TNNLS （CAS Q1）在線發(fā)表。

論文標(biāo)題：

Model Behavior Preserving for Class-Incremental Learning

論文作者：

劉雨、洪曉鵬、陶小語、董松林、史金鋼、龔怡宏

關(guān)鍵字：

增量學(xué)習(xí)、類增量學(xué)習(xí)、特征空間拓?fù)浔３帧⒖蓪?dǎo)排序函數(shù)

對于深度模型在學(xué)習(xí)新任務(wù)時(shí)對舊任務(wù)和舊知識的災(zāi)難性遺忘現(xiàn)象，已有較多研究進(jìn)行了深入的探討，也涌現(xiàn)了不少增量學(xué)習(xí)方面的好工作。這其中基于知識蒸餾的方法吸引了大量的關(guān)注，也取得了不少突破，比如 iCarL [1]、LUCIR [2]、TPCIL [3]?等等。然而，傳統(tǒng)基于蒸餾的方法往往是對代表性樣本（anchor，錨點(diǎn)）在特征空間的絕對位置施加一個(gè) hard 約束，一旦新模型在這些錨點(diǎn)上的響應(yīng)與舊模型出現(xiàn)差異，則直接進(jìn)行懲罰。

我們認(rèn)為，這種對單個(gè)樣本特征空間絕對位置的“硬”保持過于嚴(yán)格了，它們會導(dǎo)致模型增量學(xué)習(xí)時(shí)無法很好兼顧舊知識保持和新知識學(xué)習(xí)。因此，我們認(rèn)為在類增量任務(wù)下，克服災(zāi)難性遺忘的關(guān)鍵在于保持模型在歷史樣本集合上響應(yīng)的全局特性。對此，我們在本文中重點(diǎn)關(guān)注了兩種特性：

1. 模型特征空間的樣本鄰域關(guān)系（即 模型認(rèn)為，哪個(gè)樣本和哪個(gè)樣本相似程度的整體情況）。如圖 1 所示：a）增量學(xué)習(xí)之前，實(shí)例 A 的五個(gè)鄰居（B 到 F）在特征空間的關(guān)系。不同的顏色代表不同的類別；b）當(dāng)新數(shù)據(jù)（實(shí)例 G）到達(dá)時(shí)，傳統(tǒng)基于知識蒸餾的增量學(xué)習(xí)方法對單個(gè)實(shí)例的絕對位置實(shí)施硬約束。如果實(shí)例 A-F 在學(xué)習(xí)之后（稍微）偏離其學(xué)習(xí)之前的原始位置，則模型將受到懲罰。在這種情況下，一旦節(jié)點(diǎn)前后出現(xiàn)小的擾動（如圖中出現(xiàn)紅色短劃線的情況），在增量學(xué)習(xí)期間就必須嚴(yán)格減少這些擾動。在這種方式下，調(diào)整模型和重新組織特征空間以適應(yīng)學(xué)習(xí)新數(shù)據(jù)的需要將變得困難；c）本文提出對鄰域結(jié)構(gòu)進(jìn)行維持，保留實(shí)例之間距離的排名列表；只要實(shí)例之間誰和誰（更）相似的排名不變，可以允許實(shí)例在特征空間的位置及其距離的絕對值出現(xiàn)某種程度的改變。例如，實(shí)例 F（用 F0 表示其原始位置，更新之后位置變?yōu)镕）在增量學(xué)習(xí)之前到之后的位置改變是顯而易見的。但由于點(diǎn)間距離的排序保持不變（依然排行第 5 近），因此分類結(jié)果不受影響。這種機(jī)制為適應(yīng)新實(shí)例新任務(wù)的學(xué)習(xí)提供了良好的靈活性。

2. 單個(gè)樣本在 label 空間的模型響應(yīng)優(yōu)先順序（即模型認(rèn)為，當(dāng)前樣本屬于哪個(gè)類別的可能性的整體偏好）。如圖 2 所示，a）傳統(tǒng)方法對標(biāo)簽置信向量進(jìn)行硬約束。當(dāng)類別 的輸出置信度值出現(xiàn)擾動，即便這種擾動很微小，導(dǎo)致的微小差異也需要被用來計(jì)算損失，例如類別 和 對應(yīng)標(biāo)紅的項(xiàng)所示。結(jié)果，增量學(xué)習(xí)器需要努力去最小化由這種小擾動引起的損失值，在平衡新類別學(xué)習(xí)和鞏固舊類別方面負(fù)擔(dān)很重，最終導(dǎo)致對新類別對應(yīng)的新條目 相關(guān)的學(xué)習(xí)變得困難。b）與此不同的是，本文中我們對標(biāo)簽置信度排名表進(jìn)行軟約束。只有當(dāng)排名表 發(fā)生變化才會受到懲罰；而如果僅僅是 內(nèi)部的直接數(shù)值變化，則不施加懲罰。因此，增量學(xué)習(xí)器可以靈活地學(xué)習(xí)新類別的新條目并相應(yīng)地調(diào)整置信向量。增量學(xué)習(xí)變得更為可塑和高效。

▲ 圖1：實(shí)例鄰域保持的示意圖。

▲ 圖2：樣本-標(biāo)簽優(yōu)先級保持的示意圖。

為此我們提出了一種新的類增量學(xué)習(xí)模型，以保持在模型輸出響應(yīng)下的樣本鄰域關(guān)系與樣本-標(biāo)簽優(yōu)先級，從而在增量學(xué)習(xí)過程中較好保持舊模型的行為特性，實(shí)現(xiàn)對災(zāi)難性遺忘的克服。除掉交叉熵?fù)p失之外，它主要包含兩個(gè)損失函數(shù)：即樣本鄰域保持損失（instance neighborhood-preserving，INP）和樣本的標(biāo)簽優(yōu)先級保持損失（label priority-preserving，LPP）。下邊分別進(jìn)行介紹。

樣本鄰域保持損失

樣本鄰域保持損失在特征空間中保持樣例之間相似度的排名表，其可以由下列公式計(jì)算：

其中， 和 分別為樣本 在第 t 階段模型產(chǎn)生的特征空間和第 t-1 階段模型產(chǎn)生的特征空間中和樣本 的距離在樣本 所有鄰居中的排名（假設(shè)升序排序）。公式 1 其實(shí)就是斯皮爾曼足跡距離（spearman footrule distance）[4]。

上述損失函數(shù)的形式保持了每個(gè)樣本的所有鄰居的排名表。但事實(shí)上，我們發(fā)現(xiàn)，只有在排名表靠前（即相似）的樣本的位置對于拓?fù)浔３帜酥练诸悂碇v才是更為重要的；而剩下的樣本相對來講并不那么重要。

舉個(gè)通俗的例子，比如說同樣有四條腿的哺乳動物在外觀上看起來更為相似，因此理應(yīng)關(guān)注它們之間相似度的排序，保證它們之間相似度在總相似度排名表的排序靠前；而哺乳動物和氣球或者飛機(jī)不相似，這種情況下，我們很難去合理地指出，一個(gè)哺乳動物究竟應(yīng)該和氣球更像，還是應(yīng)該跟飛機(jī)更像，因此去計(jì)較它們的相似度排序意義不大。

正是基于這種理解，我們對排名表進(jìn)行了截?cái)?#xff0c;換句話說，在新模型上形成的排行榜上，我們只約束（歷史模型的）樣本 i 前 k 個(gè)鄰居所構(gòu)成的子排行榜。

其中的 ，而 是在第 t 階段模型下的對應(yīng) 的子排行榜。

樣本的標(biāo)簽優(yōu)先級保持損失

相似的，我們定義樣本的標(biāo)簽優(yōu)先級保持損失 LPP 如下：

其中 是樣本 在第 t-1 階段模型下的輸出概率向量的排名表， 是第 t-1 階段結(jié)果的所有類別總數(shù)。公式 3 相應(yīng)的截?cái)喟姹究梢酝ㄟ^類似公式 2 計(jì)算，我們得到：

下圖 3 進(jìn)一步說明了截?cái)?LPP 的計(jì)算過程。

▲ 圖3: 標(biāo)簽優(yōu)先級保持損失LPP計(jì)算示意圖

可導(dǎo)排序函數(shù)

其完成上述兩個(gè)損失的邏輯設(shè)計(jì)之后，還有一個(gè)優(yōu)化方面的問題尚待解決。排名表函數(shù) 是非連續(xù)函數(shù)，為了把它作為一個(gè)模塊嵌入神經(jīng)網(wǎng)絡(luò)之中，并允許通過它參與反向傳播，我們提出了基于二元比較的可導(dǎo)排序算法。

以筆者個(gè)人觀點(diǎn)，這可能是整個(gè)論文得以實(shí)現(xiàn)的最關(guān)鍵一環(huán)，也是最體現(xiàn)研究人員主觀能動性的一個(gè)創(chuàng)新

我們先給出如果通過二元比較，得到元素在排名表中的位置的計(jì)算方式：

引理1：如果序列中任意兩個(gè)元素在不大于關(guān)系函數(shù) 下的比較結(jié)果已知，則整個(gè)序列的排序/排名表可以被確定。

證明：不失一般性，假設(shè) 。我們用標(biāo)記函數(shù) 標(biāo)記二元比對 的結(jié)果。當(dāng) 時(shí)，；反之亦然。顯然， 在排名表中的位置 可以通過下式確定：

通俗地講，在升序序列中，一個(gè)元素的排名，由它在二元比對中獲勝的次數(shù)決定。

公式 5 中，兩兩比對函數(shù) 仍然是不連續(xù)的。為此，我們可以使用任何階躍函數(shù)的可導(dǎo)逼近來將比對差值 投影到 0 和 1 之間，比如 sigmoid 函數(shù) 。

至此，關(guān)于非連續(xù)的關(guān)鍵問題均已被解決。至于具體的可導(dǎo)排序?qū)崿F(xiàn)，可以參考原文 Section IV. C

整體目標(biāo)函數(shù)

綜合上邊的介紹，考慮到類增量學(xué)習(xí)的分類要求，最終我們選取的目標(biāo)函數(shù)為

第一項(xiàng)為交叉熵?fù)p失。

實(shí)驗(yàn)結(jié)果

我們在 CIFAR100、IMAGENET-1000 和 IMAGENET-100 上進(jìn)行了實(shí)驗(yàn)，和TPCIL [3]、LUCIR [2]、iCaRL [1]、EEiL 以及 LwF 等代表性算法進(jìn)行了比對。主要的實(shí)驗(yàn)結(jié)果如下圖和表所示：

▲ 圖4：比對結(jié)果

▲ 表格1：平均精度與遺忘率比對結(jié)果

此外，我們還提供各個(gè)部件的消融實(shí)驗(yàn)以及對不同的排名表距離函數(shù)等進(jìn)行了比對，具體實(shí)驗(yàn)結(jié)果請參考原文相應(yīng)段落。

小結(jié)：對于類增量學(xué)習(xí)任務(wù)而言，單個(gè)點(diǎn)在特征空間的位置不是關(guān)鍵，它們之間距離值也不是關(guān)鍵，它們兩兩距離的排序才是重中之重。為此我們提出了一種新的類增量學(xué)習(xí)模型，包含樣本鄰域排名表保持和樣本在標(biāo)簽空間的排名表保持，并設(shè)計(jì)了一個(gè)可導(dǎo)的排序算法。相應(yīng)算法具有被應(yīng)用到更多任務(wù)的潛力。?

文章引用信息：

文章在 IEEE Xplore 主頁的鏈接：

https://ieeexplore.ieee.org/document/9705128

Bibtex：

@ARTICLE{9705128,
author={Liu, Yu and Hong, Xiaopeng and Tao, Xiaoyu and Dong, Songlin and Shi, Jingang and Gong, Yihong},
journal={IEEE Transactions on Neural Networks and Learning Systems},?
title={Model Behavior Preserving for Class-Incremental Learning},?
year={2022},
volume={},
number={},
pages={1-12},
doi={10.1109/TNNLS.2022.3144183}}

Plain text:

Y. Liu, X. Hong, X. Tao, S. Dong, J. Shi and Y. Gong, "Model Behavior Preserving for Class-Incremental Learning," in IEEE Transactions on Neural Networks and Learning Systems, doi: 10.1109/TNNLS.2022.3144183.

參考文獻(xiàn)

[1] S.-A. Rebuffi, A. Kolesnikov, G. Sperl, and C. H. Lampert, “ICaRL: Incremental classifier and representation learning,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 2001–2010.

[2] S. Hou, X. Pan, C. C. Loy, Z. Wang, and D. Lin, “Learning a unified classifier incrementally via rebalancing,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 831–839.

[3] X. Tao, X. Chang, X. Hong, X. Wei, and Y. Gong, “Topology-preserving class-incremental learning,” in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 254–270.

[4] R. Kumar and S. Vassilvitskii, “Generalized distances between rankings,”in Proc. 19th Int. Conf. World Wide Web (WWW), 2010, pp. 571–580.

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時(shí)聯(lián)系方式（微信），以便我們在稿件選用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的TNNLS 22｜分数不是关键，排名才是关键：针对排行榜的模型“行为”保持与灾难性遗忘的克服...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。