https://arxiv.org/pdf/1901.05555.pdf

skewed 傾斜的，歪斜的 heuristic 啟發(fā)式的 interpolated插值 focal 焦點的 complementary 互補的 coverage 覆蓋 tamable 可馴服的 intrinsic 內(nèi)在的，本質(zhì)的

Abstract

隨著大規(guī)模、真實世界數(shù)據(jù)集的迅速增加，長尾數(shù)據(jù)分布問題的解決變得至關(guān)重要（即少數(shù)類占了大部分數(shù)據(jù)，而大多數(shù)類的代表性不足)。現(xiàn)有的解決方案通常采用類重新平衡策略，例如根據(jù)每個類的觀察數(shù)量重新采樣和重新加權(quán)。在這項工作中，我們認為，隨著樣本數(shù)量的增加，新添加的數(shù)據(jù)點的額外好處將減少。我們引入了一個新的理論框架來測量數(shù)據(jù)重疊，方法是將每個樣本與一個小的鄰近區(qū)域聯(lián)系起來，而不是單個點。有效的樣本被定義為樣品的體積,可以通過一個簡單的公式計算(1?βn) /(1?β),其中n是樣本的數(shù)量和β∈(0,1)是一個hyperparameter。我們設(shè)計了一個權(quán)重調(diào)整方案，利用每個類的有效樣本數(shù)來重新平衡損失，從而產(chǎn)生一個類平衡損失。對人工誘導(dǎo)的長尾CIFAR數(shù)據(jù)集和包括ImageNet和iNaturalist在內(nèi)的大規(guī)模數(shù)據(jù)集進行了綜合實驗。我們的結(jié)果顯示，當使用提議的類平衡損失訓(xùn)練時，網(wǎng)絡(luò)能夠在長尾數(shù)據(jù)集上獲得顯著的性能增益。

1. Introduction

深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs)最近在視覺識別方面的成功[25,36,37,16]在很大程度上歸功于大規(guī)模的、現(xiàn)實世界的帶注釋數(shù)據(jù)集[7,27,48,40]的可用性。與常用的視覺識別的數(shù)據(jù)集(例如,CIFAR[24,39],ImageNet ILSVRC 2012[7, 33]和CUB-200 Birds[42]),表現(xiàn)出大致均勻分布的類標簽,現(xiàn)實世界的數(shù)據(jù)集[21]都有著傾斜的分布,有著一條長尾:意思是幾個主導(dǎo)類占據(jù)大多數(shù)例子,而大多數(shù)其他的類只有著相對較少的例子。對這些數(shù)據(jù)進行訓(xùn)練的CNNs在弱表示類中表現(xiàn)較差[19,15,41,4]。?

最近的一些研究旨在緩解長尾訓(xùn)練數(shù)據(jù)的挑戰(zhàn)[3,31,17,41,43,12,47,44]。一般來說，有兩種策略:重新抽樣和成本敏感的重新加權(quán)。在重新抽樣中，通過對次要類進行過度抽樣(添加重復(fù)數(shù)據(jù))或?qū)χ饕愡M行欠抽樣(刪除數(shù)據(jù))，或兩者同時進行，可以直接調(diào)整示例的數(shù)量。在成本敏感的權(quán)重調(diào)整中，我們通過將相對較高的成本分配給來自較小類的示例來影響損失函數(shù)。在使用CNNs進行深度特征表示學(xué)習(xí)的情況下，重新采樣可能會引入大量的重復(fù)樣本，從而降低了訓(xùn)練速度；模型在過度采樣時容易出現(xiàn)過擬合，或者在欠采樣時可能丟棄對特征學(xué)習(xí)很重要的有價值的樣例。由于在CNN訓(xùn)練中使用重采樣的這些缺點，本文的工作重點是重新加權(quán)的方法，即如何設(shè)計一個更好的類平衡損失。

典型地，一個類平衡損失分配樣本權(quán)值與類頻率成反比。這種簡單的啟發(fā)式方法已被廣泛采用[17,43]。然而，最近針對大規(guī)模、真實世界、長尾數(shù)據(jù)集的訓(xùn)練工作[30,28]表明，在使用這種策略時，性能很差。相反，他們使用一種“平滑”版本的權(quán)值，這種權(quán)值根據(jù)經(jīng)驗設(shè)置為與類頻率的平方根成反比。這些觀察提出了一個有趣的問題:我們?nèi)绾卧O(shè)計一個適用于不同數(shù)據(jù)集數(shù)組的更好的類平衡損失?

我們打算從樣本容量的角度來回答這個問題。如圖1所示：

我們考慮訓(xùn)練一個模型來區(qū)分來自長尾數(shù)據(jù)集的主類和次類。由于數(shù)據(jù)的高度不平衡，直接訓(xùn)練模型或通過反樣本數(shù)來重新加權(quán)損失都不能得到令人滿意的結(jié)果。直觀地說，數(shù)據(jù)越多越好。然而，由于數(shù)據(jù)之間存在信息重疊，隨著樣本數(shù)量的增加，模型從數(shù)據(jù)中提取的邊際效益也隨之減少。基于此，我們提出了一種新的理論框架來描述數(shù)據(jù)重疊，并在模型和損失不可知的情況下計算樣本的有效數(shù)量。在損失函數(shù)中加入一個與有效樣本數(shù)成反比的類平衡權(quán)重項。大量的實驗結(jié)果表明，這個類平衡項顯著地提高了長尾數(shù)據(jù)集上訓(xùn)練CNNs的常用損失函數(shù)的性能。

我們的主要貢獻如下:(1)我們提供了一個理論框架來研究樣本的有效數(shù)量，并展示了如何設(shè)計一個類平衡項來處理長尾訓(xùn)練數(shù)據(jù)。(2)我們證明，在現(xiàn)有的常用損失函數(shù)(包括softmax cross-entropy, sigmoid cross-entropy和focal loss)中加入所提出的類平衡項可以顯著地改善性能。此外，我們證明了我們的類平衡損失可以作為視覺識別的一個通用損失，在ILSVRC 2012上表現(xiàn)優(yōu)于常用的softmax cross-entropy。我們相信，我們對樣本有效數(shù)量和類平衡損失的量化研究可以為長尾類分布領(lǐng)域的研究人員提供有用的指導(dǎo)。

2. Related Work

以往對長尾不平衡數(shù)據(jù)的研究主要分為兩種情況:重新采樣[35,12,4,50](包括過采樣和欠采樣)和成本敏感學(xué)習(xí)[38,49,17,22,34]。

Re-Sampling。過度采樣增加了小類的重復(fù)采樣，這可能導(dǎo)致模型過度擬合。為了解決這個問題，可以從相鄰的樣本[5]中插入新的樣本，或者對較小的類進行合成[14,50]。然而，由于新樣本中存在噪聲，模型仍然容易出錯。有人認為，即使欠抽樣會帶來刪除重要樣本的風(fēng)險，欠抽樣仍比過度抽樣更可取。

Cost-Sensitive Learning。成本敏感學(xué)習(xí)可以追溯到統(tǒng)計學(xué)中的一個經(jīng)典方法，稱為重要性抽樣[20]，在這個方法中，為了匹配給定的數(shù)據(jù)分布，為樣本分配權(quán)重。Elkan等人研究了在二分類的情況下，如何分配權(quán)重來調(diào)整決策邊界以匹配給定的目標。對于不平衡的數(shù)據(jù)集，通常采用逆類頻率[17,43]加權(quán)或逆類頻率的平方根的平滑版本[30,28]。作為基于理論框架的平滑加權(quán)的推廣，我們關(guān)注(a)如何量化樣本的有效數(shù)量和(b)使用它來重新加權(quán)損失。另一項重要的工作是研究樣本在損失方面的難度，并將更高的權(quán)重分配給hard示例[11,29,8,26]。小類的樣本比大類的樣本損失更大，因為小類學(xué)習(xí)的特征通常更差。然而，樣本難度與樣本數(shù)量之間并沒有直接的聯(lián)系。給hard示例分配更高的權(quán)重的一個副作用是會關(guān)注有害的樣本(例如，有噪聲的數(shù)據(jù)或錯誤標記的數(shù)據(jù))[23,32]。在我們的工作中，我們沒有對樣本的難度和數(shù)據(jù)分布做任何假設(shè)。在實驗中利用類平衡項對focal loss[26]進行了改進，證明了該方法與基于樣本難度的重加權(quán)方法是互補的。
值得一提的是，之前的工作也探索了處理數(shù)據(jù)不平衡的其他方法，包括將大類學(xué)到的知識轉(zhuǎn)移到小類[3,31,43,6,44]，并通過度量學(xué)習(xí)設(shè)計更好的訓(xùn)練目標[17,47,45]。

Covering and Effective Sample Size。我們的理論框架是受到隨機覆蓋問題[18]的啟發(fā)，其中的目標是覆蓋一個由一系列的i.i.d.隨機小集合組成的大的集合。我們通過作出合理的假設(shè)來簡化第3節(jié)中的問題。注意，本文提出的有效樣本量與統(tǒng)計中有效樣本量的概念不同。有效樣本容量用于計算樣本相關(guān)時的方差。

3. Effective Number of Samples

我們將數(shù)據(jù)抽樣過程表示為隨機覆蓋的簡化版本。關(guān)鍵的思想是將每個樣本與一個小的鄰近區(qū)域聯(lián)系起來，而不是單個點。給出了計算有效樣本數(shù)的理論框架和公式。

3.1. Data Sampling as Random Covering

給定一個類，表示該類特征空間中所有可能數(shù)據(jù)的集合為S。我們假設(shè)S的體積為N，且N≥1。表示每個數(shù)據(jù)是單位體積為1且可能與其他數(shù)據(jù)重疊的S的子集。將數(shù)據(jù)抽樣過程考慮為一個隨機覆蓋問題，其中每個數(shù)據(jù)(子集)從S中隨機抽樣以覆蓋整個S集。抽樣的數(shù)據(jù)越多，S的覆蓋越好。采樣數(shù)據(jù)的期望總?cè)萘侩S著數(shù)據(jù)數(shù)量的增加而增加，并以N為界。因此,我們定義:

Definition 1(Effective Number有效數(shù)字N)。有效樣本數(shù)N是樣本的期望體積。
樣本期望體積的計算是一個非常困難的問題，它取決于樣本的形狀和特征空間[18]的維數(shù)。為了使問題易于處理，我們通過不考慮部分重疊的情況來簡化問題。也就是說，我們假設(shè)一個新采樣的數(shù)據(jù)只能以兩種方式與之前采樣的數(shù)據(jù)交互:要么完全在之前采樣的數(shù)據(jù)集合內(nèi)部，概率為p，要么完全在外部，概率為1?p，如圖2所示。隨著采樣數(shù)據(jù)點數(shù)量的增加，概率p也會增大。

（即對于一個類的數(shù)據(jù)有一批有效樣本N（有效樣本即數(shù)據(jù)完全不同的，如經(jīng)過數(shù)據(jù)增強得到的k張數(shù)據(jù)只能算一個有效樣本），這時候取一個樣本，如果與已經(jīng)采樣的數(shù)據(jù)(灰色)部分有重疊的概率為p，完全不重疊的概率為1-p）

在深入研究數(shù)學(xué)公式之前，我們將討論有效樣本數(shù)量的定義與實際可視數(shù)據(jù)之間的關(guān)系。我們的想法是通過使用更多的類數(shù)據(jù)點來獲取邊際收益遞減。由于真實世界數(shù)據(jù)之間的內(nèi)在相似性，隨著樣本數(shù)量的增加，新添加的樣本極有可能是現(xiàn)有樣本的近似副本。此外，CNNs通過大量數(shù)據(jù)增強進行訓(xùn)練，對輸入數(shù)據(jù)進行簡單的轉(zhuǎn)換，如隨機剪切、重新縮放和水平翻轉(zhuǎn)。在這種情況下，所有的增強樣本也被認為與原始示例相同（即增強樣本判斷為與之前采樣的數(shù)據(jù)重疊的樣本，所以完全不同的樣本才能算一個有效樣本）。據(jù)推測，數(shù)據(jù)增強越強，N（即有效樣本數(shù)）就越小。樣本的小鄰域是一種通過數(shù)據(jù)增強來捕獲所有近重復(fù)項和實例的方法。對于一個類，N可以看作是唯一原型（即完全不一樣的樣本）的數(shù)量。

3.2. Mathematical Formulation

表示樣本的有效數(shù)量(期望體積)為En，其中n∈Z>0為樣本數(shù)量。

Proposition 1(Effective Number有效數(shù)字N)。即定義En =(1?βn) /(1?β), β= (N?1) / N。
證明：

我們用歸納法來證明這個命題。

很明顯E1?= 1，因為沒有重疊。所以E1?=(1?β1)/(1?β)= 1。

現(xiàn)在，讓我們考慮一個一般的情況，我們已經(jīng)抽樣n - 1個例子，并即將抽樣第n個例子。現(xiàn)在，先前采樣的數(shù)據(jù)的期望體積為En?1，而新采樣的數(shù)據(jù)點與先前采樣的數(shù)據(jù)點重疊的概率為p = En?1/N。因此，第n個樣本采樣后的期望體積為:

假設(shè)En?1?= (1 ? βn?1)/(1 ? β)保持，那么：

上述命題證明樣本的有效數(shù)量是n的一個指數(shù)函數(shù)。超參數(shù)β∈(0,1)控制En隨著n增長的速度（即抽樣的n數(shù)量增長，對應(yīng)能有的有效樣本N的數(shù)量也跟著增長，β是一個設(shè)置的參數(shù)，一般設(shè)置為[0.9, 1)）

有效數(shù)字En的另一種解釋是:

這意味著第j個樣本貢獻值βj?1到有效數(shù)字中。類中所有可能數(shù)據(jù)的總體積N可以計算為:

這是符合我們一開始定義的β命題（即β= (N?1) / N）。

推論?Implication1(漸近性質(zhì))。如果β= 0 (即N = 1)，則En?= 1。如果β→1 (即N→∞)，則En→n。
證明：

如果β= 0,那么En?= (1?0n) /(1?0) = 1

如果β→1,設(shè)f(β)= 1?βn?和 g(β)= 1?β。取極限得 limβ→1?f(β) = limβ→1?g(β)= 0, 求導(dǎo)g'(β)=?1? = 0,

那么取極限 limβ→1?f′(β)/ g′(β) = limβ→1?(?nβn?1) / (?1) = n 存在, 那么使用L’Ho?pital法則得：

En的漸近性質(zhì)表明，當N較大時，樣本的有效數(shù)量與樣本的數(shù)量n相同。在這種情況下，我們認為唯一原型的數(shù)量N較大，因此沒有數(shù)據(jù)重疊，每個樣本都是唯一的。（因此當我們有這足夠多的訓(xùn)練數(shù)據(jù)n時，我們就能夠認為其的樣本有效數(shù)量值N=n）

在另一個極端，如果N = 1，這意味著我們相信存在一個單一的原型，所以這個類中的所有數(shù)據(jù)都可以通過這個原型通過數(shù)據(jù)增強、轉(zhuǎn)換等來表示。

4. Class-Balanced Loss

上面確定好了樣本有效數(shù)量N后，接下來就要看怎么將其使用在損失函數(shù)中

通過引入一個與樣本有效數(shù)量成反比的權(quán)重因子，設(shè)計了類平衡損失來解決從不平衡數(shù)據(jù)中進行訓(xùn)練的問題。類平衡損失項可應(yīng)用于大范圍的深度網(wǎng)絡(luò)和損失函數(shù)。
對于帶有標簽labels y∈{1,2，…C}的輸入樣本x, 其中C是類的總數(shù)，假設(shè)模型的估計類概率（即模型的輸出結(jié)果）為 p = [p1, p2,…, pC]?, 其中pi∈[0,1]?i, 我們表示損失函數(shù)為 L(p, y)。

假設(shè)類i的樣本數(shù)量為ni,在方程2的基礎(chǔ)上, 對于該類i的有效樣本數(shù)為 Eni?=(1?βini) /(1?βi), 其中βi?= (Ni?1) /Ni。
如果沒有每個類的數(shù)據(jù)的進一步信息，就很難從經(jīng)驗上為所有類找到一組好的超參數(shù)Ni。因此,在實踐中,我們假設(shè)Ni只是基于數(shù)據(jù)集的,且對于一個數(shù)據(jù)集中的所有類來說 Ni= N,βi?=β= (N?1) / N。

為了平衡損失,我們引入一個權(quán)重因子αi，即與類i的有效樣本數(shù)量成反比: αi∝1 /Eni。為了在應(yīng)用αi時使總損失大約在同一規(guī)模,我們將歸一化αi，使：

?為了簡單起見,我們使用符號1 /Eni來表示我們的論文的歸一化權(quán)重因子。

正式地說，對于來自包含ni個樣本第i類中采樣得到的樣本，我們建議增加一個加權(quán)
因子(1?β)/(1?βni)到損失函數(shù)中,其中超參數(shù)β∈(0,1)，其實這個加權(quán)因子就是上面的符號1 /Eni。

所以類平衡孫書 (CB)損失可以寫成:

其中ny表示在真實類y中的樣本數(shù)量。我們在圖3可見在不同β的的ny函數(shù)中的類平衡損失項：

注意,β= 0對應(yīng)無重新加權(quán) 和 β→1對應(yīng)使用逆類頻率進行重新加權(quán)。

提出的有效樣本數(shù)的新概念使我們能夠使用一個超參數(shù)β順利調(diào)整完全無重新加權(quán)和使用逆類頻率進行重新加權(quán)之間的類平衡項。

提出的類平衡項(1?β)/(1?βny)與模型和損失無關(guān)的,?在某種意義上,與損失函數(shù)L和預(yù)測得到的類概率p是相對獨立的。

為了證明該類平衡損失項是通用的,我們將展示如何應(yīng)用該類平衡損失項到三個常用的損失函數(shù):softmax cross-entropy loss, sigmoid cross-entropy loss和focal loss中。

4.1. Class-Balanced Softmax Cross-Entropy Loss

假設(shè)所有類的模型預(yù)測輸出（即logits）是z=[z1,z2，…，zC]?, 其中C為類的總數(shù)。softmax函數(shù)認為每個類相互排斥，并在所有類上計算概率分布為?

，其中?i∈{1,2,...,C}。

給定一個類別label為y的樣本，該樣本的softmax cross-entropy(CE)損失為:

?假設(shè)類y有ny個訓(xùn)練樣本，則類平衡(CB)softmax cross-entropy損失為：

4.2. Class-Balanced Sigmoid Cross-Entropy Loss

與softmax不同的是，sigmoid函數(shù)計算的類概率假設(shè)每個類是獨立的，而不是互斥的。在使用sigmoid函數(shù)時，我們將多類視覺識別看作是多個二進制分類任務(wù)，其中網(wǎng)絡(luò)的每個輸出節(jié)點執(zhí)行一個vs所有的分類來預(yù)測目標類相對于其他類的概率。

與softmax相比，sigmoid對于真實世界的數(shù)據(jù)集可能有兩個優(yōu)點:(1)sigmoid不假定類之間的互斥性，這與真實世界的數(shù)據(jù)很好地一致，其中一些類可能彼此非常相似，特別是在大量細粒度類的情況下。(2)由于每個類都被認為是獨立的，并且有自己的預(yù)測器，所以sigmoid將單標簽分類與多標簽預(yù)測相結(jié)合。這是一個很好的屬性，因為真實世界的數(shù)據(jù)通常有多個語義標簽。
為簡單起見，我們使用與softmax?cross-entropy相同的符號，將zit定義為:

則sigmoid cross-entropy (CE)損失被寫成：

那么類平衡(CB)的sigmoid cross-entropy 損失為

4.3. Class-Balanced Focal Loss

最近提出的focal looss(FL)[26]在sigmoid cross-entropy損失的基礎(chǔ)上增加了一個調(diào)制因子，以減少分類良好的樣本的相對損失，并將重點放在困難樣本上。令pit?= sigmoid(zit) = 1/(1 + exp(?zit))，focal loss可表示為:

類平衡(CB)的focal loss為：

最初的focal loss是α-balanced變體。類平衡的focal loss是一樣是α-balanced損失，其中αt?=(1?β)/(1?βny)。因此,類平衡項可以被視為一個在有效的樣本數(shù)量的概念基礎(chǔ)，明確地在focal loss中設(shè)置αt的方式。

其實上面三個損失的CB版本就是在原來的式子中增加了一個特定的權(quán)重weight

實現(xiàn)可見Class-Balanced Loss Based on Effective Number of Samples - 2 - 代碼學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的Class-Balanced Loss Based on Effective Number of Samples - 1 - 论文学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。