原文：Going Deeper with Convolutions

Inception v1

1、四個(gè)問題

要解決什么問題？

• 提高模型的性能，在ILSVRC14比賽中取得領(lǐng)先的效果。
• 最直接的提高網(wǎng)絡(luò)性能方法有兩種：增加網(wǎng)絡(luò)的深度（網(wǎng)絡(luò)的層數(shù)）和增加網(wǎng)絡(luò)的寬度（每層的神經(jīng)元數(shù)）。這樣的做法有如下兩個(gè)缺點(diǎn)待改進(jìn)：
  • 構(gòu)建更大的網(wǎng)絡(luò)也意味著會(huì)有更多的參數(shù)，這也會(huì)讓網(wǎng)絡(luò)更容易過擬合。
  • 同時(shí)也會(huì)需要更多的計(jì)算資源。

用了什么方法解決？

• 作者認(rèn)為解決前面提到的那兩個(gè)問題的根本方法是將全連接層，甚至是卷積層都替換為稀疏連接。
• 但是使用稀疏連接會(huì)浪費(fèi)大量的計(jì)算資源。如果要有更高的計(jì)算性能，需要使用較為密集的矩陣運(yùn)算。
• 因此，作者的想法是尋找一種方法，既能保持網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能利用密集矩陣的高計(jì)算性能。
• 大量文獻(xiàn)表明可以將稀疏矩陣聚類為密集矩陣來提高計(jì)算性能，作者依此提出了Inception結(jié)構(gòu)。

效果如何？

• 在ImageNet2014獲得分類任務(wù)第一名，力壓VGG。
• 將Inception遷移到其他視覺任務(wù)上也可以取得state-of-the-art的效果。

還存在什么問題？

• Inception主要是為計(jì)算機(jī)視覺任務(wù)設(shè)計(jì)的，遷移到其他領(lǐng)域不一定有效。
• Inception v1現(xiàn)在也算比較老的網(wǎng)絡(luò)，主要借鑒它的思想（要用還是會(huì)選擇Inception v3/v4的）。

2、論文概述

2.1、結(jié)構(gòu)細(xì)節(jié)

• Inception的主要思想是：設(shè)計(jì)一個(gè)結(jié)構(gòu)，這個(gè)結(jié)構(gòu)可以使用密集的成分來近似模擬一個(gè)局部稀疏的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

• 對(duì)Inception模塊的說明：
• 采用幾個(gè)不同的卷積核意味著具有不同大小的感受野，最后拼接在一起就意味著不同尺度特征的融合。
• 采用$1\times 1$、$3\times 3$和$5\times 5$的卷積核的目的是為了方便后面對(duì)齊。
  • 假設(shè)卷積的步長(zhǎng)$stride=1$，那么分別設(shè)定$padding=0/1/2$，那么卷積后可以直接得到相同維度的特征圖，可以直接拼接在一起。
• 作者提到，pooling對(duì)于如今許多卷積神經(jīng)網(wǎng)絡(luò)的成功都有不可或缺的作用，所以他也在Inception內(nèi)嵌入了$3\times 3$的max pooling。
• 網(wǎng)絡(luò)越到后面，特征也越抽象。因?yàn)橐獙⑦@些抽象特征進(jìn)一步組合起來提取更高維的特征，網(wǎng)絡(luò)不能只關(guān)注小范圍內(nèi)的特征信息了，所以需要讓感受野大一些，看到更多的抽象信息。因此，$3\times 3$和$5\times 5$卷積的比例要增加。
• Inception模塊還存在一個(gè)巨大的問題：那就是使用$5\times 5$卷積會(huì)帶來大量的計(jì)算量。
• 所以作者又借鑒了Network in Network論文中的方法，使用$1\times 1$卷積來降維，減少計(jì)算量。改進(jìn)結(jié)構(gòu)如下圖：

2.2、GoogleNet結(jié)構(gòu)

• GoogleNet結(jié)構(gòu)說明：
• 采用Inception模塊堆疊而成。
• 基于Network in Netw論文中的思想，在最后使用了average pooling來代替展開為全連接層的形式。實(shí)驗(yàn)也證明這樣可以提高top-1準(zhǔn)確率大概0.6%。
• 最后加的那個(gè)全連接層主要是為了便于大家將網(wǎng)絡(luò)用于其他的數(shù)據(jù)集finetune。
• 網(wǎng)絡(luò)中使用了dropout防止過擬合。
• 網(wǎng)絡(luò)中還額外增加了兩個(gè)輔助的softmax層。主要作用是，避免梯度消失，幫助梯度的傳導(dǎo)。實(shí)際測(cè)試模型的時(shí)候，會(huì)將這兩個(gè)softmax去除。

3、參考資料

Going Deeper with Convolutions

GoogLeNet系列解讀

總結(jié)

以上是生活随笔為你收集整理的论文笔记：Inception v1的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。