一.文獻(xiàn)名字和作者

? ??Improving neural networks by preventing?co-adaptation of feature detectors，?G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov ? ?

二.閱讀時間

? ? 2014年11月7日

三.文獻(xiàn)的貢獻(xiàn)點

? ? ?這篇文章主要提出了Dropout技術(shù)，用于神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合的情況。

3.1主要過程

? ? ?Dropout的主要過程如下： ? ? ?1.在訓(xùn)練過程中，對于每一個訓(xùn)練樣本，隱藏層的每一個神經(jīng)元能夠保持激活的概率為0.5,； ? ? ?2.在測試過程中，每一個隱藏層的神經(jīng)元都能保持激活，但是，必須將輸出值乘以0.5，這是因為在測試的過程中，相比于訓(xùn)練過程，增加了一倍的神經(jīng)元數(shù)目，因此，需要將神經(jīng)元的輸出乘以0.5。

3.2 Dropout的好處

? ? ?1.Dropout的過程可以看做是一個在不同訓(xùn)練樣本時網(wǎng)絡(luò)結(jié)構(gòu)不同的神經(jīng)網(wǎng)絡(luò)，但是這些網(wǎng)絡(luò)都是用相同的權(quán)值； ? ? 2.Dropout使得能夠在一個合適的時間能訓(xùn)練大量的結(jié)構(gòu)不同的神經(jīng)網(wǎng)絡(luò)，雖然權(quán)值都是相同的； ? ? 3.使用L2模的權(quán)值梯度上限而不是使用L2模的權(quán)值懲罰項，使得神經(jīng)網(wǎng)絡(luò)能夠從一個大的學(xué)習(xí)速率開始學(xué)習(xí)，同時也允許神經(jīng)網(wǎng)絡(luò)在一個大的權(quán)值空間進(jìn)行搜索； ? ? 4.使用Dropout能夠獲得一個“平均網(wǎng)絡(luò)”，使用“平均網(wǎng)絡(luò)”能夠獲得比使用多個單個的dropout神經(jīng)網(wǎng)絡(luò)進(jìn)行平均能夠獲得更好的效果。

3.3 與預(yù)訓(xùn)練相結(jié)合

? ? 在和預(yù)訓(xùn)練進(jìn)行結(jié)合的時候，需要將學(xué)習(xí)速率設(shè)置得比較小，同時，要將權(quán)值梯度的最大值設(shè)置取消，這樣可以避免破壞了預(yù)訓(xùn)練過程中學(xué)習(xí)到的特征提取器。

3.4 與CNN結(jié)合

? ? 對于CNN來說，dropout主要用于全連接層，在所有的全連接層都是用Dropout能夠獲得更好的效果。在輸入層是用dropout也能獲得比較好的效果，但是，必須保證輸入的激活概率要在50%以上。

3.5 其他

? ? 對于那些需要大量不同的“制度”來獲得輸入和輸出關(guān)系的系統(tǒng)，其性能可以通過一個課學(xué)習(xí)的dropout概率來獲得提升。

總結(jié)

以上是生活随笔為你收集整理的Improving neural networks by preventing co-adaptation of feature detectors的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。