FROm:http://blog.csdn.net/u012162613/article/details/43971215

節(jié)選自語義分析的一些方法(二)，以后會不斷補(bǔ)充。——by wepon

---

結(jié)合文獻(xiàn)『Deep Learning for Computer Vision』， 以下講講卷積神經(jīng)網(wǎng)絡(luò)的一些注意點(diǎn)和問題。

• 激勵函數(shù)，要選擇非線性函數(shù)，譬如tang，sigmoid，rectified liner。在CNN里，relu用得比較多，原因在于：(1)簡化BP計(jì)算；(2)使學(xué)習(xí)更快。(3)避免飽和問題(saturation issues)

• 池化(Pooling)：其作用在于(1)對一些小的形態(tài)改變保持不變性，Invariance to small transformations；(2)擁有更大的感受域，Larger receptive fields。pooling的方式有sum or max。

• Normalization：Equalizes the features maps。它的作用有：(1) Introduces local competition between features；(2)Also helps to scale activations at each layer better for learning；(3)Empirically, seems to help a bit (1–2%) on ImageNet

• 訓(xùn)練CNN：back-propagation；stochastic gradient descent；Momentum；Classification loss，cross-entropy；Gpu實(shí)現(xiàn)。

• 預(yù)處理：Mean removal；Whitening(ZCA)

• 增強(qiáng)泛化能力：Data augmentation；Weight正則化；在網(wǎng)絡(luò)里加入噪聲，包括DropOut，DropConnect，Stochastic pooling。

  • DropOut：只在全連接層使用，隨機(jī)的將全連接層的某些神經(jīng)元的輸出置為0。
  • DropConnect：也只在全連接層使用，Random binary mask on weights.
  • Stochastic Pooling：卷積層使用。Sample location from multinomial。

• 模型不work，怎么辦？結(jié)合我自身的經(jīng)驗(yàn)，learning rate初始值設(shè)置得太大，開始設(shè)置為0.01，以為很小了，但實(shí)際上0.001更合適。

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络的一些细节的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。