在進(jìn)行 【深度學(xué)習(xí)的數(shù)學(xué)】接“2×3×1層帶sigmoid激活函數(shù)的神經(jīng)網(wǎng)絡(luò)感知機(jī)對(duì)三角形平面的分類訓(xùn)練預(yù)測(cè)”，輸出層加偏置b 的測(cè)試中，我們發(fā)現(xiàn)，模型的初始權(quán)重對(duì)模型的訓(xùn)練結(jié)果是影響非常大的，

如圖對(duì)比了兩種不同的模型訓(xùn)練結(jié)果，權(quán)重和偏置初始參數(shù)均采用正態(tài)分布隨機(jī)值

• 情況1
  
  
  

• 情況2
  
  
  

• 情況3
  
  
  

可以看到，情況1最接近我們預(yù)期的結(jié)果，情況2和情況3就比較奇怪，所以，選擇一個(gè)好的初始權(quán)重和偏置是非常重要的！

接下來(lái)我們選擇情況1中我們比較好的權(quán)重和偏置作為我們本次訓(xùn)練的初始權(quán)重和偏置，運(yùn)行程序，還是訓(xùn)練600次，可以看到，結(jié)果并沒(méi)有發(fā)生太大的變化！

當(dāng)我們把訓(xùn)練次數(shù)改成10000次，情況有些不一樣了

盡管繪制的圖形看起來(lái)與之前相比，仍未有較大改變！！

總結(jié)

以上是生活随笔為你收集整理的【深度学习的数学】初始权重和偏置参数对模型训练非常重要！（预训练模型、预训练文件、初始权重）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。