神经网络为什么要加偏置?---bias与费米能级εF
生活随笔
收集整理的這篇文章主要介紹了
神经网络为什么要加偏置?---bias与费米能级εF
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
神經網絡不加偏置也可以運行也就是說偏置bias對于神經網絡來說不是必須的,那為什么一定要加偏置,有仿生學解釋,但是人腦的分子數量是mol量級的,光蛋白質就有幾萬種,這么復雜的結構應該不是加一個偏置就能模擬的。
直到看到了Fermi-Dirac分布函數
這個函數是由費米和狄拉克在1926年得出的,這個函數看起來像sigmoid實際上當初就是由sigmoid函數構造的。所以是sigmoid函數產生在前。而Hinton用sigmoid實現反向傳導已經是60年以后。
Fermi-Dirac分布函數是描述熱平衡體系中粒子按能量分布的一種規律。即表示一個電子占據能量為ε的本征態的幾率,其值為0~1
β≡1/(kB*T)
kB是玻耳茲曼常量
T是溫度
ε是能量
εF是費米能級即系統中電子的化學勢,對于金屬,絕對零度下,電子占據的最高能級就是費米能級
所以根據神經網絡算法很容易得出當β=1時,εF很顯然就是bias
總結
以上是生活随笔為你收集整理的神经网络为什么要加偏置?---bias与费米能级εF的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 概率模型分子动力学模拟五元环吡咯C4H5
- 下一篇: 神经网络的物理学解释(一)---权重与概