文章目錄

• • • • I . 神經網絡 后向傳播算法 計算 隱藏層 與 輸出層 的輸入輸出實例分析
      • II . 神經網絡 后向傳播算法 輸入層公式
      • III. 神經網絡 后向傳播算法 輸入層計算
      • IV . 神經網絡 后向傳播算法 隱藏層 / 輸出層 輸入公式
      • V . 神經網絡 后向傳播算法 隱藏層 / 輸出層 輸出公式
      • VI . 神經網絡 后向傳播算法 計算單元 4 輸入值 ( 隱藏層 )
      • VII . 神經網絡 后向傳播算法 計算單元 5 輸入值 ( 隱藏層 )
      • VIII . 神經網絡 后向傳播算法 計算單元 4 輸出值 ( 隱藏層 )
      • IX . 神經網絡 后向傳播算法 計算單元 5 輸出值 ( 隱藏層 )
      • X . 神經網絡 后向傳播算法 計算單元 6 輸入值 ( 輸出層 )
      • XI . 神經網絡 后向傳播算法 計算單元 6 輸出值 ( 輸出層 )

I . 神經網絡 后向傳播算法 計算 隱藏層 與 輸出層 的輸入輸出實例分析

---

以下面的三層神經網絡為例 , 網絡拓撲結構如下 :

1 . 網絡拓撲 : 該神經網絡本質是有向圖 , 由節點 和 有向弧組成 ;

① 輸入層 : 有 $3$ 個 神經元單元 ( 節點 ) , 分別是 $1,2,3$ 節點 ; 輸入屬性是經過規范化的屬性值 , 取值 $[0,1]$ ;

② 隱藏層 : 有 $2$ 個 神經元單元 ( 節點 ) , 分別是 $4,5$ 節點 , 輸入層 與 隱藏層 是全連接方式 ;

③ 輸出層 : 有 $1$ 個 單元 , $6$ 節點 ;

2 . 圖中的其它已知條件 :

① 輸入屬性 : 是規范化為 $[0,1]$ 區間的值 ;

② 連接方式 : 該網絡結構中的連接方式是全連接方式 , 即每個節點都連接全部的相鄰層的節點 ; ( 與之對應的是局部連接 )

③ 連接權值 : 每兩個節點間的連接都有一個權值 , 使用 $w_{ij}$ 表示 , 如 $w_{14}$ 表示節點 $1$ 和節點 $4$ 之間連接的權值 ;

④ 偏置 : 輸入層 和 隱藏層 的節點 , 每個節點都有一個偏置屬性 , 如節點 $1$ 偏置表示為 $b_1$ ;

輸入輸出表示 :

① 輸入表示 : 使用 $I_1$ 表示輸入 , $I$ 是 Input 輸入 單詞首字母 , $I_1$ 表示第 $1$ 個節點的輸入 ;

② 輸出表示 : 使用 $O_1$ 表示輸出 , $O$ 是 Output 輸出單詞首字母 , $O_1$ 表示第 $1$ 個節點的輸出 ;

II . 神經網絡 后向傳播算法 輸入層公式

---

輸入層公式 : 不做任何操作 , 只是將樣本屬性傳入即可 , 輸入層單元的值 , 就是樣本的規范化后的屬性值 ;

$$輸入值O_j=輸出值I_j=樣本屬性值X_j$$

$$O_j=I_j=X_j$$

$j$ 代表單元的索引值 ;

$O_j$ 代表單元輸入值 ;

$I_j$ 代表單元的輸出值 ;

$X_j$ 代表規范化后的樣本屬性值 ;

規范化屬性值 : 這個屬性值 $X_j$ 是經過規范化的 , 一般是 $[0,1]$ 區間內的值 ;

III. 神經網絡 后向傳播算法 輸入層計算

---

輸入層計算 : 輸入層的輸出值 $O_i$ 就是輸入值 $I_i$ , $i=1,2,3$ ;

① 節點 $1$ 計算 : $I_1$ 表示節點 $1$ 輸入 , $O_1$ 表示節點 $1$ 輸出 , 其中 $I_1=O_1=輸入樣本值X$ ;

② 節點 $2$ 計算 : $I_2$ 表示節點 $2$ 輸入 , $O_2$ 表示節點 $2$ 輸出 , 其中 $I_2=O_2=輸入樣本值X$ ;

③ 節點 $3$ 計算 : $I_3$ 表示節點 $3$ 輸入 , $O_1$ 表示節點 $3$ 輸出 , 其中 $I_1=O_3=輸入樣本值X$ ;

IV . 神經網絡 后向傳播算法 隱藏層 / 輸出層 輸入公式

---

隱藏層 / 輸出層 輸入公式 :

單個單元輸入計算公式方式 ( 重要 ) : 如果有多個上層單元連接本層的 單元 $j$ , 只有一個單元 , 可以使用下面的公式計算 , 如果上層有多個單元連接本單元 , 本公式不適用 , 需要多個輸入值累加 ;
$$輸入值=上一層單元輸出值\times 連接權值+偏置$$

單元 $j$ 的上層有多個單元連接的輸入值計算方式 :
$$I_j=\sum _{i=1}^n(w_{ij}{O}_i+{\theta }_i)$$
$$i=1,?,n$$

$I_j$ 表示單元 $j$ 的輸入 ;

$n$ 表示前一層有 $n$ 個單元與 本層的 單元 $j$ 連接 ; $n\ge 0$ ;

$i$ 表示前一層的單元索引 ;

$w_{ij}$ 表示 前一層的單元 $i$ 與本層的連接的 權值 ;

$O_i$ 表示上一層的輸出 ; 這里注意 上一層的輸出 與 連接權重 和 偏置 計算后 , 組成下一層的輸入 ;
( 上一層的輸出值 是 根據上上層的輸出 與 上上層 與 連接 偏置計算 得來的 )

${\theta }_i$ 表示上一層單元 $i$ 的偏置 , 該值通常與連接權值組合使用 , 可以看做是連接的附屬屬性 , 這樣好理解 ;

V . 神經網絡 后向傳播算法 隱藏層 / 輸出層 輸出公式

---

隱藏層 與 輸出層 輸出值計算過程 : 使用 激活函數 , 將輸入值轉為輸出值 , 一般使用 Sigmoid 激活函數 ;

$$O_j=\frac{1}{1+e^{?I_j}}$$

Sigmoid 是非線性激活函數 , 作用是將全體實數 映射到 $(0,1)$ 區間上 , 這樣就能保證輸出的值是一個 $(0,1)$ 之間的值 ;

$O_j$ 代表單元 $j$ 的輸出值 ;

$I_j$ 代表單元 $j$ 的輸入值 ;

VI . 神經網絡 后向傳播算法 計算單元 4 輸入值 ( 隱藏層 )

---

1 . 計算隱藏層 輸入值 : 需要根據 前一層的輸入 , 結合 權值 , 偏置 進行線性累加計算 ;

2 . 計算單元 $4$ 的輸入值 :

① 計算過程 :

$$I_4=(w_{14}{O}_1+b_1)+(w_{24}{O}_2+b_2)+(w_{34}{O}_3+b_3)$$

② 連接權值 : $w_{14},w_{24},w_{34}$ 是三條有向弧連接的權值 ; 如 $w_{14}$ 是單元 $1$ 與 單元 $4$ 連接的權值 ;

③ 偏置 : $b_1,b_2,b_3$ 分別是 單元 $1,2,3$ 的偏置 ;

④ 上層單個單元輸出對應的輸入值 :

$(w_{14}{O}_1+b_1)$ 對應單元 $1$ 輸出到單元 $4$ 的輸入值 ;

$(w_{24}{O}_2+b_2)$ 對應單元 $2$ 輸出到單元 $4$ 的輸入值 ;

$(w_{34}{O}_3+b_3)$ 對應單元 $3$ 輸出到單元 $4$ 的輸入值 ;

⑤ 匯總輸入值 : 單元 $4$ 的總的輸入值就是上述三個值的累加 ;

VII . 神經網絡 后向傳播算法 計算單元 5 輸入值 ( 隱藏層 )

---

計算單元 $5$ 的輸入值 :

① 計算過程 :

$$I_5=(w_{15}{O}_1+b_1)+(w_{25}{O}_2+b_2)+(w_{35}{O}_3+b_3)$$

② 連接權值 : $w_{15},w_{25},w_{35}$ 是三條有向弧連接的權值 ; 如 $w_{15}$ 是單元 $1$ 與 單元 $5$ 連接的權值 ;

③ 偏置 : $b_1,b_2,b_3$ 分別是 單元 $1,2,3$ 的偏置 ;

④ 上層單個單元輸出對應的輸入值 :

$(w_{15}{O}_1+b_1)$ 對應單元 $1$ 輸出到單元 $5$ 的輸入值 ;

$(w_{25}{O}_2+b_2)$ 對應單元 $2$ 輸出到單元 $5$ 的輸入值 ;

$(w_{35}{O}_3+b_3)$ 對應單元 $3$ 輸出到單元 $5$ 的輸入值 ;

⑤ 匯總輸入值 : 單元 $5$ 的總的輸入值就是上述三個值的累加 ;

VIII . 神經網絡 后向傳播算法 計算單元 4 輸出值 ( 隱藏層 )

---

計算單元 $4$ 輸出值 : 使用 Sigmoid 激活函數將輸入值轉為輸出值 ;

$$O_4=\frac{1}{1+e^{?I_4}}$$

Sigmoid 是非線性激活函數 , 作用是將全體實數 映射到 $(0,1)$ 區間上 , 這樣就能保證輸出的值是一個 $(0,1)$ 之間的值 ;

$O_4$ 代表單元 $4$ 的輸出值 ;

$I_4$ 代表單元 $4$ 的輸入值 ;

IX . 神經網絡 后向傳播算法 計算單元 5 輸出值 ( 隱藏層 )

---

計算單元 $5$ 輸出值 : 使用 Sigmoid 激活函數將輸入值轉為輸出值 ;

$$O_5=\frac{1}{1+e^{?I_5}}$$

Sigmoid 是非線性激活函數 , 作用是將全體實數 映射到 $(0,1)$ 區間上 , 這樣就能保證輸出的值是一個 $(0,1)$ 之間的值 ;

$O_5$ 代表單元 $5$ 的輸出值 ;

$I_5$ 代表單元 $5$ 的輸入值 ;

X . 神經網絡 后向傳播算法 計算單元 6 輸入值 ( 輸出層 )

---

計算單元 $6$ 的輸入值 :

① 計算過程 :

$$I_6=(w_{46}{O}_4+b_4)+(w_{56}{O}_5+b_5)$$

② 連接權值 : $w_{46},w_{56}$ 是 $2$ 條有向弧連接的權值 ; 如 $w_{46}$ 是單元 $4$ 與 單元 $6$ 連接的權值 ;

③ 偏置 : $b_4,b_5$ 分別是 單元 $4,5$ 的偏置 ;

④ 上層單個單元輸出對應的輸入值 :

$(w_{45}{O}_4+b_4)$ 對應單元 $4$ 輸出到單元 $6$ 的輸入值 ;

$(w_{46}{O}_5+b_5)$ 對應單元 $5$ 輸出到單元 $6$ 的輸入值 ;

⑤ 匯總輸入值 : 單元 $6$ 的總的輸入值就是上述三個值的累加 ;

XI . 神經網絡 后向傳播算法 計算單元 6 輸出值 ( 輸出層 )

---

計算單元 $6$ 輸出值 : 使用 Sigmoid 激活函數將輸入值轉為輸出值 ;

$$O_6=\frac{1}{1+e^{?I_6}}$$

Sigmoid 是非線性激活函數 , 作用是將全體實數 映射到 $(0,1)$ 區間上 , 這樣就能保證輸出的值是一個 $(0,1)$ 之間的值 ;

$O_6$ 代表單元 $6$ 的輸出值 ;

$I_6$ 代表單元 $6$ 的輸入值 ;

$O_6$ 就是最終的分類結果 ;

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的【数据挖掘】神经网络 后向传播算法 向前传播输入 案例计算分析 ( 网络拓扑 | 输入层计算 | 隐藏层计算 | 输出层计算 )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。