文章目錄

• • • • I . 線性回歸 與 邏輯回歸
      • II . sigmod 非線性激活函數(shù)
      • III . 神經(jīng)元單元 邏輯
      • IV . 單個(gè) 神經(jīng)元單元 總結(jié)
      • V . 神經(jīng)網(wǎng)絡(luò) 每一層分析
      • VI . 神經(jīng)網(wǎng)絡(luò) 矩陣形式

I . 線性回歸 與 邏輯回歸

---

1 . 神經(jīng)元單元本質(zhì) : 一個(gè) 神經(jīng)元 單元 , 其本質(zhì)是 邏輯回歸單元 ;

2 . 邏輯回歸 與 線性回歸 :

① 回歸 : 用于預(yù)測(cè)連續(xù)的值 , 叫做回歸 ; 預(yù)測(cè)離散的值叫做分類 ;

② 線性回歸 : 確定若干變量之間的相互依賴關(guān)系 ; 回歸分析中 , 自變量 $x$ , 因變量 $y$ , $y=wx+b$ , 自變量和因變量之間的關(guān)系是一條直線 , 叫做一元線性回歸分析 ; 如果有多個(gè)自變量 , 自變量與因變量是線性關(guān)系 , 叫做多遠(yuǎn)線性回歸分析 ;

③ 邏輯回歸 : 是廣義的線性回歸 , 類似于多重線性回歸分析 , 其模型都包含 $wx+b$ ; 多重線性回歸將 $wx+b$ 作為因變量 ; 邏輯回歸 通過函數(shù) $L$ , 將 $wx+b$ 轉(zhuǎn)為狀態(tài) $p$ , p 決定因變量的值 , $L$ 函數(shù)如果是邏輯函數(shù) , 該回歸就是邏輯回歸 ;

④ sigmod 激活函數(shù) : 這里的 sigmod 激活函數(shù)就是邏輯回歸函數(shù) , 因此該回歸也叫作邏輯回歸 ;

⑤ 線性支持向量機(jī) : 某種程度上是邏輯回歸 ;

II . sigmod 非線性激活函數(shù)

---

1 . sigmod 非線性變換函數(shù)的作用 : 目的是為了進(jìn)行非線性變換 ;

沒有邏輯回歸后果 : 如果沒有非線性變換 , 不管神經(jīng)網(wǎng)絡(luò)是多少層的 , 只能進(jìn)行 $1$ 個(gè)線性變換 ; 每一層的輸出都是上一層的輸出的線性變換結(jié)果 , 即使有 $100$ 層 , 其變換還是線性的 , 無法擬合復(fù)雜的的函數(shù)變換 ;

sigmod 函數(shù)是非線性的激活函數(shù) , 目的是將線性的計(jì)算 , 轉(zhuǎn)為非線性的計(jì)算方式 ;

引入了非線性激活函數(shù) , 使整個(gè)神經(jīng)網(wǎng)絡(luò)的模型更加 靈活 ;

2 . 線性計(jì)算 : 神經(jīng)元單元 輸入的計(jì)算方式是 將上一層單元的輸出進(jìn)行線性疊加 , 乘以一個(gè)權(quán)值 , 再加上偏置 , 這是線性計(jì)算 , 該操作執(zhí)行 $100$ 次也是線性操作 ;

3 . 非線性計(jì)算 : 神經(jīng)元單元 輸出的計(jì)算方式是 將輸入的數(shù)值 , 經(jīng)過 sigmod 激活函數(shù) , 轉(zhuǎn)為一個(gè) $(0,1)$ 的輸出結(jié)果 , 該計(jì)算過程是非線性的操作 ;

III . 神經(jīng)元單元 邏輯

---

神經(jīng)元單元 邏輯 :

$$h_{w,b}(x)=f(wx+b)$$
$$f(z)=\frac{1}{1+e^{?z}}$$

$x$ 是上一層連接單元的輸出 ;

$w$ 指的是單元之間連接的權(quán)重 ;

$b$ 指的是單元本身的偏置屬性 , 可能是一個(gè)單元的偏置 , 如果有多個(gè)連接 , 就是多個(gè)單元的偏置之和 ;

$h$ 就是將線性的 $wx+b$ 結(jié)果轉(zhuǎn)為 $(0,1)$ 區(qū)間值的隱藏狀態(tài) ;

$wx+b$ 是本層的輸入 ;

$f$ 函數(shù)是一個(gè)非線性的激活函數(shù) , 這里指的是 sigmod 激活函數(shù) , 將本層的輸入轉(zhuǎn)為本層的輸出 , 該函數(shù)將全體實(shí)數(shù)映射到 $(0,1)$ 之間 ;

$h_{w,b}(x)$ 是將上一層的輸出 , 轉(zhuǎn)為本層的輸出 ;

IV . 單個(gè) 神經(jīng)元單元 總結(jié)

---

1 . 單個(gè) 神經(jīng)元單元 總結(jié) :

① 線性回歸轉(zhuǎn)換成輸入 : 計(jì)算中間層單元的輸入時(shí) , 通過上一層的輸出值 乘以 連接權(quán)值 , 加上偏置 , 等一系列線性計(jì)算 , 得到輸入值 , 這是線性回歸變換 ;

② 邏輯回歸轉(zhuǎn)換成輸出 : 將上述線性回歸變換的結(jié)果 , 經(jīng)過 sigmod 激活函數(shù)計(jì)算 , 將多個(gè)線性輸入 , 轉(zhuǎn)化成了 $(0,1)$ 區(qū)間內(nèi)的 單個(gè)輸出 ,

2 . 通過線性回歸將輸出轉(zhuǎn)為輸入 ;

然后通過 sigmod 激活函數(shù) , 將輸入轉(zhuǎn)換成了 $(0,1)$ 區(qū)間的 輸出值 ;

單層的 多個(gè)神經(jīng)元單元 , 可以看做是同時(shí)并發(fā)運(yùn)行的邏輯回歸單元 ;

V . 神經(jīng)網(wǎng)絡(luò) 每一層分析

---

1 . 神經(jīng)網(wǎng)絡(luò)本質(zhì) : 神經(jīng)元的本質(zhì)是運(yùn)行單個(gè)邏輯回歸單元 , 神經(jīng)網(wǎng)絡(luò)的本質(zhì)是 在每一層并行運(yùn)行多個(gè)邏輯回歸單元 , 先后運(yùn)行多層 ( 輸入層 / 隱藏層 / 輸出層 ) ;

2 . 神經(jīng)網(wǎng)絡(luò)每層單元運(yùn)行機(jī)制 ( 并行運(yùn)行多個(gè)單元 ) : 對(duì)于神經(jīng)網(wǎng)絡(luò)中的每一層 , 有若干個(gè)神經(jīng)元單元 , 該層的運(yùn)行相當(dāng)于若干個(gè) 神經(jīng)元單元 并行運(yùn)行 , 即 該層的神經(jīng)元單元同時(shí)進(jìn)行 輸入計(jì)算 , 同時(shí)進(jìn)行輸出計(jì)算 , 然后根據(jù)輸出 , 計(jì)算后一層的每個(gè)單元的輸入值 ;

3 . 神經(jīng)網(wǎng)絡(luò)每層的輸入輸出 :

① 線性輸入 : 神經(jīng)網(wǎng)絡(luò)每一層的輸入 , 可以看做若干線性回歸 計(jì)算 ;

② 邏輯輸出 : 神經(jīng)網(wǎng)絡(luò)每一層的輸出 , 可以看做若干邏輯回歸 計(jì)算 ;

4 . 神經(jīng)網(wǎng)絡(luò)層計(jì)算本質(zhì) : 將 向量值 ( 多個(gè)單元的輸入值 ) 傳入一組邏輯回歸函數(shù) ( sigmod 激活函數(shù) ) , 得到的也是向量值輸出 ( 多個(gè)單元的輸出值 ) ;

向量值就是多個(gè)變量組成的一維矩陣 ;

VI . 神經(jīng)網(wǎng)絡(luò) 矩陣形式

---

1 . 使用上一篇博客的示例 : 以計(jì)算下圖中的 $4,5$ 兩個(gè)節(jié)點(diǎn)的輸入 和 輸出為例 ;

① 節(jié)點(diǎn) $4,5$ 輸入計(jì)算

$$I_4=(w_{14}{O}_1+b_1)+(w_{24}{O}_2+b_2)+(w_{34}{O}_3+b_3)$$
$$I_5=(w_{15}{O}_1+b_1)+(w_{25}{O}_2+b_2)+(w_{35}{O}_3+b_3)$$

② 連接權(quán)值 : $w_{14},w_{24},w_{34},w_{15},w_{25},w_{35}$ 是 $6$ 條有向弧連接的權(quán)值 ; 如 $w_{14}$ 是單元 $1$ 與 單元 $4$ 連接的權(quán)值 ;

③ 偏置 : $b_1,b_2,b_3$ 分別是 單元 $1,2,3$ 的偏置 ;

④ 上層單個(gè)單元輸出對(duì)應(yīng)的輸入值 :

$(w_{14}{O}_1+b_1)$ 對(duì)應(yīng)單元 $1$ 輸出到單元 $4$ 的輸入值 ;

$(w_{24}{O}_2+b_2)$ 對(duì)應(yīng)單元 $2$ 輸出到單元 $4$ 的輸入值 ;

$(w_{34}{O}_3+b_3)$ 對(duì)應(yīng)單元 $3$ 輸出到單元 $4$ 的輸入值 ;

$(w_{15}{O}_1+b_1)$ 對(duì)應(yīng)單元 $1$ 輸出到單元 $5$ 的輸入值 ;

$(w_{25}{O}_2+b_2)$ 對(duì)應(yīng)單元 $2$ 輸出到單元 $5$ 的輸入值 ;

$(w_{35}{O}_3+b_3)$ 對(duì)應(yīng)單元 $3$ 輸出到單元 $5$ 的輸入值 ;

2 . 隱藏層 輸入 計(jì)算的矩陣形式 :

隱藏層輸入計(jì)算 : $$Z=Wx+b$$

隱藏層輸出計(jì)算 : $$a=f(z)$$

① $w$ 矩陣 : 上一層單元 與 本層單元 連接的 權(quán)值矩陣 , 共有 $6$ 個(gè)連接 , 如 $w_{14}$ 代表單元 $1$ 和單元 $4$ 的連接 ;

$$W=?\begin{array}{ccc}{w}_{14}& w_{24}& w_{34}\\ & & \\ w_{15}& w_{25}& w_{35}\end{array}?$$

② $x$ 矩陣 : 代表上一層單元的輸出值 矩陣 , $O_1$ 代表單元 $1$ 的輸出 , $O_2$ 代表單元 $2$ 的輸出 , $O_3$ 代表單元 $3$ 的輸出 ;

$$x=?\begin{array}{c}{O}_1\\ \\ O_2\\ \\ O_3\end{array}?$$

③ $b$ 矩陣 : b 代表上一層單元的偏置矩陣 ;

$$b=?\begin{array}{c}{b}_1\\ \\ b_2\\ \\ b_3\end{array}?$$

④ $z$ 矩陣 : 代表隱藏層輸入值矩陣 , 使用上面的 $w,x,b$ 三個(gè)矩陣計(jì)算出的結(jié)果也是矩陣 , 結(jié)果是線性計(jì)算輸入的值組成的矩陣 ;

$$z=?\begin{array}{c}{I}_1\\ \\ I_2\end{array}?$$

⑤ $a$ 矩陣 : 代表隱藏層的 $2$ 個(gè)單元的輸出值 ;

$$a=?\begin{array}{c}{O}_1\\ \\ O_2\end{array}?$$

即 :

$$O_1=\frac{1}{1+e^{?I_1}}$$

$$O_2=\frac{1}{1+e^{?I_2}}$$

3 . 矩陣形式 展開 :

① 隱藏層輸入計(jì)算 : $$Z=Wx+b$$

② 隱藏層輸出計(jì)算 : $$a=f(z)$$

③ 隱藏層輸入計(jì)算矩陣形式展開后為 :

$$?\begin{array}{c}{I}_1\\ \\ I_2\end{array}?=?\begin{array}{ccc}{w}_{14}& w_{24}& w_{34}\\ & & \\ w_{15}& w_{25}& w_{35}\end{array}?\times ?\begin{array}{c}{O}_1\\ \\ O_2\\ \\ O_3\end{array}?+?\begin{array}{c}{b}_1\\ \\ b_2\\ \\ b_3\end{array}?$$

④ 隱藏層輸出計(jì)算矩陣形式展開后為 :

$$?\begin{array}{c}{O}_1\\ \\ O_2\end{array}?=f(?\begin{array}{c}{I}_1\\ \\ I_2\end{array}?)$$

總結(jié)

以上是生活随笔為你收集整理的【数据挖掘】神经网络 后向传播算法 ( 线性回归与逻辑回归 | 单个神经元本质及逻辑 | 神经网络每一层分析 | 神经网络矩阵形式 | 线性变换与非线性变换 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。