線性回歸

算法方程：$h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$

損失函數(shù)：$J\left({\theta }_0,{\theta }_1,\dots ,{\theta }_n\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)}^2$
將損失函數(shù)看做是關(guān)于$\theta$的函數(shù)。

最小化損失函數(shù)：凸函數(shù)可以找到全局最優(yōu)解，算法梯度下降。
$\begin{array}{l}{\theta }_0:={\theta }_0?\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_0^{(i)}\\ {\theta }_1:={\theta }_1?\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_1^{(i)}\\ {\theta }_2:={\theta }_2?\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_2^{(i)}\\ \dots \end{array}$

學(xué)習(xí)率：${\theta }_1:={\theta }_1?\alpha \frac{d}{d{\theta }_1}J\left({\theta }_1\right)$
與收斂速度相關(guān)

過擬合與欠擬合：我們的假設(shè)函數(shù)曲線對原始數(shù)據(jù)擬合得非常好，但喪失了一般推到性，以致于預(yù)測效果很差。
解決方法：正則化
作用：控制參數(shù)幅度；限制參數(shù)搜索空間
$J(\theta )=\frac{1}{2m}\left[{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)}^2+\lambda {\sum }_{j=1}^n{\theta }_j^2\right]$
假設(shè)原始線程方式是$h_{\theta }(x)={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$，在線訓(xùn)練過程中，根據(jù)訓(xùn)練集數(shù)據(jù)大小，每一個$\theta$的都可能非常大，或者非常小，這條線抖動非常大。如果在損失函數(shù)中加入${\sum }_{j=1}^n{\theta }_j^2$，因?yàn)閾p失函數(shù)要求最小值，所以每一個$\theta$的值就不可能很大。
$\lambda$是一個超參數(shù)。$\lambda$太小，正則化項(xiàng)不起作用；$\lambda$太大，學(xué)習(xí)到的參數(shù)主要由正則化項(xiàng)決定，與訓(xùn)練數(shù)據(jù)無關(guān)，也是錯誤的。
通常使用L1、L2正則化。

logistic回歸

線性回歸在分類問題上使用，健壯性差，所以使用logistic回歸。
sigmoid函數(shù)值域在(0,1)之間，可以看做一個概率函數(shù)。
在線性回歸外面套一層sigmoid函數(shù)。

算法方程：$h_{\theta }(x)=g\left({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2\right)$
$h_{\theta }(x)=g\left({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2\right)$

損失函數(shù)：$\mathrm{cost}\left(h_{\theta }(x),y\right)=\{\begin{array}{rl}?\log \left(h_{\theta }(x)\right)& \text{?if?}y=1\\ ?\log \left(1?h_{\theta }(x)\right)& \text{?if?}y=0\end{array}$

$J(\theta )=?\frac{1}{m}\left[{\sum }_{i=1}^m{y}^{(i)}\log h_{\theta }\left(x^{(i)}\right)+\left(1?y^{(i)}\right)\log \left(1?h_{\theta }\left(x^{(i)}\right)\right)\right]$

梯度下降優(yōu)化公式：${\theta }_j:={\theta }_j?\alpha \frac{?}{?{\theta }_j}J(\theta )$

加入正則化：$J(\theta )=[?\frac{1}{m}{\sum }_{i=1}^m{y}^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)+\left(1?y^{(i)}\right)\log 1?h_{\theta }\left(x^{(i)}\right)\right]+\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2$

總結(jié)

以上是生活随笔為你收集整理的线性回归与 logistic回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。