二分分類

計(jì)算機(jī)要保存一張圖片，實(shí)際需要保存三個(gè)矩陣。分別對(duì)應(yīng)的是紅綠藍(lán)三個(gè)顏色通道。

在二分分類問題中，目標(biāo)是訓(xùn)練出一個(gè)分類器。它以圖片中的特征向量x作為輸入，預(yù)測(cè)輸出結(jié)果標(biāo)簽y是1（是一個(gè)貓）還是0（不是一個(gè)貓）

最后，為了方便表示，我們將x和y都寫成矩陣形式，在python中

x.shape()

這樣的命令就是用來看矩陣的行數(shù)和列數(shù)。

logistic回歸

這是一個(gè)學(xué)習(xí)算法，在監(jiān)督學(xué)習(xí)中處理二分問題。

如圖所示

對(duì)于一個(gè)Logistic回歸而言，通常學(xué)習(xí)的就是一個(gè)

y=wTx+b
的過程，實(shí)際上，對(duì)于一維而言。我們可以理解成是y=ax+b的過程。然而這個(gè)數(shù)算出來可能很大，也可能很小。而我們希望算出來的是一個(gè)介于0到1之間的概率，因此我們要用sigma函數(shù)處理一下 σ

logistic回歸損失函數(shù)

為了訓(xùn)練logistic函數(shù)的w和b需要定義一個(gè)成本函數(shù)。下面講解一下利用logistic來訓(xùn)練成本函數(shù)。

最后，Loss function是在單個(gè)訓(xùn)練樣本中定義的，它衡量了在單個(gè)訓(xùn)練樣本上的表現(xiàn)。下面定義的成本函數(shù)（Cost function），是在總體樣本中的表現(xiàn)。

梯度下降法

這里介紹一下用梯度下降法來訓(xùn)練w和b

成本函數(shù)衡量了w和b在訓(xùn)練集上的效果，要學(xué)習(xí)得到合適的w和b，自然的就會(huì)想到成本函數(shù)J盡量小，由此來確定w和b。

我們使用梯度下降的方法，來期望得到全局最優(yōu)解。這張三維圖可以直觀的幫助我們理解梯度下降法，我們假設(shè)w和b都是一維的。這里的J(w,b)實(shí)際上表示的就是這個(gè)像碗一樣圖形的高度。我們用梯度下降法來找到這個(gè)碗底，實(shí)際上就是找到這個(gè)全局最優(yōu)解。

我們進(jìn)一步直觀的來理解梯度下降法

如圖所示，我們忽略了b，只是從J和w的角度來考慮，實(shí)際上梯度下降的過程就是不斷迭代

w=w?αdJ(w)dw
b也是同樣的道理，如果我們從三個(gè)變量角度出發(fā)，所不同的是求的是偏導(dǎo)數(shù)而不是導(dǎo)數(shù)而已。

總結(jié)

以上是生活随笔為你收集整理的1.2.1 Logistic回归和梯度下降简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。