模型前的鋪墊

我們先引入一個(gè)假設(shè)，假設(shè)一個(gè)句子的產(chǎn)生只需要兩步：

第一步：基于語(yǔ)法產(chǎn)生一個(gè)合乎文法的詞性序列

第二步：對(duì)第一步產(chǎn)生的序列中的每個(gè)詞性找到符合這個(gè)詞性的一個(gè)詞匯，從而產(chǎn)生一個(gè)詞匯序列，便產(chǎn)生出了一個(gè)句子

圖1

那么如圖1所示，假如我們基于語(yǔ)法產(chǎn)生了一個(gè)詞性序列("PN V D N")，那基于這樣的詞性序列到對(duì)應(yīng)的詞典集合中選詞便可以組合出一個(gè)句子。

圖2

假如我們產(chǎn)生的句子是"John saw the saw",那么如圖2所示，每個(gè)詞都有一定的概率被選出，基于詞性序列("PN V D N")產(chǎn)生這個(gè)句子的概率為：

如果把詞性序列用y表示，把句子的詞匯序列用x表示，那么上述句子的生成可以表示為：

這樣我們就可以得到序列x、y同時(shí)出現(xiàn)的概率P(x,y)：

其中P(y)表示序列y出現(xiàn)的概率:

P(x|y)表示基于序列y生成序列x的概率:

基于上述想法，我們可以得到更一般化的表示：

從而P(y)可以更一般的表示為：

同樣P(x|y)可以更一般的表示為：

那么可以得到P(x,y)更一般的表示為：

圖3

再來(lái)看圖3，當(dāng)序列x是已知的或者說(shuō)是可觀(guān)測(cè)的，而標(biāo)記序列y是隱藏的或者說(shuō)是未知的，那么如何來(lái)求得理想標(biāo)記序列y呢？我們通過(guò)采取求解條件概率P(y|x)來(lái)求得，即：

其中y是一個(gè)可能的標(biāo)記序列，Y是所有可能的標(biāo)記序列。上式的意義在于期望求得一個(gè)能使條件概率P(y|x)最大的標(biāo)記序列y。也就是說(shuō)，如果我知道了P(y|x)如何求，再把每個(gè)可能的標(biāo)記序列y帶進(jìn)去，就能得到想要求得的理想標(biāo)記序列y。

CRF模型引入

基于上述的鋪墊，下面我們開(kāi)始引入條件隨機(jī)場(chǎng)模型。

條件隨機(jī)場(chǎng)(CRF)模型可以用如下式子來(lái)描述：

其中：

• w表示權(quán)重向量

• 表示特征向量

現(xiàn)在我們重點(diǎn)來(lái)關(guān)注如何求解條件概率P(y|x)

輔助理解

從標(biāo)注問(wèn)題的角度來(lái)理解條件概率P(y|x)的含義。x表示給定的待標(biāo)注序列，y表示給定x下對(duì)應(yīng)的一個(gè)標(biāo)記序列。我們希望通過(guò)求解條件概率P(y|x)來(lái)得到給定x條件下對(duì)應(yīng)的一個(gè)理想標(biāo)注序列

P(y|x)可以表示為：

我們知道

不妨設(shè)

輔助理解

R為比例系數(shù)

將上式帶入P(y|x)的表達(dá)式中可得

輔助理解

Y表示所有可能的標(biāo)注序列的集合，y'表示所有標(biāo)注序列的集合中的某個(gè)標(biāo)注序列

觀(guān)察上式，可以看到分母部分其實(shí)只和x有關(guān)，所以可以將其簡(jiǎn)化的表示為Z(x)，即：

也就是說(shuō)，要求P(y|x)，關(guān)鍵在于求解P(x,y)，由之前的鋪墊，我們知道：

我們對(duì)上式兩邊取對(duì)數(shù)得：

其中

上式是如何來(lái)的呢？

圖4

如圖4所示，可得：

從而

同樣，我們也能得到

從而

我們可以將上式向量化表示為：

我們可以令

其中

由于的值可能會(huì)大于1，這就不能用來(lái)表示概率了，所以

參考資料：

李宏毅《Sequence Labeling Problem》課程

英文原文：https://medium.com/visionwizard/object-tracking-675d7a33e687

往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線(xiàn)及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線(xiàn)手冊(cè)深度學(xué)習(xí)筆記專(zhuān)輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專(zhuān)輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專(zhuān)輯

獲取一折本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開(kāi)：

https://t.zsxq.com/y7uvZF6

本站qq群704220115。

加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【机器学习基础】一文读懂用于序列标注的条件随机场(CRF)模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。