https://zhuanlan.zhihu.com/p/95687720

KL Divergence

用于衡量兩種分布相似程度的統(tǒng)計量，越小，表示兩種概率分布越接近。

所謂KL散度，是指當某分布q(x)被用于近似p(x)時的信息損失。

也就是說，q(x)能在多大程度上表達p(x)所包含的信息，KL散度越大，表達效果越差。

KL散度就是為了度量這種損失而被提出的。

若我們使用分布q來表示分布p，那么信息熵的損失如下

信息熵損失

可將該式寫作期望的形式

稍加變形，稱為定義中的形式

?

?

Entropy

如果式中的log以2為底的話，我們可以將這個式子解釋為：要花費至少多少位的編碼來表示此概率分布。從此式也可以看出，信息熵的本質(zhì)是一種期望。

JS divergence

JS 散度度量了兩個概率分布的相似度，基于 KL 散度的變體，解決了 KL 散度非對稱的問題。一般地，JS 散度是對稱的，其取值是 0 到 1 之間。

定義如下：

KL 散度和 JS 散度度量的時候有一個問題：

如果兩個分配 P,Q 離得很遠，完全沒有重疊的時候，那么 KL 散度值是沒有意義的，而 JS 散度值是一個常數(shù)，這就意味這一點的梯度為 0。

JS距離在兩個數(shù)據(jù)集近似沒有重疊的情況下，等于常數(shù)Log2,所以出現(xiàn)梯度消失的問題。

Wasserstein距離

最大的好處就是不用管數(shù)據(jù)分布有沒有重疊

優(yōu)點：

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的KL散度-Entropy-JS散度-W距离的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。