凸函數(shù)（Convex Functions）

凸函數(shù)的定義1如下：

如下圖所示：嚴格凸函數(shù)：函數(shù)曲線位于由點和連接而成的直線下方。

凸函數(shù)：函數(shù)曲線不超過由點和連接而成的直線。

?

定理1：如果某函數(shù)在某個區(qū)間二階可導(dǎo)且二階導(dǎo)數(shù)非負，那么這個函數(shù)在該區(qū)間是凸的。

其中 twice differentiable 指的是二階可導(dǎo)。?

關(guān)于這個定理的證明如下：

?

?

推論1：-ln(x) 在 (0,∞) 上是嚴格凸函數(shù)。

證明如下：

其中的 Definition 2是凹函數(shù)的定義。?

?

Jensen不等式

定理2 ：Jensen 不等式：

上邊的定理推論描述的是兩個點，如果我們看 n 個點的情況，就得到了Jensen 不等式。

?證明如下，使用的是歸納法：

? ? ? ? ? ? ? ? ?? ? ?? ? ? ??

?因為 -ln(x) 是凸函數(shù)，所以我們把 -ln(x) 函數(shù)當(dāng)作 f(x) 帶進去，可得：

?EM算法里用到的就是這個不等式。

推論2：算術(shù)平均大于等于幾何平均

證明如下：

總結(jié)

以上是生活随笔為你收集整理的Jensen不等式证明的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。