1、頻率學派和貝葉斯派

頻率學派認為參數是固定而未知的，關心似然函數。

貝葉斯派認為參數是隨機的有分布的，關心后驗分布。

2、MLE、MAP公式

3、參數估計-MLE

4、參數估計-MAP

MAP與MLE最大的不同在于p(參數)項，MAP將先驗知識加入，優化損失函數。

5、MLE、MAP、Bayesian統一理解

ML（最大似然估計）：給定一個模型的參數，然后試著最大化p(D|參數)。即給定參數的情況下，看到樣本集的概率。目標是找到使前面概率最大的參數。邏輯回歸都是基于ML做的。MLE不把先驗知識加入模型中。

MAP（最大后驗估計）：最大化p(參數|D)。

Bayesian：考慮了所有可能的參數，即所有的參數空間（參數的分布）。

MLE和MAP的目標都是一樣的：找到一個最優解，然后用最優解做預測。貝葉斯模型會給出對參數的一個分布，比如對模型的參數, 假定參數空間里有參數1、參數2、 參數3、...、參數N，貝葉斯模型學出來的就是這些參數的重要性（也就是分布），然后當我們對新的樣本預測的時候，就會讓所有的模型一起去預測，但每個模型會有自己的權重（權重就是學出來的分布）。最終的決策由所有的估計根據其權重做出決策。

5、從統計學角度理解機器學習，不無三要素：特征工程、目標函數、模型學習，機器學習的本質是用計算機統計地估計復雜函數。

定義假設空間（Model assumption）：如線性分類，線性回歸，邏輯回歸，SVM，深度學習網絡等。

定義損失函數（目標函數）并優化求解（如：梯度下降，牛頓法等）。

不同的模型使用不同的算法，如邏輯回歸通常用梯度下降法解決，神經網絡用反向推導解決，貝葉斯模型則用MCMC來解決。

機器學習 = 模型 + 優化（不同算法）

參考:

https://www.cnblogs.com/shixisheng/p/7136890.html

http://www.cnblogs.com/little-YTMM/p/5399532.html

總結

以上是生活随笔為你收集整理的最大似然估计MLE和最大后验估计MAP理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。