本文轉載自牛頓法，在有些概念不清晰的地方，我添加了一些自己的說明。

牛頓法及其變種方法：目錄鏈接:

(1)?牛頓法

(2)?擬牛頓條件

(3)?DFP 算法

(4)?BFGS 算法

(5)?L-BFGS 算法

(6) 高斯-牛頓法

---

牛頓法至少有兩個應用方向:

• 1.求方程的根;
• 2.最優化。

詳情請參考這篇博客：【數學與算法】牛頓法的兩種應用：求根和最優化

---

下面是數學原理和推導：

機器學習算法中經常碰到非線性優化問題，如 Sparse Filtering 算法，其主要工作在于求解一個非線性極小化問題。在具體實現中，大多調用的是成熟的軟件包做支撐，其中最常用的一個算法是L-BFGS。為了解這個算法的數學機理，這幾天做了一些調研，現把學習過程中理解的一些東西整理出來。

---

本部分將兩個牛頓法：原始牛頓法和阻尼牛頓法。

還有一些牛頓法例如擬牛頓法，請參考博客擬牛頓法，里面有牛頓法系列博客索引，點擊即可跳轉。


=====================================================================================

---

對一維向量$x$求導，就是常見的求導，對多維向量$X$求導，就變成了對每個維度求偏導，也就是進行梯度算子運算了。
下面會將式(1.7)對向量$X$求導，也就是進行梯度算子運算。
有個知識點：(證明請參考：二次型求導)
$$\frac{d(X^{T}AX)}{dX}=2AX$$
其中$A$是常數對稱矩陣，$A=A^T$。

---

=====================================================================================

=====================================================================================

---

總結

以上是生活随笔為你收集整理的【数学与算法】牛顿法 及其一系列改进算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。