Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)
一般地,一個最優化數學模型能夠表示成下列標準形式:
??
所謂 Karush-Kuhn-Tucker 最優化條件,就是指上式的最小點?x*?必須滿足下面的條件:
?
??? KKT最優化條件是Karush[1939]以及Kuhn和Tucker[1951]先后獨立發表出來的。這組最優化條件在Kuhn和Tucker發表之后才逐漸受到重視,因此許多書只記載成「Kuhn-Tucker 最優化條件 (Kuhn-Tucker conditions)」。
??? KKT條件第一項是說最優點必須滿足所有等式及不等式限制條件,也就是說最優點必須是一個可行解,這一點自然是毋庸置疑的。第二項表明在最優點 x*, ?f?必須是 ?hj和 ?gk的線性組合,和都叫作拉格朗日乘子。所不同的是不等式限制條件有方向性,所以每一個都必須大于或等于零,而等式限制條件沒有方向性,所以?沒有符號的限制,其符號要視等式限制條件的寫法而定.
??? 從KKT的幾何意義出發這個定理還是很神奇的:
??? f'(x)代表了f在x點增加的方向,而要找f的最小值的那個點就要朝f減小的方向走,也就是f*v < 0的區域,成為下降域;同理,g'(x)代表了g在x增加的方向,而可行區域就是g*v < 0的區域,成為可行域;要取得最優解就要使某點的下降域與可行域交集為空,也就是f'是g_k'的線性組合了。而g_k必須是有效的,即g_k(x)=0,否則其拉氏乘數就要等于0使其其實不發揮作用。
總結
以上是生活随笔為你收集整理的Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 决策树ID3算法
- 下一篇: 拉格朗日 SVM KKT