一切問(wèn)題都可以轉(zhuǎn)化為數(shù)學(xué)問(wèn)題。——笛卡爾

世界上任何一門學(xué)科，如果沒(méi)有發(fā)展到能與數(shù)學(xué)緊密聯(lián)系在一起的程度，就說(shuō)明該學(xué)科還未發(fā)展成熟。 ——馬克思

是的，無(wú)論是哪種優(yōu)化設(shè)計(jì)問(wèn)題，其本質(zhì)都可以歸結(jié)為多元非線性函數(shù)的極小值問(wèn)題。所以仍然會(huì)涉及到數(shù)學(xué)中的一些概念，在這里僅做一些簡(jiǎn)單的介紹。

向量和矩陣的范數(shù)

向量的范數(shù)

我們可以將范數(shù)理解為對(duì)向量的一種度量，即向量的“長(zhǎng)度”。如我們常用的向量的模，

，就是向量的2范數(shù)。范數(shù)有三個(gè)性質(zhì)：范數(shù)恒大于等于0；向量乘以一個(gè)實(shí)數(shù)a后的范數(shù)等于實(shí)數(shù)a的絕對(duì)值乘原向量的范數(shù)；兩個(gè)向量和的范數(shù)小于等于兩個(gè)向量范數(shù)的和。

我們常用的向量范數(shù)有：

1范數(shù)：

2范數(shù)：

無(wú)窮范數(shù)：

2.矩陣的范數(shù)

n階方陣A的范數(shù)為

常用的矩陣范數(shù)有：

1范數(shù)（最大列范數(shù)）：所有列向量的范數(shù)中最大的那一個(gè)

2范數(shù)：

其中 為矩陣 的最大特征值

無(wú)窮范數(shù)（最大行范數(shù)）：所有行向量的范數(shù)中最大的那一個(gè)

方向?qū)?shù)和梯度

1.方向?qū)?shù)

方向?qū)?shù)是函數(shù)在某一點(diǎn)沿某一方向的變化率，通俗的說(shuō)就是函數(shù)在某一方向的導(dǎo)數(shù)，它表征了該函數(shù)在這一點(diǎn)處沿某一方向變化的快慢。某二元函數(shù)沿d方向的方向?qū)?shù)定義為：

計(jì)算公式為：

其中

是d方向與坐標(biāo)軸 方向之間夾角的余弦。注意，方向?qū)?shù)是一個(gè)數(shù)。

2.梯度

梯度是一個(gè)向量，函數(shù)在某一點(diǎn)的梯度為：

設(shè)

，與方向?qū)?shù)相比較，有

方向?qū)?shù)的最大值發(fā)生在d的方向和梯度相同時(shí)，即二者夾角的余弦為1時(shí)。故梯度方向?yàn)榉较驅(qū)?shù)最大值方向，所以梯度方向函數(shù)值變化最快，梯度的范數(shù)為函數(shù)變化率的最大值。

函數(shù)的泰勒級(jí)數(shù)展開(kāi)

一元函數(shù)泰勒級(jí)數(shù)展開(kāi)

近似展開(kāi)（忽略二階以上的高階無(wú)窮小）

n元函數(shù)的泰勒級(jí)數(shù)展開(kāi)

其中

H被稱為Hessian矩陣，它和梯度是計(jì)算函數(shù)極值以及判定極值點(diǎn)性質(zhì)的重要依據(jù)。

無(wú)約束優(yōu)化問(wèn)題的極值條件

對(duì)于一元函數(shù)，一階導(dǎo)數(shù)等于零的前提下，若二階導(dǎo)數(shù)大于零則為極小值，若二階導(dǎo)數(shù)小于零，則為極大值。

對(duì)于多元函數(shù)，在某一點(diǎn)的梯度等于零的前提下，Hessian矩陣正定則為極小值，負(fù)定則為極大值。

凸集和凸函數(shù)

經(jīng)典優(yōu)化算法大多屬于沿某一搜索方向的局部?jī)?yōu)化算法，要求目標(biāo)函數(shù)和約束函數(shù)均為凸函數(shù)，對(duì)應(yīng)解為凸集。

凸集的幾何解釋如下圖，任意連接兩點(diǎn)的線段都包含在集合內(nèi)。

左圖為凸集，右圖非凸集

凸函數(shù)即函數(shù)的凹凸性中的上凸和下凸函數(shù)。

有約束優(yōu)化問(wèn)題的極值條件

等式約束

對(duì)于等式約束，可以將由約束問(wèn)題轉(zhuǎn)化為無(wú)約束問(wèn)題（降維）。即：將M個(gè)約束條件代入目標(biāo)函數(shù)（假設(shè)有n維）中，使得等式約束優(yōu)化問(wèn)題轉(zhuǎn)換為n-M維的無(wú)約束優(yōu)化問(wèn)題。

對(duì)于等式約束，可以采用拉格朗日乘子法（升維），構(gòu)造拉格朗日函數(shù)，即

其中

是約束條件， 是拉格朗日乘子。這樣使得等式約束優(yōu)化問(wèn)題轉(zhuǎn)換為n+M維的無(wú)約束優(yōu)化問(wèn)題

根據(jù)無(wú)約束問(wèn)題的極值條件，可以得到具有等式約束的多元函數(shù)極值條件:

設(shè)有任意實(shí)數(shù)

使得以下成立：

則

是極值點(diǎn)。

不等式約束

當(dāng)有一個(gè)不等式約束

時(shí)，存在實(shí)數(shù) 使 成立，是 為極值的必要條件；

當(dāng)有兩個(gè)不等式約束

時(shí)，存在實(shí)數(shù) 使 成立是 為極值的必要條件；

當(dāng)有一個(gè)L個(gè)等式約束時(shí)，存在實(shí)數(shù)

使 成立是 為極值的必要條件；

對(duì)于不等式約束，使用松弛變量

將不等式轉(zhuǎn)換為等式約束，再用拉格朗日乘子法求解。即：

其中

是約束條件， 是拉格朗日乘子

根據(jù)無(wú)約束問(wèn)題的極值條件，可以得到具有不等式約束的多元函數(shù)極值條件(庫(kù)恩塔克條件)：

---

以上就是優(yōu)化設(shè)計(jì)相關(guān)的一些數(shù)學(xué)概念。

總結(jié)

以上是生活随笔為你收集整理的大于小于优化_工程优化设计与Matlab实现——优化设计的数学基础的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。