大于小于优化_工程优化设计与Matlab实现—

一切问题都可以转化为数学问题。——笛卡尔

世界上任何一门学科，如果没有发展到能与数学紧密联系在一起的程度，就说明该学科还未发展成熟。 ——马克思

是的，无论是哪种优化设计问题，其本质都可以归结为多元非线性函数的极小值问题。所以仍然会涉及到数学中的一些概念，在这里仅做一些简单的介绍。

向量和矩阵的范数

向量的范数

我们可以将范数理解为对向量的一种度量，即向量的“长度”。如我们常用的向量的模，

，就是向量的2范数。范数有三个性质：范数恒大于等于0；向量乘以一个实数a后的范数等于实数a的绝对值乘原向量的范数；两个向量和的范数小于等于两个向量范数的和。

我们常用的向量范数有：

1范数：

2范数：

无穷范数：

2.矩阵的范数

n阶方阵A的范数为

常用的矩阵范数有：

1范数（最大列范数）：所有列向量的范数中最大的那一个

2范数：

其中

为矩阵

的最大特征值

无穷范数（最大行范数）：所有行向量的范数中最大的那一个

方向导数和梯度

1.方向导数

方向导数是函数在某一点沿某一方向的变化率，通俗的说就是函数在某一方向的导数，它表征了该函数在这一点处沿某一方向变化的快慢。某二元函数沿d方向的方向导数定义为：

计算公式为：

其中

是d方向与坐标轴

方向之间夹角的余弦。注意，方向导数是一个数。

2.梯度

梯度是一个向量，函数在某一点的梯度为：

设

，与方向导数相比较，有

方向导数的最大值发生在d的方向和梯度相同时，即二者夹角的余弦为1时。故梯度方向为方向导数最大值方向，所以梯度方向函数值变化最快，梯度的范数为函数变化率的最大值。

函数的泰勒级数展开

一元函数泰勒级数展开

近似展开（忽略二阶以上的高阶无穷小）

n元函数的泰勒级数展开

其中

H被称为Hessian矩阵，它和梯度是计算函数极值以及判定极值点性质的重要依据。

无约束优化问题的极值条件

对于一元函数，一阶导数等于零的前提下，若二阶导数大于零则为极小值，若二阶导数小于零，则为极大值。

对于多元函数，在某一点的梯度等于零的前提下，Hessian矩阵正定则为极小值，负定则为极大值。

凸集和凸函数

经典优化算法大多属于沿某一搜索方向的局部优化算法，要求目标函数和约束函数均为凸函数，对应解为凸集。

凸集的几何解释如下图，任意连接两点的线段都包含在集合内。

左图为凸集，右图非凸集

凸函数即函数的凹凸性中的上凸和下凸函数。

有约束优化问题的极值条件

等式约束

对于等式约束，可以将由约束问题转化为无约束问题（降维）。即：将M个约束条件代入目标函数（假设有n维）中，使得等式约束优化问题转换为n-M维的无约束优化问题。

对于等式约束，可以采用拉格朗日乘子法（升维），构造拉格朗日函数，即

其中

是约束条件，

是拉格朗日乘子。这样使得等式约束优化问题转换为n+M维的无约束优化问题

根据无约束问题的极值条件，可以得到具有等式约束的多元函数极值条件:

设有任意实数

使得以下成立：

则

是极值点。

不等式约束

当有一个不等式约束

时，存在实数

使

成立，是

为极值的必要条件；

当有两个不等式约束

时，存在实数

使

成立是

为极值的必要条件；

当有一个L个等式约束时，存在实数

使

成立是

为极值的必要条件；

对于不等式约束，使用松弛变量

将不等式转换为等式约束，再用拉格朗日乘子法求解。即：

其中

是约束条件，

是拉格朗日乘子

根据无约束问题的极值条件，可以得到具有不等式约束的多元函数极值条件(库恩塔克条件)：

以上就是优化设计相关的一些数学概念。