东北大学最优化方法与理论第一章知识点总结—

预备知识

一、基本概念

一般形式：
相关概念：不等式约束，等式约束，容许解或容许点，容许集，（非严格）局部极小点，严格局部极小点，（非严格）全局极小点，严格全局极小点，无约束问题，一维搜索或直线搜索。
实际方法：通常是求全局极小点，但是到目前为止，绝大多数最优化方法是求局部极小点的方法，解决这一矛盾的一种办法是，先求出所有的局部极小点，再从中找出全局极小点。

二、二维问题的图解法

例题
求解步骤

画出目标函数的等值线
画出约束曲线
约束直线与某条等值线（圆）相切的点恰为最优点

三、梯度和Hesse矩阵

要求：目标函数是可微的。
方向导数
（1）定义：函数f(x)在点x0处沿p方向的方向导数。

（2）性质：方向导数大于零，则称p方向是上升方向；方向导数小于零，则称p方向是下降方向。
（3）直线方程：x=x0+tp
梯度：也称函数f(x)关于变量x的一阶导数。
（1）公式

（2）性质

函数在某点的梯度与函数过该点的等值面上的任何一条光滑曲线L的切线垂直，从而与过该点的切平面垂直。
梯度方向是函数值得最速上升方向
函数在与其梯度正交的方向上，变化率为零
函数在与其梯度成锐角的方向上，函数值是上升的
函数在与其梯度成钝角的方向上，函数值是下降的

Jacobi矩阵与Hesse矩阵
（1）该矩阵称为g(x)在点x0处的Jacobi矩阵

（2）多元函数f(x)的二阶导数的转置矩阵是它的Hesse矩阵
（3）例题：求目标函数f(x)=x14+2x23+3x32−x12x2+4x2x3−x1x32f(x) =x1^{4}+2x2^{3}+3x3^{2}-x1^2x2+4x2x3-x1x3^2 f(x)=x14+2x23+3x32−x12x2+4x2x3−x1x32的梯度和Hesse矩阵

解：

四、多元函数的Taylor展开式

五、凸函数与凸规划

凸集
（1）相关概念：凸组合，严格凸组合
（2）空集、空间Rn、超平面、直线、点、球都是凸集
凸函数
（1）定义：定义在凸集上的凸函数、严格凸函数

（2）性质

凸函数的任意非负组合仍然是凸函数
凸函数的任意水平集是凸集
（3）判定定理
f为可微函数，f为凸函数的充要条件是对于C中的任意两点x1,x2，都有
f为可微函数，f为严格凸函数的充要条件是对于C中的任意两点x1,x2，都有
f为二阶可微函数，f为凸函数的充要条件是Hesse矩阵在C上处处半正定
f的Hesse矩阵在C上处处正定，则f是C上的严格凸函数（逆命题不成立）

凸规划
（1）定义：定义在凸集上的凸函数的极小化问题是凸规划问题
（2）性质：设x是凸规划问题的局部极小点，则：

x是凸规划问题的全局极小点
当f是严格凸函数时，x是唯一极小点
凸规划的所有全局极小点的集合是凸集
（3）二次规划问题
若Q是正定的，则该函数称为正定二次函数，正定二次函数是严格凸函数。
二次函数的最优化问题称为二次规划问题，简称二次规划。

六、极小点的判定条件

相关概念
若x*是f(x)的局部极小点，则该函数在该点的梯度为0。
判定条件
（1）x*是凸函数的全局极小点的充要条件是在该点的梯度值为0。
（2）若凸函数某点的梯度值为0，则称该点为f(x)的驻点。
（3）若凸函数某点的梯度值为0，该点的Hesse矩阵正定，则该点必是f(x)的严格局部极小点。
论断
（1）对于正定二次函数f(x)=1/2xTQx+bTx+c,x∗=−Q−1bf(x)=1/2x^TQx+b^Tx+c,x^*=-Q^{-1}bf(x)=1/2xTQx+bTx+c,x∗=−Q−1b是它的唯一极小点。
（2）若多元函数在极小点处的Hesse矩阵是正定的，则在这个极小点附近其等值面就近似地呈现为同心椭圆面族。

七、算法及相关概念

下降迭代算法
（1）下降方向pk的选取规则
（2）步长因子tk的选取规则
无约束问题基本迭代格式
（1）选定初始点x0，置k=0
（2）按某种规则确定下降方向pk
（3）按某种规则确定tk，使得f(xk+tk*pk)<f(xk)
（4）置xk+1=xk+tkpk
（5）判定xk+1是否满足终止准则，若满足，则打印xk+1和f(xk+1)，停机。否则，k=k+1，重复第二步骤。
直线搜索
（1）相关概念：求一元函数极小点的迭代法成为直线搜索或一维搜索
（2）表示方法

（3）性质：设目标函数f(x)具有一阶连续偏导数，若z=ls(x,p)，则
收敛速度：同数值分析
计算终止准则

八、常考题型及解题思路总结

主要通过函数的梯度、Hesse矩阵（正定、半正定等）、二维Taylor展开式

线性规划问题的矩阵表示
图解法求解线性规划问题
画函数的等值线
求函数的梯度、Hesse矩阵
二维Taylor展开式
证明凸集、凸函数
判断函数是凸函数、凹函数、非凸非凹函数
判别最优化问题是凸规划
证明严格全局极小点、非严格全局极小点等
证明等值线是平行线组

东北大学最优化方法与理论第一章知识点总结——预备知识相关推荐

汽车理论第六章matlab,matlab汽车理论第一章
matlab汽车理论第一章 m1=2000; m2=1800; mz=3880; g=9.81; r=0.367; CdA=2.77; f=0.013; nT=0.85; ig=[5.56 2.769 ...
零基础自学应用近世代数第1章引言和预备知识 1.1 几类实际问题 1.1.1 一些计数问题
零基础自学应用近世代数文章目录零基础自学应用近世代数第1章引言和预备知识 1.1 几类实际问题 1.1.1 一些计数问题 [1]项链问题 [2]分子结构的计数问题 [3]正多面体着色问题 [4 ...
零压力学python_《零压力学Python》之第一章知识点归纳
第一章(初识Python)知识点归纳 Python是从ABC语言衍生而来的 ABC语言是Guido参与设计的一种教学语言,为非专业编程人员所开发的. Python是荷兰程序员 Guido Van Ro ...
操作系统概述操作系统第一章知识点归纳总结
系列文章第二章进程的描述与控制第二章进程调度第一章概述 1.1 目标与功能 1.1.1 操作系统: 控制应用程序的程序应用程序和硬件间的接口三大目标: 方便:用户使用有效:使用系统资 ...
1.1.1.1校园网_高一数学上册必修1第一章知识点：1.1.1集合的含义与表示
近日,北京高中生学习公号家教老师帮高一生整理了人教版高一数学上册必修1第一章1.11集合的含义与表示知识点,希望大家熟练掌握. 高一数学上册必修1知识点:第一章1.11集合的含义与表示知识点 1. ...
计算机网络自考第一章知识点,完整版18版自考04741计算机网络原理知识点第一章...
<完整版18版自考04741计算机网络原理知识点第一章>由会员分享,可在线阅读,更多相关<完整版18版自考04741计算机网络原理知识点第一章(5页珍藏版)>请在人人文库网上搜 ...
数值分析(第五版) 第一章知识点总结
仅供大致参考,有许多定义存在不严谨的地方:不同学校的考察重点自然是不同的第一章绪论舍入误差由于计算机字长是有限的,因此在存储数据时便可能不可避免地丢失部分信息,这便是舍入误差. 截断误差由于 ...
计算机网络自顶向下第一章知识点总结(上)
第一章计算机网络与因特网(上) 文章目录第一章计算机网络与因特网(上) 1.1什么是因特网 1.1.1具体构成描述 1.1.2服务描述 1.1.3什么是协议. 1.2网络边缘 1.2.1接入网电缆 ...
操作系统第一章知识点小结
第一章操作系统概述 1.1操作系统的概念,功能和目标资源管理者(接下来的4给章节就是对这四个功能的详细学习) 处理机处理: 处理机管理因为是为进程分配处理机资源,也称为进程管理. 存储器管理: 存 ...

东北大学最优化方法与理论第一章知识点总结——预备知识

预备知识

一、基本概念

二、二维问题的图解法

三、梯度和Hesse矩阵

四、多元函数的Taylor展开式

五、凸函数与凸规划

六、极小点的判定条件

七、算法及相关概念

八、常考题型及解题思路总结

东北大学最优化方法与理论第一章知识点总结——预备知识相关推荐

最新文章

热门文章