一、梯度

1.实值函数对实向量的梯度

梯度算子：
梯度：
矩阵求导计算公式

2. 矩阵微分

Jacobian矩阵
向量函数的梯度
矩阵微分常用法则
两个向量内积和二次型梯度

二、梯度算法

1. 共轭梯度法

问题描述：
考察线性方程组
Ax=bAx=b Ax=b
要求A为对称正定矩阵
求解线性方程组即求解目标函数J(x)J(x)J(x)的极小值
minJ(x)=12xTAx−bTxminJ(x)=\frac{1}{2}x^TAx-b^Tx minJ(x)=21xTAx−bTx
因为J′(x)=Ax−bJ'(x)=Ax-bJ′(x)=Ax−b
下面几个定义
（1）记目标函数J(x）的共轭梯度为g（x），则
g(x)=J′(x)=Ax−b=r(x)g(x)=J'(x)=Ax-b =r(x) g(x)=J′(x)=Ax−b=r(x)
其中r(x)r(x)r(x)为解向量x的残差向量。即
（2）共轭正交：
推导过程：

为了确定a_i，用矩阵p_i^HA左乘（5.7.8）两边，得到

因此，将a_i带入（5.7.8）得到

主要思想：

共轭方向定理：

可以证得共轭方法的正确性。
算法：

其中倒数第二行的β_k修改为β_k+1。
有两个博客共轭梯度讲解很好
https://blog.csdn.net/lusongno1/article/details/78550803
https://blog.csdn.net/weixin_37895339/article/details/84640137

矩阵分析与应用（二）————梯度分析与最优化相关推荐

最优化理论c语言代码,《统计学习导论基于R应用》PDF代码导图+《最优化理论与算法第2版》PDF习题指导...
要想深入理解机器学习,或者对人工智能的某个领域有所研究,都必须掌握统计学.最优化.矩阵及其应用等知识. 推荐<统计学习导论:基于R应用>,适合运用统计学习前沿技术分析数据的人士.读起来不费 ...
计算机数学方法记录图像原理,图像处理原理技术与算法
<图像处理原理技术与算法>是2001年浙江大学出版社出版的图书. 中文名图像处理原理技术与算法 ISBN: 7308027775 条形码: 9787308027779 尺寸: 25.4 ...
《深度学习，统计学习，数学基础》人工智能算法工程师手册：程序员写的AI书，50 章一网打尽...
来源:专知本文约3400字,建议阅读10+分钟. 免费开源人工智能手册,带你快速上手写代码! [ 导读 ]市面上很多人工智能相关的书籍.大部分的书,面向小白,内容深度不够:小部分教材书或者科研书,内 ...
机器学习的宝典-华校专老师的笔记
华校专,清华航天学院工程力学本科,国防科大计算机专业硕士.清华四年每年成绩都是本系头名,曾任阿里巴巴资深算法工程师,现任智易科技首席算法研究员,<Python 大战机器学习>的作者. 这是 ...
算法(七)：图解动态规划
算法简介动态规划,将大问题划分为小问题进行解决,从而一步步获取最优解的处理算法与贪婪算法区别 2者都是将大问题划分为规模更小的子问题动态规划实质是分治法以及解决冗余,将各个子问题的解保存下来,让 ...
硬阈值(Hard Thresholding)函数解读
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 题目:硬阈值(Hard Thresholding)函数解读 1.硬阈值(Hard Thresh ...
matlab 实验七低层绘图操作,matlab实验内容答案
实验报实验报告告说说明明 matlab 课课程程实验实验需撰写需撰写 8 个个实验报实验报告每个告每个实验报实验报告内容写每次告内容写每次实验实验内容中内容中标标号呈黑体大号字号呈黑体大号字显 ...
Unity 3D 脚本参考
第一章概述 Unity中的脚本(Script)由附加到游戏对象(GameObject)的自定义脚本对象(Custom Script Object)组成,它们又被称为行为.脚本对象中各种函数被 ...
python象限判断_玩数据之数据方法篇—四象限分析法—附EXCEL+Python案例
一. 怎么使用(二维)四象限分析案例一,以一个电子商务公司为例,老板需要评估销售的商品类别的整体情况.那么,参考二维四象限分析的套路--直接可以按照销售金额,以及销售利润两个方面进行(具体直接套用下 ...
在线学习(online learning)总结
最近研究在线学习,对理论和工程化做一些记录与总结,供以后回顾.话不多说,直接进入正题. 一.背景传统机器学习开发流程基本是:数据收集->特征工程->模型训练->模型评估->保 ...

矩阵分析与应用（二）————梯度分析与最优化

矩阵分析与应用第五章——梯度分析与最优化

一、梯度

1.实值函数对实向量的梯度

2. 矩阵微分

二、梯度算法

1. 共轭梯度法

矩阵分析与应用（二）————梯度分析与最优化相关推荐

最新文章

热门文章