一、矩阵结构与算法复杂性

基于浮点运算次数的复杂性分析
基本的矩阵-向量运算成本

求解线性方程组 $Ax=b,A\in R^{m\times n},b \in R^n$ ，A为系数矩阵，b为右边项。求解该方程组的一般性彼岸准方法所需要的计算量大约和 $n^3$ 成比例。但如果A具有特殊的结构，比如对称矩阵，对角矩阵，系数矩阵等，可以大大减少计算量。

基于浮点运算次数的复杂性分析

数值线性代数算法的成本经常表示为完成算法所需要的浮点运算次数关于各种问题维数的函数。

浮点运算次数是对算法复杂度的较粗略的估计，但是也很有用。

基本的矩阵-向量运算成本

向量运算

考虑n维向量，内积运算需要n次乘法运算，n-1次加法运算共为2n-1次运算，只保留主导项，，则内积需要2n次运算，更近似地说需要次数为n的浮点运算。

矩阵-向量运算

y=Ax， $A \in R^{m\times n}$ ，运算成本：m个n维向量的内积，共m(2n-1)次运算,如果n很大，则可记成2mn。

如果A是稀疏矩阵，仅有N个非零项，此时只需要2N次浮点运算即可。

如果将A分解成A=UV， $U\in R^{m\times p},V \in R^{p\times n}$ ，y=Ax=UVx=U(Vx)，(Vx)需要p(2n-1)，U(Vx)需要m(2p-1)，共需要2p(m+n)-p-m。

矩阵-矩阵相乘

C=AB， $A\in R^{m \times n},B \in R^{n \times p}$ ，C=AB相当于计算p次 $R^{m\times n}\times R^n$ ，故需要计算pm(2n-1)，如果n很大，则记为2mnp。

如果A和B是稀疏矩阵则需要的计算量更小。

如果m=p，且已知C是对称的，只需要计算下三角的 $\frac{1}{2}m(m+1)$ 个元素，于是需要 $\frac{1}{2}m(m+1)(2n-1)$

来源：https://blog.csdn.net/wangchy29/article/details/87902460

凸优化有关的数值线性代数知识一：矩阵结构与算法复杂性相关推荐

机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
斯坦福助理教授马腾宇：ML非凸优化很难，如何破？
作者 | 马腾宇编译 | 陈萍.杜伟来源 | 机器之心非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP 困难).在近日的一篇 ...
【机器学习】凸集、凸函数、凸优化、凸优化问题、非凸优化问题概念详解
目录 1 基本概念 2 凸优化问题 3 非凸优化问题 4 总结 1 基本概念 (1)凸集和非凸集凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括 ...
最优化模型：线性代数模型、凸优化模型及应用
最优化理论是应用数学的一个分支,该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学,特别是力学的发展,一些自然现象可被描述为&qu ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
凸优化“傻瓜”教程-----凸优化基础知识
目录凸优化基础知识 1.AI问题是什么? 2.对于常见的优化问题,我们可以写成什么形式? 3.针对一般的优化问题,我们从哪几个方向思考? 4.什么样的问题是凸优化问题? 4.1凸优化问题需要同时满足 ...

凸优化有关的数值线性代数知识一：矩阵结构与算法复杂性