泰勒展开-常用优化实例

举例说明泰勒展开的用法，论文中经常用到这类优化方法

引入Factor Group-Sparse Regularization for Efficient
Low-Rank Matrix Recovery-NeurIPS中的supplement-公式（64）
At=argmin⁡A∥A∥2,1+μ2∥Xt−ABt−1−Et−1+μ−1Yt−1∥F2\boldsymbol{A}_t=\underset{\boldsymbol{A}}{\operatorname{argmin}}\|\boldsymbol{A}\|_{2,1}+\frac{\mu}{2}\left\|\boldsymbol{X}_t-\boldsymbol{A} \boldsymbol{B}_{t-1}-\boldsymbol{E}_{t-1}+\mu^{-1} \boldsymbol{Y}_{t-1}\right\|_F^2 At=Aargmin∥A∥2,1+2μ∥∥Xt−ABt−1−Et−1+μ−1Yt−1∥∥F2

要化为可求解形式 ∥A∥2,1+∥A−K∥F2\|{A}\|_{2,1} + \|A-K\|_{F}^{2}∥A∥2,1+∥A−K∥F2 的形式。

我们已知泰勒展开式为f(x)=f(x0)+f(1)(x0)(x−x0)+f(2)(x0)(x−x0)22!+...+f(n)(x0)(x−x0)nn!f(x)=f(x_{0})+f^{(1)}(x_{0})(x-x_{0})+\frac{f^{(2)}(x_{0})(x-x_{0})^{2}}{2!}+...+\frac{f^{(n)}(x_{0})(x-x_{0})^{n}}{n!}f(x)=f(x0)+f(1)(x0)(x−x0)+2!f(2)(x0)(x−x0)2+...+n!f(n)(x0)(x−x0)n
此时，将μ2∥Xt−ABt−1−Et−1+μ−1Yt−1∥F2\frac{\mu}{2}\left\|\boldsymbol{X}_t-\boldsymbol{A} \boldsymbol{B}_{t-1}-\boldsymbol{E}_{t-1}+\mu^{-1} \boldsymbol{Y}_{t-1}\right\|_F^22μ∥∥Xt−ABt−1−Et−1+μ−1Yt−1∥∥F2当作f(A)f(A)f(A),就有
f(x)=f(x0)+f(1)(x0)(x−x0)+f(2)(x0)(x−x0)22!+...+f(n)(x0)(x−x0)nn!f(x)=f(x_{0})+f^{(1)}(x_{0})(x-x_{0})+\frac{f^{(2)}(x_{0})(x-x_{0})^{2}}{2!}+...+\frac{f^{(n)}(x_{0})(x-x_{0})^{n}}{n!}f(x)=f(x0)+f(1)(x0)(x−x0)+2!f(2)(x0)(x−x0)2+...+n!f(n)(x0)(x−x0)n
此时，将μ2∥Xt−ABt−1−Et−1+μ−1Yt−1∥F2\frac{\mu}{2}\left\|\boldsymbol{X}_t-\boldsymbol{A} \boldsymbol{B}_{t-1}-\boldsymbol{E}_{t-1}+\mu^{-1} \boldsymbol{Y}_{t-1}\right\|_F^22μ∥∥Xt−ABt−1−Et−1+μ−1Yt−1∥∥F2看作f(A)f(A)f(A)，有
f(A)=f(At−1)+<Q,A−At−1>+Lt2∥A−At−1∥F2f(A)=f(A_{t-1})+<Q,A-A_{t-1}>+\frac{L_t}{2}\|A-A_{t-1}\|_F^2f(A)=f(At−1)+<Q,A−At−1>+2Lt∥A−At−1∥F2
(最多是F范数，就停到了二阶导)
其中，Q是f(A)f(A)f(A)的一阶导，LtL_tLt满足>=Hessian矩阵（二阶导,西瓜书253页）
有Q=μ(X−t−At−1Bt−1−Et−1+μ−1Yt−1)(−Bt−1T),Q=\mu(X-t-A_{t-1}B_{t-1}-E_{t-1}+\mu^{-1}Y_{t-1})(-B_{t-1}^T),Q=μ(X−t−At−1Bt−1−Et−1+μ−1Yt−1)(−Bt−1T),
Lt≥μ∥Bt−1∥F2.L_t \geq \mu\|B_{t-1}\|_F^2.Lt≥μ∥Bt−1∥F2.

综上，有

泰勒展开-常用优化实例相关推荐

机器学习之常用优化方法（GD、牛顿、拟牛顿、拉格朗日乘子）
写在前面,本文只记录了个人认为的关键点,仅供参考.更多细节请参考链接中文章参考1:机器学习之常用优化方法参考2:拉格朗日乘数法梯度下降法梯度下降法是最早最简单,也是最为常用的最优化方法.梯度下 ...
Android群英传知识点回顾——第四章：ListView常用优化技巧
Android群英传知识点回顾--第四章:ListView常用优化技巧知识点目录 4.1 ListView常用优化技巧 4.1.1 使用ViewHolder模式提高效率 4.1.2 设置项目间分割线 ...
vue seo关键词设置_网站SEO常用优化技巧
SEO(Search Engine Optimization)搜索引擎优化,简单来说,就是通过技术手段,帮助我们的网站上首页.不同的搜索引擎,排名算法也不尽相同,导致了各项参数的权重比值也就不一样,但 ...
Windows Server 2008常用优化设置
Windows 2008常用优化设置 1.如何关闭UAC? 控制面板→用户帐户→打开或关闭用户账户控制→取消使用用户账户控制(UAC)帮助保护您的计算机. 2.如何取消开机按 CTRL+ALT+DE ...
Algorithm：机械优化设计的数学模型简介、常用优化方法、优化计算工具简介之详细攻略
Algorithm:机械优化设计的数学模型简介.常用优化方法.优化计算工具简介之详细攻略目录机械设计中基于算法模型的机械优化设计 1.优化设计的数学模型
（转载）Android项目实战（二十八）：使用Zxing实现二维码及优化实例
Android项目实战(二十八):使用Zxing实现二维码及优化实例作者:听着music睡字体:[增加减小] 类型:转载时间:2016-11-21 我要评论这篇文章主要介绍了Android项 ...
高级SQL优化(三) 常用优化工具 ——《12年资深DBA教你Oracle开发与优化——性能优化部分》...
目录: Oracle数据完整性和锁机制索引及优化之表分析表分析.约束及表间关系 Oracle体系结构1 Oracle体系结构2 海量数据库及分区1 海量数据库及分区2 海量数据库及分区 ...
22_2D函数优化实例
1.19. 2D函数优化实例为了演示优化神经网络参数得到loss极小值的过程,和不同初始值可能产生不同的极值点,在此引入了如下图所示函数: 从图中可以看出该函数2D图像呈碗状,有四个极小值点,它的极 ...
LevelDB 源码剖析（一）准备工作：环境搭建、接口使用、常用优化
文章目录环境搭建实战使用创建.关闭数据库数据读.写.删除批量处理迭代器遍历常用优化方案压缩缓存过滤器命名环境搭建 # 下载源码 git clone https://github ...
HiveSQL常用优化方法全面总结
转载自 HiveSQL常用优化方法全面总结 Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率.影响Hive效率的几乎从不是数据量过大,而是数据倾斜.数据冗余.job或I/O ...

泰勒展开-常用优化实例

泰勒展开-常用优化实例相关推荐

最新文章

热门文章