Frank-Wolfe方法

1956年，Frank和Wolfe提出了一种求解线性约束问题的算法，其基本思想是将目标函数作线性近似，通过求解线性规划求得可行下降方向,并沿该方向在可行域内作一维搜索.这种方法又称作近似线性化方法.

问题

原理

近似线性化和可行下降方向

假设此问题存在有限最优解yk，则由线性规划的基本知识可知，这个最优解可在某极点上达到.

结论：

确定一维搜索步长

算法步骤

全局收敛性分析

Frank-Wolfe算法是一种可行方向法，在每次迭代内，搜索方向总是指向某个极点，并且当迭代点接近最优解时，搜索方向与目标函数的梯度趋于正交，因此算法收敛速度比较慢.但该方法把求解非线性最优化问题转化为为求解一系列线性规划问题，而且各线性规划具有相同的约束条件，因而该方法在实际应用中仍然是一种有用的算法．

Frank-Wolfe方法相关推荐

MGSSLMotif-based Graph Self-Supervised Learning for Molecular Property Prediction|分子性质预测|GNN|自监督|预训练
近期刚刚在NeurlPS-21上发表了一篇文章,用于分子性质预测的图预训练策略. 本文亮点在于①提出一套分子破裂的方法:②提出构建官能团树的方法:②同时在节点级和官能团级进行预训练,自动分配不同的权重 ...
QFW:更快的优化，更低的传输成本，无投影法
原文: Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free Mingrui Zha ...
ICML 2019 Accepted Papers (Title, Author, Abstract, Code) (001-150)
本博客致力于整理出ICML 2019接收的所有论文,包括题目.作者.摘要等重要信息,能够方便广大读者迅速找到自己领域相关的论文. 相关论文代码.附录可参考ICML 2019 #####1-10#### ...
WCF4.0新特性体验(9):非破坏性队列消息接收（Non-destructive queue receive ）
这次来介绍一下WCF4.0新特性体验(9):非破坏性队列接收(Non-destructive queue receive ).这个特性不是那么直观.确切来说是WCF4.0对于以前处理MSMQ消息队列机 ...
综合算法05—考虑换乘的K短路算法
一.问题描述在路网中,已知站点.线路和线路-站点数据,有条件: 1.考虑到换乘时要花费一定的时间,因此对换乘路径费用要加上换乘时间. 2.当路网复杂时,为了避免多余计算,定义有效路径,使得路径在有效 ...
在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群
作者:Jeffrey Hunter 了解如何以低于 2,700 美元的费用在 Oracle Enterprise Linux 上安装并配置 Oracle RAC 11g 第 2 版开发集群. 本指南中 ...
Java面试题大全2021版
一.Java 基础 JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,java 开发工具包,提供了 java 的开发环境和运行环境. JRE:Java Run ...
c语言作业字符串替换,C语言字符串替换。解决方法
当前位置:我的异常网» C语言 » C语言字符串替换.解决方法 C语言字符串替换.解决方法 www.myexceptions.net 网友分享于:2015-04-14 浏览:0次 C语言字符串替换 ...
python求最值_用Python实现最速下降法求极值的方法
对于一个多元函数 ,用最速下降法(又称梯度下降法)求其极小值的迭代格式为其中为负梯度方向,即最速下降方向,αkαk为搜索步长. 一般情况下,最优步长αkαk的确定要用到线性搜索技术,比如精确线性搜 ...
细菌绝对定量的方法总结
细菌绝对定量方法总结背景:目前根据测序得到的微生物的相对含量可以看到微生物的相对变化情况,但是其并不能提供物种丰度变化的程度和方向的信息,忽略了微生物总体变化情况,因此,微生物的绝对定量是非常必要的 ...