干货!机器学习遇上运筹优化,助力企业降本增效:一种双层优化方法
点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
运筹帷幄,决胜千里。运筹优化(Operations Research)作为数学、计算机科学、管理学的交叉学科,如今广泛应用在企业的生产、运营、物流环节,通过计算机算法指导和辅助人类管理者进行决策。在这篇NeurlPS21论文中,本文提出了一种将最新的机器学习技术(强化学习、图神经网络)与传统优化算法结合的框架,弥补了现有机器学习框架难收敛、模型容量要求高的缺陷,在3个真实的组合优化问题上显著地提升了传统算法的求解性能。
本期AI TIME PhD直播间,我们邀请到上海交通大学博士生——汪润中,为我们带来报告分享《机器学习遇上运筹优化,助力企业降本增效:一种双层优化方法》。
汪润中:
上海交通大学三年级博士生,师从严骏驰副教授和杨小康教授,主要研究方向是机器学习-传统算法融合的组合优化和图论求解。汪润中已在CVPR、ICCV、NeurlPS、TPAM上发表第一作者论文7篇,担任CVPR、 ICCV NeurlPS、 ICLR、ECCV、AAAI等会议的审稿人。
01
Background
本文的主要研究内容针对于如何处理组合优化问题,组合优化问题如标题中所提到的运筹优化中的重要分支。
例如计算任务的调度问题,在调度问题中需合理安排计算资源及数据中的CPU的核数指派到合适的任务,实现最大效率的完成,优化目标是最小化完成所有任务的时间;
又如图学习或机器学习中常用到的,图编辑距离,图学习中常用的图之间的距离度量,它通过衡量从图1到图2之间最短的编辑路径所对应的最小的编辑代价来衡量两张图的相似程度,也是一个NP-hard的优化问题,目标为最小化图上的编辑代价;或汉密尔顿回路问题以及著名的欧拉七桥问题等。
图1 Combinatorial Optimization Problems on Graphs
基于这些组合优化问题在各个领域研究应用都很广泛,但其中也存在一些问题,如组合优化问题都拥有最坏情况下的指数时间的复杂度,本质上来讲这些问题具有NP-complete或NP-hard的复杂度。
另一方面在实际中,经常不停的求解结构相似甚至数据分布上同质的问题。基于以上假设,学者们开始尝试使用数据驱动方法来处理组合优化的问题。
02
Existing Papers:Single-Level Optimization
目前关于此类问题研究的方法都可被总结为single-level optimization的优化形式,如图2所示。在此形式下,寻找合适的x以最小化函数f。式中x为决策变量,f(x)为目标函数,s.t.表示约束条件。
图2 Single-Level Optimization
现如今主流思路为使用强化学习来学习整个求解过程,主要是由于问题本身单独为NP-hard问题,大部分问题得不到最优解,无法进行端到端的训练。在RL框架下,决策变量会被一系列决策替代,目标函数对应RL中的reward,约束条件通过限制RL的agent动作的范围来实现。
本文通过研究发现,对于稍大规模的问题如果决策变量规模较大,动作的序列会变长,会导致sparse reword,使得RL比较难以学到有用的信息;除此之外,上述框架暗含了一个假设,即模型存在直接从G学习到x的能力,学习端到端的映射。
这为模型的容量设计带来了挑战,意味着需要为特定问题,特定的数据分布去设计不同的模型结构才能实现如此大的模型容量。
为了解决上述问题,传统的解决方法通过修改问题本身的结构来辅助问题的求解。例如在求解整数规划问题时割平面法即通过添加额外的约束(割平面),来辅助问题能够更好更快的解决。
图 3 Add cutting planes for integer programming
本文发现,在计算任务调度问题中,通过修改原先数据有向无环图的结构,如加两条边,同样一个算法能够在两种修改条件下获得不一样的结果,原先21s完成的任务可被缩短到16s。通过该思路,可实现对问题求解的优化。
图4 Modify the graph structure to aid problem solving
03
Our Formulation:Bi-Level Optimization
基于以上观察和思路,本文提出了一个双层优化(Bi-Level)方法,其核心引入一个新的变量称为优化过的图结构G’,基于G’给出双层优化的形式,如图5所示。图中上方红色框内表示上层优化部分(Upper-Level Optimization),蓝色框内表示下层优化部分(Lower-Level Optimization)。其中上层优化目标为G’,下层优化目标为一个决策变量与单层优化形式类似。可以发现目标函数及约束条件都是相对于G’。而对于上层优化,通过优化G’来实现对最终目标函数值在原先图中G目标函数值的优化。
上层优化的约束针对于G’图结构,且要求新的图结构与原先的图结构足够相似,要求新问题中的可行域不会扩大,保证求出的决策变量一定落在原先的可行域中,保证整个框架的合理性。具体来说,上层采用强化学习模型来做,下层的优化直接采用现有的传统求解方法进行处理。
图5 Bi-Level Optimization
基于上述框架,本文提出了一个强化学习-传统算法融合的方法如图6所示。针对输入的图结构,首先调用一个传统算法可以求出一个解,在此基础上,加入ReNet Attention GNN 组成的强化学习模型进行决策,该模型在图上预测图如何修改的概率,图中红色的深浅代表了不同的预测概率。
基于预测概率,进行决策,对图的结构进行修改。基于新的图结构,再次调用传统算法得到新的解,继续调用RL修改图结构,不断循环。图中蓝色为用来做决策的上层算法,通过PPO进行学习。下层黄色表示传统求解算法。蓝色G’表示上层优化需解决的问题,黄色X’表示下层优化需要处理的内容。由于采用强化学习进行学习,总目标函数会作为回馈函数来指导搜索与学习。
图6 Bi-Level Optimization by Reinforcement Learning
同时本文也进行了一些理论上的分析。本文基于假设内容原先图上的最优解x*可以通过不停的修改图结构来得到。由于直接证明难度较大,因此添加一定限制条件,如图7所示。但仍须注意的是找到最优的图结构本质上依旧是NP-hard,本文通过理论上的分析证明优化图结构本身是可行的,同时可启发通过该方向开发性能更强更有用的算法。
图7 限制条件
在三个问题上具体的实现可发现该框架的通用性,该方法在三个问题上基本上维持了一个比较general的特性如图8所示。
图8 Implement on 3 Combinatorial Optimization Problems
04
Experiment Results
在上述三个问题上比较了传统learning-free、single-level baseline、random baseline及本文所提出的bi-level method。可以发现,在计算任务调度上可达到10%的提升,在图编辑距离上为10%-20%的提升;在汉密尔顿回路问题上,大概可多找到5%的汉密尔顿回路。除此之外,本文所提出的算法也可以在不同规模问题上达到一个较好的泛化性能,也是具体应用实践中所需要的。
图9 Outperform learning-free and learning-based baselines
图10 Generalize with different training/testing sizes
提
醒
论文链接:
https://arxiv.org/pdf/2106.04927.pdf
论文题目:
A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs
点击“阅读原文”,即可观看本场回放
整理:江璐鑫
作者:汪润中
往期精彩文章推荐
记得关注我们呀!每天都有新知识!
关于AI TIME
AI TIME源起于2019年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
迄今为止,AI TIME已经邀请了600多位海内外讲者,举办了逾300场活动,超150万人次观看。
我知道你
在看
哦
~
点击 阅读原文 查看回放!
干货!机器学习遇上运筹优化,助力企业降本增效:一种双层优化方法相关推荐
- 渡过“寒冬”,看云原生数据库如何助力企业降本增效与持续创新
数字化转型是 IT 界最热的话题.不过,与以往一窝蜂.追求形式化的数字化不同,在疫情和日益增加的外部压力下,如何利用数字技术进行业务创新,如何在数字化转型的浪潮中大浪淘沙,生存下来并创新发展已成为当下 ...
- 原相机水印怎么改字_今日水印相机,推出“智能考勤”新模式,助力企业降本增效...
原标题:今日水印相机,推出"智能考勤"新模式,助力企业降本增效 疫情以来,各行业都存在大量企业倒闭的现象.而有些企业,却因为积极探索信息化改革,不仅让企业有了更强的抵御风险的能力, ...
- 老子云数字孪生智慧工厂,助力企业降本增效
随着新基建的加速落地,智能化.数字化正逐渐渗透到各领域.但在工业领域,随着工厂建设规模的逐步扩大,必然带来能耗的大幅增长和设备数量的不断扩充,传统工厂的管理模式已经无法满足新时代的"智能化管 ...
- 2022新一代设备维修管理系统助力企业降本增效
设备的维修是指企业或者设备密集型单位为了保持.恢复并提升设备使用寿命而定期对设备进行状态的维护,备件的更换,发生故障后的维修和恢复,从而让设备保证良好的运营状态,提升设备的可利用性并保证产能和设备安全 ...
- 华为云数据库RDS for MySQL助力企业降本增效,确保业务稳定高效运行!
随着企业数字化转型升级的加速,海量的数据资源给企业运营带来巨大可开发财富的同时,也给企业的数据运营带来了不少的困扰.特别是数据存储方面,为应对海量数据资源的聚集,很多企业都自建了数据库服务器以及相应的 ...
- 橙色云构建研发协同生态链,助力企业降本增效
当前,数字化.网络化和智能化成为大势所趋,工业互联网正在融入千行百业,橙色云依托互联网技术自主构建云端协同.云端研发生态链,助力制造业数字化.协同化升级改造,打通上下游产业链资源,协同推动产业数字化转 ...
- 电子元器件行业采购管理平台数字化采购,助力企业降本增效
电子元器件是信息技术产业发展的基石,也是保障产业链供应链安全稳定的关键.面对成千上万种功能迥异的电子元器件,以及复杂的供应渠道和货源,往往一个器件的品质就可能影响到整个产品设计,加上近期电子元器件价格 ...
- 助力企业降本增效的利刃--固定资产盘点系统
受到疫情的影响,对于各企业来说,节约成本无疑是一场重头戏.越来越多的企业开始重视"降本增效".作为企业内部活动的重要组成部分,固定资产直接影响到企业整体资源的分配和布局.精准的固定 ...
- 智能发票管理解决方案助力企业降本增效
说起发票管理工作,财务工作者都望而生畏,在那个只能依靠人工手动录入.查验发票信息真伪的年代,加班成为了财务人的家常便饭.近几年来,随着人工智能技术的日益成熟,以ocr为代表的一系列智能技术给财务管理工 ...
最新文章
- Accessing tools within a VB6 program - AE中使用VB调用Geoprocessing
- 华为手机权限开启方法8
- mysql binlog 恢复 表_MySQL通过Binlog恢复删除的表
- ssh、sftp、scp免密码登录
- 八皇后问题初始思路python_Python 学习笔记(一)10行代码解决八皇后问题
- centos上安装adobe flash
- 【IoT平台技术对接分享】如何上传正确的消息推送证书
- 大数据分析对企业起到什么作用
- java web 限下载速_JavaWeb实现文件上传与下载的方法
- “word另存为PDF时,参考文献的上标都变为正常文本“的解决办法
- QQ邮箱服务器协议,理解邮件服务流程——SMTP、IMAP、POP3 协议
- Tomcat中 appBase和docBase配置及默认管理页面
- android 各个手机型号的功放和听筒模式的研究
- 高德地图H5 定位失败报错 geolocation time out. Get ipLocation failed解决方案
- 查看docker应用信息
- selenium+python安装教程
- 计算机软件及工程知识,软件工程复习题及答案(完整)
- 手机如何备份数据在NAS里面?
- 有哪些好用的搜索引擎网站推荐?
- ElasticSearch数据分片-数据路由