分布式优化算法学习（一）

2024-05-01 13:09:57

分布式优化算法学习（一）

分布式优化简介

分布式协同优化与传统集中式优化相比较具有如下特点:

与优化问题相关的信息分布存储在每个智能体中, 因此更隐私;
每个智能体不需要将数据传输到中心节点, 只需要与邻居智能体进行信息交互, 因此更加节约通信成本;
不存在单点故障问题, 极大地提高了系统的鲁棒性;
不依赖于中心节点, 增强了网络的可扩展性.

分布式协同优化的基本结构，如上图所示，每个智能体（节点）都有一个局部目标函数，全局目标函数是这些局部目标函数的和，每个节点通过与邻居节点进行信息交互，最终协同实现全局优化的目标。
min x ∈ R n ∑ i = 1 N f i ( x ) \text{min}_{x \in \bm{R}^n}\sum\limits_{i=1}^{N} f_i(x) minx∈Rni=1∑Nfi(x)
即每个智能体的自身状态收敛到全局最优解。

凸分析

对于函数 f : R n → R f:R^n \rightarrow R f:Rn→R，如果对任意 x , y ∈ R n x,y \in R^n x,y∈Rn和 0 ≤ θ ≤ 1 0\leq \theta \leq 1 0≤θ≤1
f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y) f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
则称函数 f f f为凸函数。
对于连续可微函数 f : R n → R f:R^n \rightarrow R f:Rn→R，如果存在常数 μ > 0 \mu > 0 μ>0使得下式对任意 x , y ∈ R n x,y \in R^n x,y∈Rn成立
( ▽ f ( y ) − ▽ f ( x ) ) T ( y − x ) ≥ μ ∣ ∣ y − x ∣ ∣ 2 (\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2 (▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2
则函数 f f f为强凸函数。
对于连续可微函数 f : R n → R f:R^n \rightarrow R f:Rn→R，如果存在常数 μ > 0 \mu > 0 μ>0使得下式对任意 y ∈ R n y \in R^n y∈Rn成立
( ▽ f ( y ) − ▽ f ( x ) ) T ( y − x ) ≥ μ ∣ ∣ y − x ∣ ∣ 2 (\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2 (▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2
则函数 f f f关于 x x x是有限强凸的。
对于连续可微函数 f : R n → R f:R^n \rightarrow R f:Rn→R，如果存在常数 L > 0 L > 0 L>0使得下式对任意 x , y ∈ R n x,y \in R^n x,y∈Rn成立
∣ ∣ ▽ f ( y ) − ▽ f ( x ) ∣ ∣ ≤ L ∣ ∣ y − x ∣ ∣ ||\bigtriangledown f(y) - \bigtriangledown f(x)|| \leq L ||y-x|| ∣∣▽f(y)−▽f(x)∣∣≤L∣∣y−x∣∣
则函数称 f f f为L_光滑或简称光滑

分布式优化算法学习（一）相关推荐

蚂蚁金服：超大规模分布式计算系统 + 超大规模分布式优化算法
人工智能大数据与深度学习公众号: weic2c 近年来,随着"大"数据及"大"模型的出现,学术界和工业界对分布式机器学习算法引起了广泛关注 ...
分布式优化算法的背景，应用场景，研究动态
文章目录 0.写在前面 1.背景介绍 ① 概念解释 ② 应用背景 ③ 小结 2.研究动态与现状 ①分布式优化算法的数学模型 ②分布式优化算法的分类 ③ 有中心节点VS无中心节点 ④有向图和无向图 ⑤静 ...
【大论文】可扩展机器学习的并行与分布式优化算法综述_亢良伊2017
一.基础知识: 1.目标函数机器学习要优化的目标函数一般表现为一下形式: 函数J(θ)为目标函数,f为表示真实值与拟合值之差的损失函数,r(θ)为正则项(防止过拟合问题,主要分为L1正则项.L2正则 ...
人工智能自动规划 ppt 蔡自兴_分布式优化算法及其在多智能体系统与机器学习中的应用【附PPT与视频资料】...
关注微信公众号:人工智能前沿讲习对话框回复"张家绮"获取PPT与视频资料视频资料可点击→播放视频查看导读分布式优化理论和算法近年来在多智能体系统中得到了广泛的发展与应用,目前在 ...
白鲸优化算法学习笔记
白鲸优化算法学习笔记 1. 引言白鲸优化算法(Whale Optimization Algorithm,简称WOA)是一种基于自然界中的白鲸行为而发展起来的启发式优化算法.该算法模拟了白鲸群体的寻食 ...
群体智能优化算法学习
这是开通CSDN以来的第一篇博文,之前专门开通过新浪博客,想记录下一些学习的心得,可自己一直拖沓,没好好学习,这个就用来作为自律的练习,坚持下来的好习惯!!! 本来对优化算法了解特别少,基本属于零的状 ...
RMSProp优化算法--学习笔记
RMSProp优化算法是AdaGrad算法的一种改进. AdaGrad算法: 要求的超参数:r(全局学习率),θ(初始参数),σ(小常数,为数值稳定大约设为10^-7)初始化梯度累计变量d=0wher ...
哈里斯鹰优化算法学习笔记2
哈里斯鹰是一种著名的猛禽,其独特之处在于它与生活在同一稳定群体中的其他家庭成员一起进行独特的合作觅食活动,而其他猛禽通常独自攻击,发现和捕获猎物.哈里斯鹰捕捉猎物的主要策略是"突袭" ...
粒子群PSO优化算法学习笔记及其python实现（附讲解如何使用python语言sko.PSO工具包）
算法描述粒子群算法思想来源于实际生活中鸟捕食的过程.假设在一个n维的空间中,有一群鸟(m只)在捕食,食物位于n维空间的某个点上,对于第i只鸟某一时刻来说,有两个向量描述,一个是鸟的位置向量,第二个是 ...

最新文章

热门文章