粒子群优化算法(PSO)python实践
1 算法介绍和原理
1.1 算法原理
强烈推荐知乎大佬的这篇文章:粒子群优化算法(Particle Swarm Optimization, PSO)的详细解读 - 知乎 (zhihu.com)。该文章详细介绍了算法的原理、算法流程、参数解释和一些Tips,这里就不过多赘述了。
粒子群优化算法(PSO, Particle Swarm Optimization),属于启发式算法中的一种,常用于多目标优化,寻找全局最优解,具有收敛速度快、参数少、算法简单的优点。
算法流程图如下(图片来自这篇文章):
1.2 更新公式
1.2.1 速度更新公式
vidk+1=ωvidk+c1r1(pid,pbest k−xidk)+c2r2(pd,gbest k−xidk)v_{i d}^{k+1}=\omega v_{i d}^k+c_1 r_1\left(p_{i d, \text { pbest }}^k-x_{i d}^k\right)+c_2 r_2\left(p_{d, \text { gbest }}^k-x_{i d}^k\right) vidk+1=ωvidk+c1r1(pid, pbest k−xidk)+c2r2(pd, gbest k−xidk)
vidk+1v_{i d}^{k+1}vidk+1 —— 粒子 iii 在第 kkk 次迭代中第 ddd 维的速度向量。
pid,pbest kp_{i d, \text { pbest }}^kpid, pbest k —— 粒子 iii 在第 kkk 次迭代中第 ddd 维的历史最优位置。
速度可以看作一个向量,具有大小和方向。即是粒子下一轮迭代移动的距离和方向。公式分为三部分,第一部分为惯性项,由该粒子的当前速度和惯性权重 ω\omegaω 组成。第二部分为认知项,即是粒子当前位置和自身历史最优位置间的距离和方向。 第三部分为社会项,即是粒子当前位置和群体历史最优位置间的距离和方向。
对于更新速度的方向,等于三部分向量和向量的方向。
1.2.2 位置更新公式
xidk+1=xidk+vidk+1x_{i d}^{k+1}=x_{i d}^{k}+v_{i d}^{k+1} xidk+1=xidk+vidk+1
点加向量等于点
大致掌握算法原理后,直接上手代码。
2 代码实现
示例问题:
求解如下函数的极小值
y=x1ex2+x3sinx2+x4x5y=x_1e^{x_2}+x_3sinx_2+x_4x_5 y=x1ex2+x3sinx2+x4x5
每个变量的取值都在(1,25)。
首先是定义一个求解类及其初始化方法。
class PSO:def __init__(self, D, N, M, p_low, p_up, v_low, v_high, w = 1., c1 = 2., c2 = 2.):self.w = w # 惯性权值self.c1 = c1 # 个体学习因子self.c2 = c2 # 群体学习因子self.D = D # 粒子维度self.N = N # 粒子群规模,初始化种群个数self.M = M # 最大迭代次数self.p_range = [p_low, p_up] # 粒子位置的约束范围self.v_range = [v_low, v_high] # 粒子速度的约束范围self.x = np.zeros((self.N, self.D)) # 所有粒子的位置self.v = np.zeros((self.N, self.D)) # 所有粒子的速度self.p_best = np.zeros((self.N, self.D)) # 每个粒子的最优位置self.g_best = np.zeros((1, self.D))[0] # 种群(全局)的最优位置self.p_bestFit = np.zeros(self.N) # 每个粒子的最优适应值self.g_bestFit = float('Inf') # float('-Inf'),始化种群(全局)的最优适应值,由于求极小值,故初始值给大,向下收敛,这里默认优化问题中只有一个全局最优解# 初始化所有个体和全局信息for i in range(self.N):for j in range(self.D):self.x[i][j] = random.uniform(self.p_range[0][j], self.p_range[1][j])self.v[i][j] = random.uniform(self.v_range[0], self.v_range[1])self.p_best[i] = self.x[i] # 保存个体历史最优位置,初始默认第0代为最优fit = self.fitness(self.p_best[i])self.p_bestFit[i] = fit # 保存个体历史最优适应值if fit < self.g_bestFit: # 寻找并保存全局最优位置和适应值self.g_best = self.p_best[i]self.g_bestFit = fit
然后定义适应度计算函数,也就是我们要寻优的对象。
def fitness(x):"""根据粒子位置计算适应值,可根据问题情况自定义"""return x[0] * np.exp(x[1]) + x[2] * np.sin(x[1]) + x[3] * x[4]
定义每次迭代的更新函数。
def update(self):for i in range(self.N):# 更新速度(核心公式)self.v[i] = self.w * self.v[i] + self.c1 * random.uniform(0, 1) * (self.p_best[i] - self.x[i]) + self.c2 * random.uniform(0, 1) * (self.g_best - self.x[i])# 速度限制for j in range(self.D):if self.v[i][j] < self.v_range[0]:self.v[i][j] = self.v_range[0]if self.v[i][j] > self.v_range[1]:self.v[i][j] = self.v_range[1]# 更新位置self.x[i] = self.x[i] + self.v[i]# 位置限制for j in range(self.D):if self.x[i][j] < self.p_range[0][j]:self.x[i][j] = self.p_range[0][j]if self.x[i][j] > self.p_range[1][j]:self.x[i][j] = self.p_range[1][j]# 更新个体和全局历史最优位置及适应值_fit = self.fitness(self.x[i])if _fit < self.p_bestFit[i]:self.p_best[i] = self.x[i]self.p_bestFit[i] = _fitif _fit < self.g_bestFit:self.g_best = self.x[i]self.g_bestFit = _fit
其中主要完成每轮迭代中单个粒子位置和速度,历史最优位置和最优适应度的更新,以及群体(全局)的最优位置和最优适应度的更新。
最后,便是主要函数的实现。
def pso(self, draw = 1):best_fit = [] # 记录每轮迭代的最佳适应度,用于绘图w_range = Noneif isinstance(self.w, tuple):w_range = self.w[1] - self.w[0]self.w = self.w[1]time_start = time.time() # 记录迭代寻优开始时间for i in range(self.M):self.update() # 更新主要参数和信息if w_range:self.w -= w_range / self.M # 惯性权重线性递减print("\rIter: {:d}/{:d} fitness: {:.4f} ".format(i, self.M, self.g_bestFit, end = '\n'))best_fit.append(self.g_bestFit.copy())time_end = time.time() # 记录迭代寻优结束时间print(f'Algorithm takes {time_end - time_start} seconds') # 打印算法总运行时间,单位为秒/sif draw:plt.figure()plt.plot([i for i in range(self.M)], best_fit)plt.xlabel("iter")plt.ylabel("fitness")plt.title("Iter process")plt.show()
测试代码如下。
if __name__ == '__main__':low = [1, 1, 1, 1, 1]up = [25, 25, 25, 25, 25]pso = PSO(5, 100, 50, low, up, -1, 1, w = 0.9)pso.pso()
测试结果如下图所示。
...
Iter: 47/50 fitness: 4.5598
Iter: 48/50 fitness: 4.5598
Iter: 49/50 fitness: 4.5598
Algorithm takes 0.1444549560546875 seconds
可以看到在第30轮就已经完全收敛了,且函数在求解空间中的极小值为4.5598。
3 总结
动态的惯性权重[1]^{[1]}[1]
w_range = self.w[1] - self.w[0] self.w = self.w[1] self.w -= w_range / self.M # 惯性权重线性递减
fitness变化逻辑
fitness是适应度函数值,通常问题是寻找解空间内的粒子,使得该粒子所代表的解的fitness向下或向上收敛于某一定值。对于不同收敛方向,个体和全局最优fitness一般初始化赋值无穷大或者无穷小
float('Inf')/float('-Inf')
。并且在判断更新最优适应值时也应当注意大小于符号。程序复用
对于上面的PSO类代码,不同多元寻优问题均可通过重写类中的
fitness
函数实现。或者定义self.fitness_function
属性进行外部函数名传参赋值。
参考
[1] 粒子群优化算法(Particle Swarm Optimization, PSO)的详细解读 - 知乎 (zhihu.com)
[2] 粒子群算法(PSO)的Python实现(求解多元函数的极值)_Cyril_KI的博客-CSDN博客_pso算法python
粒子群优化算法(PSO)python实践相关推荐
- 概率检索模型+模糊k近邻+粒子群优化算法(PSO)
1. 概率检索模型 文档属于"相关"类的概率与属于"不相关"类的概率的比值(也叫"优势比"). 显然,这个比值越大,代表该文档与查询的相关度 ...
- 【计算智能】——群体智能算法(蚁群优化算法ACO、粒子群优化算法PSO)
群体智能算法 与大多数基于梯度的优化算法不同,群体智能算法依靠的是概率搜索算法. 与梯度算法及传统演化算法相比优点: 没有集中控制约束,不会因为个体的故障影响整个问题的求解. 以非直接信息交流的方式确 ...
- 粒子群优化算法 PSO
文章目录 1.基本内容 1.1 概念 1.2 基本原理 1.3 基本步骤 2.代码分析 2.1 Rastrigrin()函数 2.2 Schaffer()函数 2.3 Griewank()函数 2.4 ...
- 【原理与代码讲解】粒子群优化算法 PSO(基础版)
0 前言 Gitee 代码地址: https://gitee.com/futurelqh/GA 粒子群优化算法(Particle Swarm Optimization,PSO),其思想源于对鸟群觅食过 ...
- 优化算法(四)——粒子群优化算法(PSO)
粒子群算法(Particle Swarm Optimization,PSO)是一种模仿鸟群.鱼群觅食行为发展起来的一种进化算法.其概念简单易于编程实现且运行效率高.参数相对较少,应用非常广泛.粒子群算 ...
- python特征选择pso_粒子群优化算法(PSO)之基于离散化的特征选择(FS)(三)
作者:Geppetto 前面我们介绍了特征选择(Feature Selection,FS)与离散化数据的重要性,总览的介绍了PSO在FS中的重要性和一些常用的方法,介绍了FS与离散化的背景,介绍本文所 ...
- 图解粒子群优化算法(PSO)
PSO:particle swarm optimization 注:以下的鸟就是粒子. 总体思想 有若干只鸟xix_ixi,位置可能各不相同,但是每只鸟需要记录下自己的个体历史最优解pbestipb ...
- 粒子群算法离散化各代表什么_粒子群优化算法(PSO)之基于离散化的特征选择(FS)(三)...
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识!也可以搜索号:磐创AI,关注我们的文章. 作者:Geppetto 前 ...
- matlab粒子群优化算法工具箱,MATLAB粒子群优化算法(PSO)
MATLAB粒子群优化算法(PSO) 一.介绍 粒子群优化算法(Particle Swarm Optimization Algorithm)是一种群智能算法,为了寻求全局最优.群体迭代,粒子在解空间追 ...
- PSO 粒子群优化算法 大整理
一.粒子群算法的概念 粒子群优化算法(PSO:Particle swarm optimization) 是一种进化计算技术(evolutionary computation).源于对鸟群捕食的行为 ...
最新文章
- Uva - 12545 - Bits Equalizer
- ISE14.7安装教程(转)
- Reading papers_15(Graph cuts optimization for multi-limb human segmentation in depth maps)
- 第一个通过HCIEv3.0的咱的学员
- 21天学通c++之7.10 for 循环 初始化多个变量
- Document Builder: REMOVE_CC_DEFAULT_TEXTS
- IE下列表框不能给option绑定click事件的解决办法
- 由于开发者通过接口修改了菜单配置_开发者说:Seata 0.7.0 版本,你 get 'Metrics' 技能了吗?...
- 两端分散对齐怎么设置_Word文字很难对齐?用这4个方法,2秒可对齐所有文字!...
- 不要打我,不要打我,不要打我啊啊
- Hyper-V 之04 SCVMM 2012 R2安装
- java计算机毕业设计网上书店进销存管理系统源码+数据库+系统+lw文档+mybatis+运行部署
- 差别-request.getParameterValues与request.getParameter
- 基于Arduino的吉他调音器
- java for冒号_浅谈对Java双冒号::的理解
- 找不到移动硬盘解决办法
- docker的部署及使用
- Python 解决execjs._exceptions.ProgramError: ReferenceError: document is not defined报错问题
- 移动硬盘如何分区?易我分区大师帮你搞定!
- Mysql之视图的创建、修改、查看、删除