0、论文背景

差分进化(Differential Evolution)和进化规划(Evolutionary Programming)是进化计算中的两种主要算法。它们已成功地应用于许多真实世界的数值优化问题。社区搜索(Neighborhood Search)是支撑EP的主要策略，目前已经对不同的NS操作符(高斯随机数和柯西随机数)的特征进行了分析。虽然DE可能与EP的进化过程相似，但它缺乏邻域搜索的相关概念。本章提出了基于邻域搜索的NSDE。NSDE中的NS操作符可以显著提高NSDE的搜索步长和种群的多样性，而不依赖于任何关于搜索空间的先验知识。

Yang Z, Yao X, He J. Making a difference to differential evolution[M]//Advances in metaheuristics for hard optimization. Springer, Berlin, Heidelberg, 2007: 397-414.

1、EP

进化规划(EP)进行的优化可以归纳为两个主要步骤：首先突变当前种群中的解，然后从突变的解和当前的解中选择下一代。

传统进化规划(CEP)的突变过程如下：

$\begin{array}{c} \boldsymbol{x}_{i}^{\prime}(j)=\boldsymbol{x}_{i}(j)+\boldsymbol{\eta}_{i}(j) N_{j}(0,1) \\ \boldsymbol{\eta}_{i}^{\prime}(j)=\boldsymbol{\eta}_{i}(j) \exp \left(\tau^{\prime} N(0,1)+\tau N_{j}(0,1)\right) \end{array}$

其中， $i \in\{1, \ldots, \mu\}$ ， $\mu$ 是种群大小； $j \in\{1, \ldots, n\}$ ，n是种群变量维度。上述也称古典进化规划(CEP)。

将柯西突变代替高斯突变，得到了快速进化规划(FEP)：

$\boldsymbol{x}_{i}^{\prime}(j)=\boldsymbol{x}_{i}(j)+\boldsymbol{\eta}_{i}(j) \delta_{j}$

其中，对于每一个个体的每一维变量， $\delta _{j}$ 是一个尺度参数t=1的柯西随机变量。使用柯西突变的EP被称为快速进化规划(FEP)。

2、NSDE

有关DE，参见博客：DE，有关柯西分布，参见博客：柯西分布。

DE的流程如下：

有n维向量 $x_{i}$ ， $\forall i \in\{1, \ldots, N P\}$ ，NP是种群的大小。

第一步：变异。

$\mathbf{v}_{\mathbf{i}}=\mathbf{x}_{\mathbf{i}_{1}}+F \cdot\left(\mathbf{x}_{\mathbf{i}_{2}}-\mathbf{x}_{\mathbf{i}_{3}}\right)$

$i, i_{1}, i_{2}, i_{3} \in[1, N P]$

一个较大的F值会增加逃离局部最优的概率。然而，它也增加了突变的扰动，从而降低了DE的收敛速度。

第二步：交叉。

$\mathbf{u}_{\mathbf{i}}(j)=\left\{\begin{array}{ll} \mathbf{v}_{\mathbf{i}}(j), & \text { if } U_{j}(0,1)<C R \text { or } j=j_{\text {rand }} \\ \mathbf{x}_{\mathbf{i}}(j), & \text { otherwise. } \end{array}\right.$

第三步：选择。

$\mathbf{x}_{\mathbf{i}}^{\prime}=\left\{\begin{array}{ll} \mathbf{u}_{\mathbf{i}}, & \text { if } f\left(\mathbf{u}_{\mathbf{i}}\right)<f\left(\mathbf{x}_{\mathbf{i}}\right) \\ \mathbf{x}_{\mathbf{i}}, & \text { otherwise } \end{array}\right.$

而本文提出的NSDE，与之前DE唯一不同的地方在于变异这一过程。DE中固定的常量变为了NS操作符(高斯随机数和柯西随机数)：

$\boldsymbol{y}_{i}=\boldsymbol{x}_{i_{1}}+\left\{\begin{array}{ll} \boldsymbol{d}_{i} \cdot N(0.5,0.5), & \text { if } U(0,1)<0.5 \\ \boldsymbol{d}_{i} \cdot \delta, & \text { otherwise } \end{array}\right.$

为什么要采用NS操作符代替F呢？简而言之：显著提高NSDE的搜索步长和种群的多样性，而不依赖于任何关于搜索空间的先验知识。最终达到寻得更好的全局最优值以及加快收敛的目的。

那么高斯随机数和柯西随机数有什么特点呢？

$\begin{array}{l} P(l<L)=\int_{-L}^{+L} f_{\psi}(x) \mathrm{d} x \\ P(l>L)=\int_{-\infty}^{-L} f_{\psi}(x) \mathrm{d} x+\int_{+L}^{+\infty} f_{\psi}(x) \mathrm{d} x \end{array}$

$f_{\psi }(x)$ 就是各自的概率密度函数。

柯西随机数与高斯随机数最大的不同在于，柯西随机数产生的值范围更广，产生较大值的概率比高斯随机数高；而高斯随机数产生的值范围较窄，相对局部。

所以一般情况下，柯西算子在远离全局最优时表现更好，而高斯算子在一个较好的区域内寻找局部最优时表现更好。而为了结合上述二者的特点，由此提出了上述变异等式。

3、算法的个人实现以及简单实验

DE的实现上述DE有关的博客有提到过，就不展示了。

NSDE代码实现：

function [globalBest, globalBestFitness, FitnessHistory] = NSDE(popsize, maxIteration,dim, LB, UB, CR, Fun)
% 种群的初始化和计算适应度值
Sol(popsize, dim) = 0; % Declare memory.
Fitness(popsize) = 0;
for i = 1:popsizeSol(i,:) = LB+(UB-LB).* rand(1, dim);Fitness(i) = Fun(Sol(i,:));
end% 获得全局最优值以及对应的种群向量
[fbest, bestIndex] = min(Fitness);
globalBest = Sol(bestIndex,:);
globalBestFitness = fbest; % 开始迭代
for time = 1:maxIterationfor i = 1:popsize% 突变r = randperm(popsize, 3);  %在1~pop中随机选择5个数组成一个数组r1 = rand();if r1 > 0.5pd = makedist('tLocationScale','mu',0,'sigma',1,'nu',1);F = random(pd,1,1);%生成1个柯西随机数elseF = normrnd(0.5,0.5);%生成1个高斯随机数endmutantPos = Sol(r(1),:) + F * (Sol(r(2),:) - Sol(r(3),:));% 交叉jj = randi(dim);  % 选择至少一维发生交叉for d = 1:dimif rand() < CR || d == jjcrossoverPos(d) = mutantPos(d);elsecrossoverPos(d) = Sol(i,d);endend% 检查是否越界.crossoverPos(crossoverPos>UB) = UB(crossoverPos>UB); crossoverPos(crossoverPos<LB) = LB(crossoverPos<LB);evalNewPos = Fun(crossoverPos);% 将突变和交叉后的变量重新评估% 小于原有值就更新if evalNewPos < Fitness(i)Sol(i,:) = crossoverPos;Fitness(i) = evalNewPos;endend[fbest, bestIndex] = min(Fitness);globalBest = Sol(bestIndex,:);globalBestFitness = fbest;% 存储每次迭代的最优值.FitnessHistory(time) = fbest;
end
end

进行简单的实验：

clear;clc;clearvars;
% 初始化变量维度,种群数,最大迭代次数,搜索区间,F,CR
dim = 20;
popsize = 100;
maxIteration = 1000;
LB = -5.12 * ones(1, dim);
UB = 5.12 * ones(1, dim);
F = 1;
CR = 0.9;
[globalBest, globalBestFitness, FitnessHistory] = DE(popsize, maxIteration,dim, LB, UB, F, CR, @(x)Rastrigin(x));
[globalBest1, globalBestFitness1, FitnessHistory1] = NSDE(popsize, maxIteration,dim, LB, UB, CR, @(x)Rastrigin(x));
plot(FitnessHistory);
hold on;
plot(FitnessHistory1);
legend('DE','NSDE','Location', 'northeast');

Rastrigin函数的测试结果：

Grtiewank函数的测试结果：

Ackley函数的测试结果：

综上所述，NSDE无论在优化效果上，还是在收敛性上，均远远优于DE。

如有错误，还望批评改正，

Making a Difference to Differential Evolution相关推荐

关于差分进化算法(Differential Evolution)
关于差分进化算法(Differential Evolution) 觉得有用的话,欢迎一起讨论相互学习~ 最近因为论文和审稿等综合因素的影响,决定对DE进行多一些研究,发现原先自己的了解太肤浅了发现了不 ...
SBX(Simulated binary crossover)模拟二进制交叉算子和DE(differential evolution)差分进化算子
一起来学演化计算-SBX(Simulated binary crossover)模拟二进制交叉算子和DE(differential evolution)差分进化算子觉得有用的话,欢迎一起讨论相互学习 ...
SBX(Simulated binary crossover)模拟二进制交叉算子和DE(differential evolution)差分进化算子...
一起来学演化计算-SBX(Simulated binary crossover)模拟二进制交叉算子和DE(differential evolution)差分进化算子觉得有用的话,欢迎一起讨论相互学习 ...
差分进化算法（Differential Evolution，DE）实例详解
差分进化算法是(differential evolution,DE)是基于群体智能理论的优化算法,是通过群体内个体间的合作与竞争而产生的智能优化搜索算法.对比进化计算,它保留了基于种群的全局搜索策略, ...
Self-adaptive Differential Evolution with Neighborhood Search
0.论文背景本文是在SaDE和NSDE的基础上,结合二者的特点,提出了SaNSDE算法. Yang Z, Tang K, Yao X. Self-adaptive differential evol ...
JADE: Adaptive Differential Evolution withOptional External Archive
0.论文背景本文在DE的基础上,提出了一种新的差分进化(DE)算法JADE,通过实现一种新的突变策略DE/current-to-pbest,采用可选的外部存档和参数的自适应更新,来提高优化性能.上述 ...
Self-adaptive Differential Evolution Algorithm for Numerical Optimization
0.论文背景本文在DE算法的基础上,提出了一种自适应的差分进化算法(SaDE).其中学习策略的选择和两个控制参数F和CR不需要预先指定. Qin A K, Suganthan P N. Self-a ...
【学习笔记】Multi-Objective Differential Evolution Algorithm --MODEA
[学习笔记]Multi-Objective Differential Evolution Algorithm --MODEA 正文 (一)算法关键点 (二).概念定义算法流程算法伪代码.算法流程图 ...
差分进化算法（Differential Evolution)
一.差分进化算法的由来差分进化算法(Differential Evolution,DE)于1997年由Rainer Storn和Kenneth Price在遗传算法等进化思想的基础上提出的,本质是一 ...

Making a Difference to Differential Evolution

0、论文背景

1、EP

2、NSDE

3、算法的个人实现以及简单实验

Making a Difference to Differential Evolution相关推荐

最新文章

热门文章