论文研读-基于种群分布的两阶段自适应知识迁移多目标进化多任务

Multiobjective Evolutionary Multitasking With Two-Stage Adaptive Knowledge Transfer Based on Population Distribution

觉得有用的话,欢迎一起讨论相互学习~

此篇文章为 Z. Liang, W. Liang, Z. Wang, X. Ma, L. Liu and Z. Zhu, "Multiobjective Evolutionary Multitasking With Two-Stage Adaptive Knowledge Transfer Based on Population Distribution," in IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2021.3096220. 的论文学习笔记，只供学习使用，不作商业用途，侵权删除。并且本人学术功底有限如果有思路不正确的地方欢迎批评指正！

摘要

通过利用任务之间的知识转移，多任务优化可以获得比传统单任务优化更好的性能。然而，目前的多任务优化算法存在一些不足。特别是对于高度相似的问题，现有算法可能无法充分利用知识转移来加速搜索的收敛，或者容易陷入局部最优。然而，在低相似问题上，它们往往遭受负迁移，导致性能下降。针对这些问题，提出了一种基于种群分布的两阶段自适应知识转移的多目标进化多任务优化算法。生成的EMT-PD算法能够基于从概率模型中提取的反映整个种群搜索趋势的知识，提高目标优化任务的收敛性能。在知识转移的第一阶段，采用自适应权重调整每个个体的搜索步长，可以减少负迁移的影响。在知识转移的第二阶段，进一步动态调整每个个体的搜索范围，可以提高种群多样性，有利于跳出局部最优。多任务多目标优化测试集上的实验结果表明，EMT-PD优于其他最先进的进化多任务/单任务算法。为了进一步研究EMT-PD在多目标优化中的有效性问题，本文还设计了一个多任务多目标优化测试套件。在新测试集上的实验结果也证明了EMT-PD的竞争力。

关键词

Evolutionary multitasking (EMT), knowl-edge transfer, many-objective optimization, multiobjective optimization, population distribution.

1.Introduction

[概括一下目前MOEMT的进展] 继[21]之后，文献中提出了许多多目标EMT算法来求解各种mop。例如，古普塔等人扩展了[21]的工作，提出了一个momfea[23]，通过分类交配和垂直文化传播同时处理多个MOPs。Yang等[24]提出了具有决策变量分类的多目标EMT的两阶段配合法，即对不同参数的不同变量组进行配合，以平衡多样性和收敛性（变量分类的方法）。冯等[25]提出了一种带有显式遗传转移的EMT算法(EMT-EGT)，以增强进化种群的搜索能力 （冯亮教授提出的显示迁移方法） 。陈等[26]提出了一个子群体间知识转移的模因论EMT框架。Tuan等人[27]在多目标连续优化中提出了一种利用局部搜索策略加速种群收敛的EMT算法。 （26-27同是hybrid方法加入了局部搜索的） EMT在现实应用中也取得了成功，例如基于排列的组合优化问题[28]、软件工程中的分支测试问题[29]、神经网络中的模块化知识表示[30]、符号回归问题[31]、多目标污染路由问题[32]和高光谱图像解混[33]。

[21] A. Gupta, Y .-S. Ong, and L. Feng, “Multifactorial evolution: Toward evolutionary multitasking,” IEEE Trans. Evol. Comput., vol. 20, no. 3, pp. 343–357, Jun. 2016.

[22] K. C. Tan, L. Feng, and M. Jiang, “Evolutionary transfer optimization— A new frontier in evolutionary computation research,” IEEE Comput. Intell. Mag., vol. 16, no. 1, pp. 22–33, Feb. 2021.

[23] A. Gupta, Y .-S. Ong, L. Feng, and K. C. Tan, “Multiobjective multifactorial optimization in evolutionary multitasking,” IEEE Trans. Cybern., vol. 47, no. 7, pp. 1652–1665, Jul. 2017.

[24] C. E. Y ang, J. L. Ding, K. C. Tan, and Y . C. Jin, “Two-stage assortative mating for multi-objective multifactorial evolutionary optimization,” in Proc. IEEE 56th Annu. Conf. Decis. Control (CDC), Melbourne, VIC, Australia, Dec. 2017, pp. 76–81.

[25] L. Feng et al., “Evolutionary multitasking via explicit autoencoding,” IEEE Trans. Cybern., vol. 49, no. 9, pp. 3457–3470, Sep. 2019.

[26] Y . L. Chen, J. H. Zhong, and M. K. Tan, “A fast memetic multiobjective differential evolution for multi-tasking optimization,” in Proc. IEEE Congr . Evol. Comput. (CEC), Rio de Janeiro, Brazil, Jul. 2018, pp. 1–8.

[27] N. Q. Tuan, T. D. Hoang, and H. T. T. Binh, “A guided differential evolutionary multi-tasking with powell search method for solving multiobjective continuous optimization,” in Proc. IEEE Congr . Evol. Comput. (CEC), Rio de Janeiro, Brazil, Jul. 2018, pp. 1–8.

[28] Y . Y uan, Y .-S. Ong, A. Gupta, P . S. Tan, and H. Xu, “Evolutionary multitasking in permutation-based combinatorial optimization problems: Realization with TSP , QAP , LOP , and JSP ,” in Proc. IEEE Region 10 Annu. Int. Conf. (TENCON), Singapore, Nov. 2016, pp. 3157–3164.

[29] R. Sagarna and Y .-S. Ong, “Concurrently searching branches in software tests generation through multitask evolution,” in Proc. IEEE Symp. Series Comput. Intell. (SSCI), Athens, Greece, Dec. 2016, pp. 1–8.

[30] R. Chandra, A. Gupta, Y .-S. Ong, and C.-K. Goh, “Evolutionary multitask learning for modular knowledge representation in neural networks,” Neural Process. Lett., vol. 47, no. 3, pp. 993–1009, Jun. 2018.

[31] J. Zhong, L. Feng, W. Cai, and Y .-S. Ong, “Multifactorial genetic programming for symbolic regression problems,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 50, no. 11, pp. 4492–4505, Nov. 2020.

[32] A. Rauniyar, R. Nath, and P . K. Muhuri, “Multi-factorial evolutionary algorithm based novel solution approach for multi-objective pollutionrouting problem,” Comput. Ind. Eng., vol. 130, no. 5, pp. 757–771, Apr. 2019.

[33] H. Li, Y .-S. Ong, M. G. Gong, and Z. K. Wang, “Evolutionary multitasking sparse reconstruction: Framework and case study,” IEEE Trans. Evol. Comput., vol. 23, no. 5, pp. 733–747, Oct. 2019.

【目前存在的问题】EMT算法的研究已经取得了显著的进展，但仍有进一步改进的空间，一些悬而未决的问题仍有待解决。特别是在高度相似的问题上，现有算法可能无法充分利用高质量解的知识来提高种群的收敛性，或者没有很好地处理种群陷入局部最优的情况。在低相似性问题上，任务的总体分布通常是不同的，这往往会导致任务之间的负迁移[34]。

【本文创新点】为了解决上述问题，本文提出了一种新的基于群体分布的两阶段自适应知识转移模型。EMT-PD首先为每个任务建立概率模型，然后从不同概率模型的乘积中获取知识。这些知识有助于加快种群的收敛速度。在知识转移的第一阶段，通过自适应权重调整每个个体的搜索步长，可以降低产生负转移的概率。在知识转移的第二阶段，动态调整每个个体的搜索范围，以促进种群多样性，避免陷入局部最优。EMT-PD然后在多任务多目标优化测试套件上进行测试。与其他最先进的进化多/单任务算法的比较研究证明了EMT-PD的竞争力。本文的主要贡献如下。

1)为了提高优化的效率和性能，提出了一种多任务多目标进化优化算法，该算法采用了一种新的知识提取和传递方法。

2)提出了一个基于著名的MaF【35】的多任务多目标优化测试套件。

[35] M. Q. Li et al., “A benchmark test suite for evolutionary many-objective optimization,” Complex Intell. Syst., vol. 3, no. 1, pp. 67–81, Mar. 2017.

3）基于三个测试套件，通过与其他最先进的算法进行比较，充分分析了EMT-PD 的优缺点。

Related Work and Motivation

2.1 EMT中的提取和迁移知识

【本节新的提法在于将EMT中的知识提取分为了基于单个个体知识的迁移和基于多个个体知识迁移的两个类别】
【单个个体KTS】 在EMT算法中，知识可以从单个或多个个体中提取，并转移到其他个体中，以方便他们的搜索。特别地， 基于单个个体的知识转移方法(KTS)是指从一个任务的单个个体中提取知识，并将知识转移到其他任务。 具有KTS的EMT算法包括MFEA [21]、M-BLEA [36]、LDA-MFEA [37]、S&M-MFEA [38]、MO-MFEA [23]、GMFEA [39]、TMOMFEA [24]、MTO-DRA [40]、MFEA-II [41]、MFEAGHS [42]和MFGP [31]。上述算法都是通过分类交配和垂直文化传播来传递知识的[43]。在分类交配中，从群体中随机选择两个个体，然后通过模拟二进制交叉(SBX)和多项式变异产生后代。在垂直文化传播中，每个后代被随机分配一项任务。在KTS，每个人为任务提供不同的知识，人口的多样性得到有效保持。然而，由于知识传递的随机性，具有KTS的EMT算法不能充分利用高质量解的知识来加速种群的收敛速度。

[21] MFEA: A. Gupta, Y .-S. Ong, and L. Feng, “Multifactorial evolution: Toward evolutionary multitasking,” IEEE Trans. Evol. Comput., vol. 20, no. 3, pp. 343–357, Jun. 2016.

[23] MOMFEA: A. Gupta, Y .-S. Ong, L. Feng, and K. C. Tan, “Multiobjective multifactorial optimization in evolutionary multitasking,” IEEE Trans. Cybern., vol. 47, no. 7, pp. 1652–1665, Jul. 2017.

[24] TMOMFEA: C. E. Y ang, J. L. Ding, K. C. Tan, and Y . C. Jin, “Two-stage assortative mating for multi-objective multifactorial evolutionary optimization,” in Proc. IEEE 56th Annu. Conf. Decis. Control (CDC), Melbourne, VIC, Australia, Dec. 2017, pp. 76–81.

[31] MFGP: J. Zhong, L. Feng, W. Cai, and Y .-S. Ong, “Multifactorial genetic programming for symbolic regression problems,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 50, no. 11, pp. 4492–4505, Nov. 2020.

[36] M-BLEA: A. Gupta, J. Ma´ ndziuk, and Y .-S. Ong, “Evolutionary multitasking in bi-level optimization,” Complex Intell. Syst., vol. 1, no. 1, pp. 83–95, Dec. 2015.

[37] LDA-MFEA: K. K. Bali, A. Gupta, L. Feng, Y . S. Ong, and P . S. Tan, “Linearized domain adaptation in evolutionary multitasking,” in Proc. IEEE Congr . Evol. Comput. (CEC), Donostia, Spain, Jun. 2017, pp. 1295–1302.

[38] S&M-MFEA: B. S. Da, A. Gupta, Y .-S. Ong, and L. Feng, “Evolutionary multitasking across single and multi-objective formulations for improved problem solving,” in Proc. IEEE Congr . Evol. Comput. (CEC), V ancouver, BC, Canada, Jul. 2016, pp. 1695–1701.

[39] GMFEA: J. L. Ding, C. Y ang, Y . C. Jin, and T. Y . Chai, “Generalized multitasking for evolutionary optimization of expensive problems,” IEEE Trans. Evol. Comput., vol. 23, no. 1, pp. 44–58, Feb. 2019.

[40] MTO-DRA: M. G. Gong, Z. D. Tang, H. Li, and J. Zhang, “Evolutionary multitasking with dynamic resource allocating strategy,” IEEE Trans. Evol. Comput., vol. 23, no. 5, pp. 858–869, Oct. 2019.

[41] MFEAII: K. K. Bali, Y .-S. Ong, A. Gupta, and P . S. Tan, “Multifactorial evolutionary algorithm with online transfer parameter estimation: MFEA-II,” IEEE Trans. Evol. Comput., vol. 24, no. 1, pp. 69–83, Feb. 2020.

[42] MFEA-GHS: Z. P . Liang, J. Zhang, L. Feng, and Z. X. Zhu, “A hybrid of genetic transform and hyper-rectangle search strategies for evolutionary multi-tasking,” Expert Syst. Appl., vol. 138, no. 30, Dec. 2019, Art. no. 112798.

[43] B. S. Da, A. Gupta, Y . S. Ong, and L. Feng, The Boon of Gene-Culture Interaction for Effective Evolutionary Multitasking (Lecture Notes in Computer Science, 9592). Cham, Switzerland: Springer, Feb. 2016, pp. 54–65

【多个个体KTM1-PSO】基于多个个体的知识转移方法(KTM)是指从一个任务的多个个体中提取知识，并将知识转移到其他任务。带有KTM的EMT算法可以基于粒子群优化算法来实现[44]，[45]。例如，冯等[46]提出了一种多任务PSO算法。多任务最优解的引导加速了种群的收敛。唐和龚[47]通过引入自适应策略调整任务间知识转移概率，提出了一种自适应多任务PSO算法，有效降低了负转移概率。宋等[48]提出了一种多任务多群体优化算法。所有任务的最优个体之间的交叉提高了解的质量。

[46] L. Feng et al., “An empirical study of multifactorial PSO and multifactorial DE,” in Proc. IEEE Congr . Evol. Comput. (CEC), Donostia, Spain, Jun. 2017, pp. 921–928.

[47] Z. D. Tang and M. G. Gong, “Adaptive multifactorial particle swarm optimisation,” CAAI Trans. Intell. Technol., vol. 4, no. 1, pp. 37–46, Mar. 2019.

[48] H. Song, A. K. Qin, P .-W. Tsai, and J. J. Liang, “Multitasking multiswarm optimization,” in Proc. IEEE Congr . Evol. Comput. (CEC), Wellington, New Zealand, Jun. 2019, pp. 1937–1944.

【多个个体KTM2-DE】 差分进化(DE) [49]，[50]是另一个与KTM一起构建EMT的流行平台。例如，刘等人[51]提出了SaM-MA，采用了三种不同的机制，即DE算法、通过代理模型预测最优解和局部搜索策略。混合使用这三种机制可以平衡种群的多样性和收敛性。周等[52]提出了一种新的突变策略，称为DE/best/1+ρ。随着进化过程中知识转移权重的逐渐增加，提高了种群的多样性。梁等[53]提出了一种基于子空间对齐和自适应DE的多模态有限元分析方法，可以提高任务间的知识传递质量。

[51] D. N. Liu, S. J. Huang, and J. H. Zhong, “Surrogate-assisted multitasking memetic algorithm,” in Proc. IEEE Congr . Evol. Comput. (CEC), Rio de Janeiro, Brazil, Jul. 2018, pp. 1–8.

[52] MFDE: L. Zhou et al., “Towards effective mutation for knowledge transfer in multifactorial differential evolution,” in Proc. IEEE Congr . Evol. Comput. (CEC), Wellington, New Zealand, Jun. 2019, pp. 1541–1547.

[53] MFEA-SADE: Z. Liang, H. Dong, C. Liu, W. Liang, and Z. Zhu, “Evolutionary multitasking for multiobjective optimization with subspace alignment and adaptive differential evolution,” IEEE Trans. Cybern., early access, Jun. 24, 2020, doi: 10.1109/TCYB.2020.2980888.

【多个个体KTM3-显示转移】 显性知识转移代表了EMT算法中KTM的另一种形式。冯等[25]首先提出了一种具有显式知识转移的EMT算法EMT-EGT，该算法允许结合具有不同偏差的多种搜索机制。它能够提高群体的搜索能力。 尚等人[54]提出了一种信用分配方法，选择合适的个体进行显性知识转移。该方法的知识转移效率得到了提高。

[25] L. Feng et al., “Evolutionary multitasking via explicit autoencoding,” IEEE Trans. Cybern., vol. 49, no. 9, pp. 3457–3470, Sep. 2019.

[54] Q. Shang et al., “A preliminary study of adaptive task selection in explicit evolutionary many-tasking,” in Proc. IEEE Congr . Evol. Comput. (CEC), Wellington, New Zealand, Jun. 2019, pp. 2153–2159.
【总结KTM】总之，KTM有利于提高种群的收敛性，但也有从劣等个体中提取知识的概率。此外，在一个世代，整个种群的搜索是由一些ktm中相同的解引导的，这增加了陷入局部最优的概率。

Motivation of Two-Stage Adaptive Knowledge Transfer Based on Population Distribution

在这一节中，我们以一个如图1所示的两任务问题为例来解释所提出的基于群体分布的两阶段自适应知识转移算法的动机。
【注意：此处的KTS是从单个个体中获得信息进行迁移，KTM是从多个个体中获得信息进行迁移。 HS是两个任务具有较高的相似度，LS是两个任务具有较低的相似度，通常相似度越高，越容易造成正迁移】
对于高度相似的问题，从一个任务的高质量解中提取的知识通常可以有效地加速另一个任务的收敛[39]。然而，在大多数现有的kts和ktm[21]，[23]，[41]中，知识可能是从劣等个体中提取的。图1(a)示出了在高相似度(HS)场景下的KTS的例子。在搜索空间中，task1和task2的高质量解汇聚在同一个区域，其中p1是task1的解，p2 i是task2的高质量解，p3是task2的劣解。如果知识从p2转移到p1，那么p1可以被引导去搜索高质量解决方案的集中区域。然而，KTS可能会将知识从劣解p3转移到p1，这将减缓任务1的收敛速度。

图1。知识转移和搜索方向的说明，其中x1和x2是决策变量的两个维度。三角形和正方形分别代表优质解和劣质解。task1和task2的解决方案分别以空心面和实心面区分。全局最优解应该位于椭圆区域。(a)和(b) KTS和KTM分别处于HS高度相似情景。©和(d)分别描述了一次LS低度相似下的KTS和KTM。

图1(b)示出了在HS场景下的KTM的例子，其中一个解决方案由另外两个解决方案指导。这里，p1是任务1的解。p2和p3分别是task2的两个高质量解决方案。p4是task2的劣解。如果知识从p2和p3转移到p1，p1可以被引导到高质量解决方案的集中区域。然而，KTM也可能会转移劣解P4–P1的知识。如果p1从p3和p4学习，它将偏离理想的搜索方向。在补充材料的图S1©中也提供了显示这种现象的代表性实例。相反，在一些KTS和KTM的方法[46]，[53]中，每一代人对整个群体的搜索只受每次任务的一个或几个最佳解的指导。如果用于转移的所选解不是全局最优解，则很容易将种群引向局部最优解，如补充材料的图S1(f)所示。

对于低相似性问题，任务1和任务2的总体分布非常不同[55]。对于KTS和KTM来说，不同任务的人群不适合互相引导去寻找一个理想的方向。这些任务之间很有可能发生负迁移。图1©示出了低相似度(LS)场景下的KTS的示例，其中不同任务的高质量解决方案分布在不同区域。这里，p1代表任务1的一个个体，p2是任务2的高质量解决方案。当知识从p2转移到p1时，p1会严重偏离任务1的高质量解决方案的收敛区域。

图1(d)示出了在LS场景下的KTM的例子，其类似于KTS的情况。补充材料中的图S1(l)给出了一个有代表性的例子，它有这种现象。
针对上述问题，本文提出了一种新的基于群体分布的两阶段自适应知识转移EMT算法。具体来说，首先为每个任务的群体建立一个概率模型，从两个概率模型乘积的最大值点提取用于转移的知识。请注意，使用人口分布而不是个体作为知识来源，以减轻劣等个体的影响。在补充材料的第四节和第二节中，通过与使用各种KTS和KTM策略的其他算法的比较，证明了动机的有效性。

3.PROPOSED ALGORITHM

3.1 算法总体流程

【自我理解~】，首先这个算法本身是为双任务环境准备的。对于每个任务来说，首先建立一个概率模型，记录最大点为m。将两个任务的模型相乘，标记最大值为mp. 计算两者的欧氏距离d1. 遍历种群中的个体时，计算个体和自身任务的模型的最大点m之间的欧氏距离即为d2.–【这些都是在决策变量维度计算值在决策项链维度计算矩阵】

3.2 构建概率模型

【本节和下一节是本文最关键的两个章节】但是这样还远远不够理解本文的思路，建议大家结合文章附上的代码进行进一步分析和解读。https://github.com/CIA-SZU/LWQ，
其中运行函数在Callsolver.m，算法的整体运行构成在EMTPD中，算法的主体和MOMFEA框架没有区别，最主要的区别在Strategy.m中。Strategy.m包含了整个模型的构建。其中极大似然函数，混合高斯模型，EM算法的描述遵循机器学习经典书籍PRML中的实现。
关于这些讲解，请参考：

【ML and EC】EM算法MATLAB代码及详细注

【ML and EC】高斯混合模型

【ML and EC】详解EM算法与混合高斯模型Gaussian mixture model, GMM

【ML and EC】二维高斯分布Two-dimensional Gaussian distribution的参数分析

Strategy.m

3.3 从种群分布中汲取知识

概率模型乘积的最大值点反映了两个种群的共同中心化，表达了进化过程中两个种群的共同搜索趋势[56]。在我们的算法中，最大点用于指导每个任务的搜索。有助于加快收敛速度，降低陷入局部最优的概率。
[56] J. Zhang, W. E. Zhou, X. Q. Chen, W. Y ao, and L. Cao, “Multisource selective transfer framework in multiobjective optimization problems,” IEEE Trans. Evol. Comput., vol. 24, no. 3, pp. 424–438, Jul. 2020.

论文研读-多目标优化中的多源选择迁移框架

3.4 两阶段知识迁移和个体生成

【3.4节对于本文来说实在是过于重要，因此尽可能不破坏原文】 对于高度相似的问题，task1和task2的种群趋向于收敛到一个相似的区域，直接在mp的引导下可以加快task1和task2的收敛速度。但是对于低相似性的问题，任务1和任务2的群体会收敛到不同的区域。如果mp被直接用于指导种群的搜索，它很可能导致负迁移。此外，还需要在高相似问题和低相似问题上平衡种群的收敛性和多样性。为了解决这些问题，我们提出了基于群体分布的两阶段适应性知识转移。在第一阶段，自适应地调整每个个体的搜索步长，以减少负迁移的影响。第二阶段，基于中间个体进一步调整每个个体的搜索范围，增加种群的种群多样性，避免陷入局部最优。

At the first stage, the search step size of each individual is adjusted adaptively to reduce the impact of negative transfer. At the second stage, the search range of each individual is further adjusted based on an intermediate individual, which increases the population diversity of the population and avoids getting trapped in local optimum.

其中D为决策变量的维数，Q为D维高斯白噪声，F为比例因子。本文采用的高斯白噪声Q遵循标准高斯分布，其均值和方差分别设为0和1。比例因子F用于调整白噪声的数量级，引入白噪声是为了增加种群多样性。
引入第二阶段知识转移的原因是为了更好地平衡种群的收敛性和多样性，因为所有个体在第一阶段都在mp的引导下向同一个方向搜索。如果D1小，第一阶段的知识转移是有效的；感谢HS在这两项任务之间的配合。没有必要在第二阶段实质上调整搜索范围。相反，如果D1较大，即两个任务之间的相似度较低，则应合理增加第二阶段搜索范围的调整。至于d2，如果很小，则个体p接近收敛区域。第二阶段也不需要大幅度调整。如果d2大，第二阶段搜索范围的调整也要合理加大。算法3结束时，第6行进行多项式变异，后代c’被合并到第7行的后代群体C中。
图3示出了两阶段知识转移的示例，其中p是从特定任务的群体中选择的个体，mp是概率模型的乘积的最大点。在知识转移的第一阶段，知识从mp转移到p。p的搜索由mp引导，中间个体p’就是在这个阶段产生的。第二阶段，中间个体p’的搜索范围再次被动态调整以产生后代c。

3.5 时间复杂度分析