Interactive Multiobjective Optimisation: Preference Changes and Algorithm Responsiveness

作者：Kendall Taylor、Xiaodong Li

期刊：GECCO '18: Proceedings of the Genetic and Evolutionary Computation Conference

DOI：10.1145/3205455.3205624

摘要

对于具有多个目标和较大搜索空间的优化问题，找到所有最优解可能是不可行的。即使可能，决策者(DM)也只对这些解决方案中的一小部分感兴趣。将决策者对解决方案的偏好信息合并到搜索过程中，只关注兴趣区间，能够减少问题的搜索空间。决策者能在单次优化期间进行交互并调整偏好信息，这样有助于学习和纠错，并改进对解决方案的搜索。在本文中，我们将一个交互式框架应用于四个主要的多目标进化算法(MOEA)，它们使用参考点来表达偏好。此外，我们还提出了一种新的性能指标，来测量算法对偏好变化响应程度，并利用该度量对这些算法进行了评估。

交互式算法必须对DM偏好的变化做出响应，我们展示了当在ZDT测试问题上运行时，我们的新度量如何能够区分这四种算法。最后，我们确定了这些方法的特征，这些特征决定了它们对变化的响应水平。

1、介绍

任何现实优化问题都会涉及到一个决策者(DM)，他在解决问题和实现结果方面有着一定的偏好。在单目标问题和单个最优解决方案的情况下，DM有一个简单的选择：接受或者拒绝。然而，解决多目标问题涉及找到一组解决方案，代表了冲突目标之间的最佳权衡。多目标优化算法找到的解决方案集可能很大，但通常DM会从中选择一小部分解决方案进行进一步评估。

这种后验方法，除了计算浪费之外，当多目标问题的一组最优解太大时，DM无法进行有效选择。基于偏好的算法旨在通过结合DM的偏好信息和专家知识来减少搜索空间，并将搜索集中在一个兴趣区域，来改善这一问题。尽管许多基于偏好的方法在算法运行的开始(先验)或结束(后验)都涉及到DM，但在整个优化过程中，以交互方式引入偏好信息的兴趣越来越大。当决策者对自己的偏好不确定时，交互式方法的优势尤为明显，而交互过程能够启发决策者，并允许纠正错误。

优化算法有助于纠正DM错误。然而，为了实现这种修正，需要算法在不牺牲收敛势头的情况下，迅速地重新聚焦于一个新的兴趣区域。此外，算法对偏好变化的敏感程度决定了它对交互式应用的适用性。因此，本工作开发了一个新的交互性能指标，允许比较算法响应情况。

为了实现这一目标，我们首先研究了算法如何适应和响应优化过程中的偏好变化。当基于参考点的MOEA被中断，DM改变参考点时，随着关键输入之一的改变，问题有了动态性。

动态多目标优化问题DMOPs包含能够随着时间变化的约束、目标或参数，这些变化有可能改变问题的帕累托前沿。在交互式参考点方法中，参考点在优化过程中会发生变化，是一个离散的动态参数。这个变化引导搜索过程在新参考点定义的兴趣区域中寻找解决方案。与DMOP不同，在参考点改变的情况下，问题状况和帕累托前沿不会改变。然而，这两个问题都需要对环境变化作出反应，种群多样性在响应变化中的作用仍然存在。

交互式算法对偏好变化做出响应的能力很重要。因此，需要一个客观的衡量标准来评估和比较交互式MOEAs在响应DM偏好变化方面的相对表现。使用这样的度量，可以识别算法响应能力的特征。通过使用一系列标准的基准问题来评估性能，我们可能会发现导致更好结果的算法特征。

这项工作为交互性提供了一个新的性能指标，可以比较算法的响应性。随着问题变得越来越复杂，在优化过程中引入DM变得越来越流行。交互式的MOEA需要对DM的偏好变化做出反应，但目前还没有衡量方法对变化的反应程度。累积超体积度量有助于识别不同MOEAs的特征，以及它们在交互式、动态环境中的表现。

2、背景

2.1、多目标优化

在解决多个目标冲突的优化问题上，MOEAs使用一种随机方法来进化出个体种群(候选解)，并使用适应度函数来评估它们。这个过程的每一次迭代或每一代都在寻找比之前的“更好”适应度的解决方案。优化过程继续进行，直到满足终止标准并找到最终(最优)的一组解决方案。

由于MOP的目标相互冲突，而最终的解决方案代表了目标之间的权衡，因此无法确定单一的“最佳”解决方案。此外，很难实现以一种有意义的方式对这些解决方案进行排序，并让DM从中进行选择。为了克服这个问题，大多数多目标优化算法使用支配关系的概念来区分解决方案的最优性。

Minimise/Maximise [f1(x),…,fm(x)]; subject to x∈Ω\begin{aligned} \text { Minimise/Maximise } &\left[f_{1}(x), \ldots, f_{m}(x)\right] \text {; } \\ \text { subject to } & x \in \Omega \end{aligned} Minimise/Maximise subject to [f1(x),…,fm(x)]; x∈Ω

2.2、偏好模型

为了表示DM信息，偏好模型别用来量化信息，以便将其引入优化过程。一些模型需要来自DM的先验输入，还可以在优化过程中以交互方式输入，或在优化后帮助选择出理想的解决方案(后验)。

偏好模型的类型取决于DM提供的信息类型和信息展示给DM的方式。使用权重、权衡、两两比较、排序和阈值是常见的方法，它们在引入DM偏好方面表现良好。不幸的是，对于需要考虑三个或更多目标的问题，DM的需求或负担会迅速增加。这是不希望看到的，需要在模型的复杂性和扩展到更大问题的能力之间做出妥协。使用参考点可以通过使用一个简单的点向量来表示DM对每个目标的期望来解决这个问题。

参考点模型已被证明在多目标优化中是有用的，它让DM提供一个包含每个目标值的参考点。在优化过程的开始时使用一个参考点(先验的)，将初始搜索集中在兴趣区域，并显著减少计算。然而，这是假设DM事先了解问题，知道从哪里开始寻找他们的首选解决方案。在缺乏此类知识的情况下，交互式方法允许DM可以在优化过程中调整参考点，并探索搜索空间，了解问题以及目标之间的相互依赖关系。DM更多地参与优化过程，也可以提升最终解决方案的满意度，并使单个解决方案的选择更有效。

2.3、交互式

相对于先验和后验技术，逐步引入偏好信息有许多优点。交互式优化方法包括一系列迭代过程，DM在优化过程中逐步指定偏好信息，指导寻找所需的解决方案。使用这种方法，当定向搜索集中在DM的首选区域时，只需要探索和评估Pareto前沿的部分区域。除了减少计算的优点外，交互性的关键优势在于，DM可以从探索搜索空间，细化偏好信息，搜索首选解的过程中学习。这也意味着，在搜索之前，DM不需要先验知识和任何全局偏好结构。DM的偏好可以在搜索过程中变化，减少人为错误的误导，并允许更大的搜索控制。

2.4、基于偏好的MOEAs的性能指标

基于偏好的MOEAs生成Pareto最优解的子集，基于整个Pareto前沿的基础性能指标不太适用。

问题在于需要定义一个独立于帕累托前沿的优选兴趣区域。Mohammadi等人提出将作比较的MOEAs的解决方案合并，来构建一个复合前沿(composite front)。在该前沿上定义首选兴趣区域，现有的MOEAs性能指标用来评估性能。

Nguyen等人提出了一种类似的方法，即从首选区域生成一个基于用户的前沿User based Front，然后使用世代距离(GD)和反世代距离(IGD)来衡量性能。

最近Li和Deb[17]提出了一种名为R指标（r-metri）的系统方法，该方法对首选的最优解集进行预处理，并使用反世代距离IGD和超体积HV来测量性能。HV度量的优势在于，它既能识别解集支配关系，又能奖励解决方案的多样性。然而，计算HV可能是复杂的，特别是当许多解决方案需要评估。

基于MOEAs的参考点和交互偏好的使用是一个相对较新的研究领域。因此，衡量这些技术性能的标准目前还不成熟。

3、累积超体积Accumulated HyperVolume

本文提出新的测量指标AHvAHvAHv，基于超体积指标，使用兴趣区域内的解决方案进行计算，而不是整个Pareto前沿。解决方案的减少使得计算复杂度降到最低，并允许在优化过程中在合理的时间范围内确定和聚合HV。

求解运行的每一代都包含两个或多个算法，使用所有算法的非支配解来定义一个兴趣区域/首选区域。

解决方案的复合前沿被用来计算最低点Nadir point，代表集合中最坏目标值。然后，使用该最低点和每个算法中落入兴趣区域的非支配解来计算每个算法的超体积。图1通过一组非支配解来显示这个过程。这些非支配解位于兴趣区域内，该区域由最接近参考点的中点来确定的。这些解决方案的超体积由最低点所构造的区域面积之和所决定的。

算法总共运行TTT代，在每$t(t=1,2,\dots,T)
代中，确定一个新的首选区域代中，确定一个新的首选区域代中，确定一个新的首选区域{Pr}_t，计算该区域中解决方案的超体积，计算该区域中解决方案的超体积，计算该区域中解决方案的超体积HV。在完成一次完整运行后，累积超体积。在完成一次完整运行后，累积超体积。在完成一次完整运行后，累积超体积AHv$是每一代的超体积的累加和：

AHv=∑t=1THVt(Rt,ndt)AHv = \sum _ { t = 1 } ^ { T } {HV} _ { t } ( R _ { t } , {n d} _ { t } ) AHv=t=1∑THVt(Rt,ndt)

对于每一代t，都有一个解集R_t，包含了位于兴趣区域{Pr}_t中的非支配解，和一个最低点{nd}_t。超体积{HV}_t是由R_t中的解决方案和最低点{nd}_t组成的区域的面积总和，即

HVt=volume(∪i=1∣Rt∣vi){H V} _ { t } = {volume}(\cup _{i=1} ^ { | R _ { t }| } v _ { i } ) HVt=volume(∪i=1∣Rt∣vi)

前提是，基于参考点的MOEA找到的解决方案将收敛到DM的兴趣区域，并最大化其超体积指标。如果在优化过程中(收敛后)参考点改变，下一代的超大容量将是最小的。随着后续解决方案更靠近新的参考点，超体积值将会增加。AHvAHvAHv至少是一个二进制指标，需要至少两个算法解集作为参数。随着参考点的改变，更快找到更接近的解决方案的算法将比同时运行的其他算法拥有更高的AHvAHvAHv。

为了确定某一代中解决方案的首选区域，我们使用了Mohammadi等人开发的指标，称为基于复合前沿的用户偏好指标(UPCF)。该指标是专门为基于参考点的MOEAs设计的，并使用复合前沿来替代Pareto前沿，创建一个首选区域。优选区域以复合前沿中距离参考点最近的解决方案为中心，以用户指定的参数rrr确定半径。在每一代中，当所有算法完成时，通过以下步骤确定优选区域：

将所有算法的解决方案合并成一个前沿（复合前沿）；
从复合前沿中去除支配解；
在复合前沿中找到最接近参考点的解（中点）；
利用给定的半径，以中点为中心构造一个首选区域。
使用当代的最低点，分别计算每个算法兴趣区域中的解决方案的超体积
在终止条件满足或达到需要的代数后，将所有代的超体积值相加，为每个算法生成一个累积超体积。

算法累积的超体积越大，算法对参考点的聚焦能力越强。同样，在算法运行过程中，当参考点发生变化时，响应更好的算法也会有更大的累积超容量。当参考点位置改变时，下一代的超体积应该比改变前的要低。参考点在同一点停留的时间越长，解的收敛性越强，因此当参考点移动时，新参考点附近如果有解的话也仅有少量的解，所以超体积会变小。快速响应算法将能够比慢响应方法更快地获得超大容量。

4、评估

4.1、基于参考点的多目标算法

NSGA-II算法使用两个适应度函数（帕累托最优和拥挤距离）来选择解决方案，主要标准是帕累托最优。然而，当解决方案之间的支配优势不能确定时，使用拥挤距离来确保所选的解决方案集的多样性。

选择了四个基于参考点的MOEAs来评估这个新指标：

R-NSGA-II是最早和最流行的方法，已成功地应用于现实场景和大规模工业系统仿真。基于NSGA-II算法
偏好距离(Preference distance)
R-NSGA-II用偏好距离函数代替NSGA-II的拥挤距离函数，偏好距离函数更偏好接近参考点的解决方案。使用偏好距离作为次要标准(同时保持帕累托最优性为第一标准)，指导算法找到接近参考点的帕累托最优解。
g-NSGA-II，基于NSGA-II算法
g支配关系(g-dominance)
该方法将帕累托效率的概念与一个参考点(代表决策者的期望水平)相结合，并在由该点定义的兴趣区域中找到解决方案。兴趣区域是通过将目标空间分割成两个区域，并偏好那些满足所有期望水平或不满足所有期望水平的区域中的解决方案来确定的，而不是满足部分期望水平。
r-NSGA-II，基于NSGA-II算法
r支配关系(r-dominance)
基于参考解决方案的支配关系(r-dominance)采用NSGA-II的主要支配关系去优先选择接近参考点的解决方案，同时维持Pareto支配排序。利用加权欧氏距离确定解决方案与参考点的接近度，该接近度可用来区分非支配解。
R-MEAD，扩展了分解方法MOEA/D
基于参考点的分解算法
在基本算法MOEA/D中，生成覆盖整个帕累托前沿的权值向量；相反，R-MEAD生成一组较小的权重，以在兴趣区域中找到解决方案。它通过演化一个初始权值向量，直到找到一个尽可能接近参考点和帕累托前沿的解决方案来实现这一点。在每一代中，不接近参考点的邻域权值向量通过向兴趣区域移动来不断更新。

前三种方法建立在NSGA-II的基础上，它们各自根据相对于参考点的位置，用自己的支配关系替换或添加支配函数。r-NSGA-II和R-NSGA-II是非常相似的算法，但不同之处在于它们如何结合基于距离的适应度函数。R-NSGA-II也可以使用多个参考点。R-MEAD是MOEA/D的一种改编，它围绕感兴趣区域生成子问题权值。因此我们有两个算法类，基于支配的和基于分解的。

4.2、实验设置

5、实验结果

6、总结

对偏好变化做出反应的算法有助于探索和学习，同时允许纠正“错误”或错误方向。为了比较交互算法的响应性，我们开发了一个新的性能指标。这个新的度量称为AHvAHvAHv，是MOEA运行时每一代超体积的累加。利用AHvAHvAHv，我们可以比较四种基于参考点的MOEAs在ZDT系列问题上的性能。该度量不仅允许我们确定算法对参考点变化的响应程度，而且由于超体积的性质，更大的值也表明解决方案的收敛性和多样性越好。

评估显示了所选的基于参考点的算法的性能，以及对偏好变化的适应能力和反映能力。正如预期的那样，在所有方法中都发现了一些变化：g-NSGA-II的适应速度较慢、R-MEAD的适应速度较快，但收敛性较差。表现最稳定的是r-NSGA-II和最先进的R-NSGA-II。

在测试的算法中，已经确定了许多特征。反应水平不同：g-NSGA-II是最慢的反应。由于其他基于NSGA-II的方法表现较好，因此确定支配关系是相关的。实际上，另外两种基于NSGA-II的算法r-NSGA-II和R-NSGA-II一直表现最好。分解算法R-MEAD对参考点的变化反应非常快，但收敛性不如r-NSGA-II和R-NSGA-II。.

几乎没有研究优化过程中交互的频率，也没有研究用于决策者检查结果并更新偏好信息的最佳中断时间。

论文阅读：Interactive Multiobjective Optimisation: Preference Changes and Algorithm Responsiveness相关推荐

九月学习笔记（FM、一些论文阅读、代码）
目录 2020.09.16 FM 因子分解机 2021.09.18 论文阅读 Interactive Recommender System via Knowledge Graph-enhanced R ...
点云配准论文阅读笔记--(4PCS)4-Points Congruent Sets for Robust Pairwise Surface Registration
目录点云配准系列写在前面 Abstract摘要 1 Introduction引言 2 Background研究背景 RANSAC Randomized Alignment 3 Approximat ...
点云配准论文阅读笔记--Comparing ICP variants on real-world data sets
目录写在前面点云配准系列摘要 1引言(Introduction) 2 相关研究(Related work) 3方法( Method) 3.1输入数据的敏感性 3.2评价指标 3.3协议 4 模块 ...
点云配准论文阅读笔记--3d-dnt博士论文
目录点云配准系列本文内容摘要 chapter1 introduction 1.1 Contributions 1.2 outline chapter2 常用概念 2.1 点.位姿 2.2 旋转 ...
Wisdom of the Crowd Voting：Truthful Aggregation of Voter Information and Preference（博弈论+机制设计）论文阅读笔记
Wisdom of the Crowd Voting:Truthful Aggregation of Voter Information and Preferences 论文阅读笔记一.基本信息二 ...
[论文阅读] (07) RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
深度学习论文阅读目标检测篇(四)中英文对照版:YOLOv1< You Only Look Once: Unified, Real-Time Object Detection> Abstra ...

论文阅读：Interactive Multiobjective Optimisation: Preference Changes and Algorithm Responsiveness