General Partial Label Learning via Dual Bipartite Graph Autoencoder

基于双二部图自动编码器的一般部分标签学习

摘要：我们提出了一个实际而又具有挑战性的问题：广义部分标记学习（GPLL）。与传统的部分标签学习（PLL）问题相比，GPLL将监督假设从实例级（标签集部分标记实例）放宽到组级：1）标签集部分标记一组实例，其中组内实例标签链接注释缺失，和2）允许跨组链接-组中的实例可能部分链接到另一个组中的标签集。这种模棱两可的组级监控在现实场景中更为实用，因为不再需要实例级的附加注释，例如，视频中的人脸命名，其中组由帧中的人脸组成，并由相应标题中设置的名称进行标记。在本文中，我们提出了一种新的图卷积网络（GCN），称为双二部图自动编码器（DB-GAE），以解决GPLL的标签模糊问题。首先，我们利用跨群相关性将实例群表示为双二部图：群内图和跨群图，它们相互补充以解决链接歧义。其次，我们设计了一个GCN自动编码器对其进行编码和解码，其中解码被认为是细化的结果。值得注意的是，DB-GAE是自我监督和转换的，因为它只使用组级监督，没有单独的离线培训阶段。在两个真实数据集上进行的大量实验表明，DB-GAE显著优于最佳基线，绝对F1分数为0.159，准确率为24.8%。我们进一步分析了不同级别的标签歧义。

介绍标签并不总是干净、完整和明确的。如图1（顶部）所示，给定一个训练实例，它对应于一个候选标签集[，]，其中只有一个是正确的。从这种模棱两可的标签中学习被称为部分标签学习（PLL）（Cour、Sapp和Taskar 2011），这是一个实际问题，因为与其他一对一监督相比，它显著减少了人类的标签工作。然而，在大规模场景中，PLL的假设仍然很难实现：如果视频或Web图像中有数百万帧，那么实例级别的标签注释PLL的成本将高得令人望而却步。图1（底部）显示了从实例级别到组级别的几个松弛示例：一组实例和候选标签集[，]。与传统的PLL相比，这更为复杂和模糊：1）组内注释被删除，2）允许跨组链接-出现在另一个组[]的候选标签集中，以及3）有一些带有空标签的实例不在任何标签集中。这种宽松的监管更具吸引力，因为它不需要在实例级别进行额外的注释。为此，我们提出了一个新问题：通用部分标签学习（GPLL），其训练注释仅来自固有的数据对（图1底部），因此非常具有挑战性。图2说明了逐步放松监管的一些相关问题。

GPLL的一种直截了当的方法是考虑一些内/跨组启发式，例如：1）具有相似特征的实例，跨组可能属于同一标签。2）跨组使用相同标签的相似实例表示该标签可能已分配给这些实例。3）一个实例不能属于多个标签→ ,→ , 组中不同的实例不能是同一个标签。然而，这些启发法太弱，无法解决极端的模糊性。事实上，正如我们将在消融研究中所显示的那样，建模此类启发式方法来构建初始链接的精度仅达到62.9%

我们认为，解决GPLL的关键是如何在无监督的情况下利用上述跨组相关性来构建初始链接，然后用更强的组上下文表示对其进行细化。为此，我们提出了一种新的图卷积网络，称为双二部图自动编码器（DB-GAE）。顾名思义，DBGAE明确地学习了组内和跨组表示，它们是相互补充的。组内表示法解决了组内的歧义，跨组表示法提供了额外的全局组上下文以进一步消除歧义。特别是，我们首先将初始链接表示为建议的组内和跨组二部图，然后使用GCN（Berg、Kipf和Welling 2017）对其进行编码和解码，以细化双链接以获得结果，其中重建损失仅参考组内图形输入，因为这是我们在GPLL中的唯一监督。因此，值得注意的是，DB-GAE是自我监督和转换的，这很有吸引力，因为它不需要额外的训练数据和离线训练阶段。我们将建议的DB-GAE与GPLL和PLL基准上的其他基线进行比较。我们的方法优于最佳基线，F1绝对得分为0.158，准确率为24.7%。我们还分析了模型在不同层次上的性能。贡献总结如下：•我们介绍了GPLL的新学习问题，它将现有的PLL公式推广到更现实、更具挑战性和更模糊的注释场景我们提出了一种称为DBGAE的新型图神经网络，旨在消除歧义并预测组内和组间的我们为拟议的GPLL任务建立了一个新的基准。实验表明，DB-GAE显著优于强基线

相关工作部分标签学习（PLL）（Nguyen和Caruana 2008；Cour、Sapp和Taskar 2011；Xie和Huang 2018）也称为超集标签学习（Gong等人，2017）被视为一个弱监督的学习框架，具有隐含的标签信息，假设候选标签中始终只有一个基本事实设置因此，一种消歧策略是建立一个特定的参数模型，并将地面真值标签作为一个潜在变量。通过优化某些目标，如最大似然准则（Kupfer和Zorn 2019；Liu和Dieterich 2014）或最大保证金准则（Yu和Zhang 2016），对模型进行迭代优化。另一种策略假设所有类型的候选标签都同等重要，并通过平均其建模输出来预测标签分数（Cour、Sapp和Taskar 2011；Tang和Zhang 2017；Wu和Zhang 2018；Wang、Li和Zhang 2019；Xu、Lv和Geng 2019）。与PLL问题相比，GPLLISMUCH更具挑战性，需要解决组级消歧问题，这在现实场景中更具普遍性和实用性。图神经网络（GNN）在（Gori、Monfardini和Scarselli 2005；Scarselli等人2008）中介绍，主要关注基于卷积图网络的监督节点分类或链路预测问题（Defferard、Bresson和Vandergheynst 2016；Kipf和Welling 2016a；2016b；Zhang和Chen 2018）。最近，图自动编码器网络（Berg、Kipf和Welling 2017）被提议执行无监督链接预测，我们采用该网络解决标签消歧问题。与以前的链路预测问题不同，以前的链路预测问题是由数据给出观测链路的权重。我们的权重最初是通过聚类算法估计的，这是我们仅有的信息。

在GPLL设置中，数据以K组G={gi}KI=1的形式提供。每个组是实例的集合和候选标签集，其中gi={X（i），L（i）}。X（i）是M（i）个实例的集合，X（i）={X（i）M}M（i）M=1，X（i）mis是其中X（i）M的实例特征∈ 关联的候选标签集L（i）是N（i）个标签的集合，L（i）={L（i）N}N（i）N=1，其中L（i）N∈ 类集合Y包含（C+1）个类，其中Y={1，…，C，null}，因为某些实例可能来自从未出现在数据集标签中的背景类。如简介中的GPLL示例所示，X（i）中某个实例的正确标签可能存在于其候选标签集L（i）中，或者甚至存在于另一组的另一个候选标签集L（j），其中i 6=j。如果X（i）中的实例的正确标签不存在于任何候选标签集L（G）中，则该实例将具有空标签。简言之，这个问题的输入是一组由实例和标签G={X（i），L（i）}ki=1组成的组。输出是预测的标签l∈ 每个实例x的Y∈ 此外，我们假设一些实例和标签在不同的组中重复出现，以便模型学习关联模式。此外，问题自然存在于自我监督和转换场景中，即不存在列车/测试分割，并且数据G是我们标记实例的全部数据。

方法如图3所示，我们描述了我们的GPLL任务方法，并详细阐述了每个部分：（b）在对偶二部图中，我们将实例和标签作为节点，为两个具有不确定链接的二部图构造组内或组间链接。（c）我们提出了一种图自动编码器来学习二部图的嵌入表示，并迭代地细化二部链接权重。（d）在最后一个阶段，我们提出了一个实例标签池来预测每个实例的正确实例标签链接。

对偶二部图形式上，我们将不确定二部图定义为G={[X，L]，M}，G是一个带有实例节点X和标签节点L的加权图。M用似然值表示实例X和标签L之间的不确定联系。每个链接的可能性是指一个标签对于一个实例是否正确。我们将构造具有互补信息的对偶二部图M=[Mwithin，Mcross]。mWITHAND MCROSS将是组内图和组间图的边。群内图构造。如图3（b）所示，我们考虑在引言的第三段中描述的第二个和第三个启发式算法来估计组内的链接似然，从而构造群图。组内链接权重初始化包含三个步骤：1）给定实例席∈ X和标签lj∈ 五十、我们通过连接实例和标签特征来表示组内链接Qijb，以形成元组[xi；lj]。2）我们在实例和标签之间的每个组内创建所有可能的链接，并执行DBSCAN（Sander et al.1998）以根据链接特征对链接进行聚类。我们为每个链接选择集群大小CIJ4来描述实例标签对的共现频率。这个数字是XICO发生的时间，标签LKIN整个数据集，被分配为LJIN的正确标签席的可能性。3）我们将通过考虑组内链接的矛盾关系来改进可能性。我们为每个链接qij定义了相互矛盾的链接：同一组中只有一个共享节点（实例xior标签lj）的链接。我们将通过将链接的总可能性与其相互矛盾的链接分开来细化可能性。组内链路权重定义如下：wij=cij（pu∈Niciu+pv∈Njcvj）− cij（1），其中nian和nj是为节点i和j设置的相邻节点。我们通过计算组内实例和标签之间的所有权重来获取所有组内链路权重

为了预测不确定图实例标签对的未知可能性，我们设计了一种新的图自动编码器结构DB-GAE。该模型能够1）将具有异构组内/跨组链接的图G编码到低维嵌入空间。2）动态更新实例标签关系，同时学习实例和标签节点的新表示形式。3）通过重建我们初始化的观察到的链接，预测实例和标签之间的链接权重。图形卷积编码器。鉴于节点特征[X，L]和链接权重[Mwithin，Mcross]在上一步中初始化，我们的目标是在节点表示中对此类信息进行编码，以便进一步预测。图卷积模型通过传播消息来合并邻居信息，从而形成节点的新表示。我们利用这个特性在传播过程中使用链接信息来获得更具代表性的嵌入。为了表示组内链路的传播，单个隐藏层GCN由Hi=f（Hi）给出−1，Mwithin）（2）其中H0=[X，L]和f是传播规则。每一层对应于实例和标签特征矩阵[X，L]，其中每一行是节点的特征表示。此操作类似于CNN中的过滤操作（LeCun、Bengio和其他人，1995年），并且特征在每个连续层中变得越来越抽象。我们通过每个节点的关联邻居来聚合每个节点的特征表示。此外，通过在传播前应用权重W变换的组内权重wijand对邻居进行加权。为了避免组内链路和组间链路传播之间的干扰，我们分别对组内链路和组间链路采用了不同的双偶GCN传播规则。组内和组间的传播规则可以表示为：µj→i=wijW ljµj0→i=wij0W lj0（3），其中wijand wij0是根据上一节计算的链路权重，j0是跨组标签。W是一个可学习的参数。此操作类似于光谱规则传播（Kipf和Welling 2016a），其中传播根据i和j的程度进行规范化。相反，我们的传播通过i和j的链接权重进行规范化。我们通过累加所有邻居Ni来表示节点，从而聚合来自标签节点的每个实例的传入消息，表示为：hwithin i=σ（X j∈Niµj→i） hcross i=σ（X j0∈Niµj0→i）（4）hwithin i是通过组内表示实例节点i的隐藏向量，hcross i是通过交叉组表示实例节点i的隐藏向量。为了实现实例节点i和标签节点j的最终嵌入，我们对从组内和组间更新的隐藏向量应用串联操作。该模型采用非线性变换，通过双路径GCN将每个节点的级联表示转换为统一的嵌入表示。在连接之后，特征将馈入密集层以获得最终表示，表示为：ui=σ（Wu[hwithin i；hcross i；fi]）（5）vj=σ（Wv[hwithin j；hcross j；nj]）（6）σ（·）表示ReLU激活函数。Wu和Wvare是可学习的参数。本文使用fi=σ（Wfxi+b）和nj=σ（Wnlj+b）的变换函数。编码器的输出将是实例和标签的更新表示[U，V]。为组内/组间传播绘制注意图。图卷积是基于对偶二部图中的概率值，该概率值在图的传播过程中是固定的。此外，我们希望通过学习具有不确定性的链接，不断更新节点的表示来预测链接权重。因此，通过考虑特征本身，动态调整实例和标签之间的传播权重至关重要。为此，我们可以采用某种形式的注意机制（Veliˇckovi'c et al.2017），积极学习如何传播信息以优化我们的结果。为了注意节点，注意系数可以通过Eij= A（WaXi，Walj）（7）计算，它表明标签节点LJ的特征对实例节点席的重要性，并且它的可学习权重矩阵，A是前馈网络。我们通过执行掩蔽注意将图结构注入到机制中，这意味着我们计算节点j的αij∈ Ni，其中Ni是图中节点i的相邻节点。为了使系数在不同节点之间易于比较，我们使用softmax函数对所有j选项进行归一化：αij=exp（eij）pk∈Niexp（eik）（8）我们通过图注意学习两种链接信息，包括组内链接权重和跨组链接权重。因此，等式3中的传播规则可以扩展为：µj→i=αijwijW ljµj0→i=αij0wij0W lj0（9）式中，α是表示标签j对实例i的归一化贡献的上下文向量。通过求和对相邻信息进行聚合，并通过多头注意对K变换注意进行平均（Zitnik和Leskovec 2017），等式4变为：hwithin i=σ（1 K X K=1 X j∈Niµkj→i）（10）hcross i=σ（1kxk=1xj0∈Niµk j0→i）（11）用于链路分辨率的双线性解码器。为了预测实例和标签之间的链接值，我们对包含组内、组间和特征信息的更新嵌入进行解码。此外，我们可以使用双线性解码器模型（Kiros、Salakhutdinov和Zemel 2014）通过考虑节点特征相似性来重建二部图的链接。重建模型为M=σ（UTV），实例i和标签j之间的可能性为ˆMij。学习目标是重建观测链路的权重（通过组内初始化估计），并预测未观测链路的权重（跨组链路）。解码器的得分函数为：p（ˆMij=r）=euT iQrvj∑s∈ReuT iQsvj，（12），其中qr是形状E×E的可训练参数矩阵，E是隐藏表示的维数。r是从0到1的加权尺度，表示链接的可能性。预测评级计算为：ˆMij=g（ui，vj）=Ep（ˆMij=r）[r]=xr∈rp（ˆMij=R）（13）组内重建丢失。为了优化拟议的图形推理网络，我们遵循（Berg、Kipf和Welling 2017）中定义的损失函数，通过预测可能性的负对数似然来最小化重建损失：L=− xi，j；Ωij=1 R X R=1 I[R=Mwithin ij]logp（ˆMij=R），（14）其中矩阵Ω ∈ 0,1是组内矩阵Mwithin中未观察到链接的掩码。我们对观察到的链接进行优化，以预测包含观察到的链接和未观察到的链接的矩阵ˆM的可能性。通过实例标签池进行链路预测为了推断每个实例的标签，我们使用DB-GAE生成的预测链路权重ˆmij。如图3（d）所示，给定一个实例，我们聚合它通过不同类连接的链接的所有权重。对于组内链接权重，我们直接使用预测的链接权重。对于跨组链接权重，我们将预测的链接权重与实例i的特征及其同质邻居特征的余弦相似性相乘。这是因为链接的重量如果特征相似性较低，则应为较低。作为实例i标签的类o的权重通过以下公式计算：Wi o=X j∈o；Ωij=1σ（ˆMij）+xj∈o；Ω0 ij0=1σ（15），其中σ表示S形函数上的ReLU。Ω0∈ 0,1是交叉组矩阵Mcross中未观察到的链接的掩码。我们按同一类聚合链接权重，并将该类与最大加权分数pi=argmaxo合并∈Y（Wi-O）作为实例席的预测标签。如果分数等于0，则表示没有预测，我们将其预测为空。

一般部分标签学习数据集我们在两个真实数据集（MPIIMD（Rohrbach et al.2017）和M-V AD（Pini et al.2019）上评估了我们模型在自动人脸命名问题上的性能。GPLL设置中的MPII-MD数据集，仅包含带有跨组标签和空标签的组级监控。M-V AD数据集是为PLL设置而构建的，该设置具有较少的模糊性，但数据规模较大。MPII-MD:MPII电影描述数据集。MPIIMD数据集由人脸图像和模糊标签组成，这些图像和模糊标签是使用13部电影中提供的剧本自动提取的，其中有806张不同的人脸和558对图像标题中的181个可能的名字。我们从具有可检测人脸和相应字幕的数据中选择帧。数据集中具有空标签的面的百分比为21%。M-V广告：蒙特利尔视频注释数据集。在M-V广告名称数据集中，55部电影的标题中包含了图像中带有完整注释的人脸。它由222,58个检测到的人脸和17533对图像标题中的591个可能的名字组成。图4：模糊比数据分布模糊比数据分布。为了探索数据集的数据难度，我们定义了模糊度比率，并显示了不同模糊度级别的直方图，如图4所示。度量是指所有可能的不正确实例标签链接的一小部分，即c类标签的歧义率∈ Y的定义为：Ro=1− pki=1 | s（i）t | pki=1 | s（i）t++s（i）f |（16）其中i是组索引。s（i）t是类别为o的组g（i）中正确的instancelabel链接集。s（i）f是类别为o的组g（i）中连接到实例节点或标签节点的错误链接集。

aselines Cluster V oting（Sander et al.1998）：对于每个实例，该方法从同一个集群中选择候选标签。正确的标签由所有候选人的多数票决定。为了通过人脸命名数据集的视觉特征对人脸进行聚类，我们应用了DBSCAN（其中？=1，n=2）。成对聚类（Sander et al.1998）：与WithinGroup图构造一样，我们执行成对聚类来估计链接的可能性。给定一个实例，我们找到它的最大簇大小的链接并选择它的标签作为预测，我们还执行DBSCAN（使用？=1，n=2）进行对聚类。IPAL（Zhang和Yu 2015）：IPAL是一种基于实例的PLL模型，通过迭代标签传播过程消除候选标签的歧义。PL-LEAF（Zhang、Zhou和Liu 2016）：PL-LEAF是一种特征感知方法，它学习特征空间的流形结构，并对生成的标签可信度执行正则化多输出回归。SURE（Feng和An 2019）：SURE提出了一个具有最大无穷范数正则化的统一公式，以训练所需模型并联合执行伪标记。PL-AGGD（Wang、Li和Zhang 2019）：PL-AGGD提出了一个统一的框架，该框架联合优化了基本真理标记可信度、相似图和模型参数，以实现泛化性能。

实验设置对于所有运行，我们使用预先训练的FaceNet（Schroff、Kalenichenko和Philbin 2015）从图像中提取512维检测人脸的视觉嵌入，并应用论文（Schroff、Kalenichenko和Philbin 2015）中建议的L2距离阈值d=1，以确定两张脸是同一个人。我们使用一个热向量对名称进行编码。在DB-GAE中，我们使用Adam优化器（Kingma和Ba 2014），学习率为0.001。图卷积（带ReLU）的层大小为1000，密集层为100。我们在两个数据集上运行1000个历元，在MPII-MD数据集上运行10分钟在CPU上的M-V AD数据集上5小时10分钟。由于MV AD数据集具有足够的训练数据，我们使用9:1训练/测试分割对部分贝尔学习方法进行了10倍交叉验证。对于我们的方法，我们只使用相同的测试数据（10%的数据），因为我们的方法不需要额外的训练数据。arXiv版本中将包含更多关于模型架构、参数列表和模型时间复杂性分析的详细信息。方法从表1的性能比较来看，我们提出的方法在两个数据集中都优于基线，GPLL数据集的F1得分绝对提高了0.158，PLL数据集的准确度绝对提高了3.8%。在MPII-MD数据集上的实验结果表明，最佳基线在F1分数上达到0.61左右，准确率达到49%，所提出的模型在F1分数上达到了0.76以上，准确率达到了73%以上，性能最佳。显著的改进表明，我们的模型足以处理广义歧义，而基线方法将无法消除干扰因素。如M-VAD数据集上的结果所示，当使用足够的训练数据进行PLL设置时，PLL方法表现得更好。在这些方法中，我们的模型能够实现最好的性能，只有十分之一的数据在转换设置中。这一结果表明，它能够解决由于数据稀疏性引起的极端歧义。

General Partial Label Learning via Dual Bipartite Graph Autoencoder相关推荐

Fast spectral clustering learning with hierarchical bipartite graph for large-scale data
Fast spectral clustering learning with hierarchical bipartite graph for large-scale data 基于层次二分图的大规模 ...
论文翻译 —— Disambiguation-Free Partial Label Learning 非消歧偏标记学习（PL-ECOC）
标题:Disambiguation-Free Partial Label Learning 文章链接:http://aaai.org/ocs/index.php/AAAI/AAAI17/paper/v ...
Bipartite Graph多视图学习聚类文章总结
看了一些anchor graph和bipartite graph 的文章始终不知道他们的区别在哪里.今天总结一下这类文章. 1.能看到最早的这类关于多视图学习的文章 Large-Scale Multi ...
二分匹配大总结——Bipartite Graph Matchings[LnJJF]
文章目录二分匹配--Bipartite Graph Matchings[LnJJF] 认识:什么是二分图? 理解:现实模型如何与二分图相互转化? 如何判断能否转化? 能够转化的话,如何转化? 应用: ...
Bipartite Graph Based Multi-View Clustering
Bipartite Graph Based Multi-View Clustering 基于二部图的多视图聚类 abstract 对于基于图的多视图聚类,一个关键问题是通过两阶段学习方案捕获共识聚类结 ...
C#，图论与图算法，二分图（Bipartite Graph）的霍普克罗夫特-卡普（Hopcroft Karp）最大匹配算法与源程序
二分图Bipartite graph 有没有可能通过数学过程找到你的灵魂伴侣?大概让我们一起探索吧! 假设有两组人注册了约会服务.在他们注册后,会向他们展示另一组人的图像并给出他们的描述.他们被要求选 ...
B - A Funny Bipartite Graph
B - A Funny Bipartite Graph 题意: 一个二分图,左右各有n个点,左边第i个点有一个属性mi,它在一个图中的价值为midi,其中di为它在图中的度数(特殊的,如果度数为0,则 ...
AI顶级期刊 IEEE T-PAMI 2020最新论文解读 | Deep Partial Multi-View Learning
点击蓝字关注我们 <IEEE T-PAMI>全称为IEEE Transactions on Pattern Analysis and Machine Intelligence.众所周知, ...
Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning阅读笔记
论文地址:Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning (aclanthol ...
DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning
DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning 来源背景 Motivation 强化学习训练过程实 ...

General Partial Label Learning via Dual Bipartite Graph Autoencoder

General Partial Label Learning via Dual Bipartite Graph Autoencoder相关推荐

最新文章

热门文章