代码地址: https://github.com/Shen-Lab/SS-GCNs 论文地址:
https://arxiv.org/abs/2006.09136

0 Abstract

我们首先阐述了将自我监督纳入 GCN 的三种机制，分析了预训练和微调以及自我训练的局限性，并继续关注多任务学习。

此外，我们建议通过理论依据和数值比较来研究GCN的三个新的自监督学习任务

最后，我们进一步将多任务自监督集成到图对抗训练中。

1 Introduction

CNN中的pretext task：rotation、exemplar、jigsaw、relative patch location prediction

自监督学习能否在 GCN 中发挥类似的作用以提高其泛化性和鲁棒性？

本文提出了第一个关于如何在GCN中加入自我监督的系统研究，并通过解决三个具体问题进行了阐述：

GCN 能否在分类性能方面受益于自监督学习？如果是，如何将其纳入GCN中以使收益最大化？
pretext task的设计重要吗？GCN有那些有用的自监督pretext task？
自我监督也会影响 GCN 的对抗性鲁棒性吗？如果是，如何设计pretext task？

针对以上问题，本文的贡献：

我们证明了通过多任务学习将自监督学习纳入 GCN 的有效性，即作为 GCN 训练中的正则化项。与作为预训练或通过自我训练的自我监督相比，它更有优势
我们研究了基于图属性的三个自监督任务：节点聚类、图划分、图补全
我们进一步将上述发现推广到对抗训练环境中。我们提供了大量的结果来表明自我监督还提高了 GCN 在各种攻击下的鲁棒性，而无需更大的模型或额外的数据。

2 Related Work

Graph-based semi-supervised learning

基于半监督图的学习的关键假设是与较大权重的边相连的节点更有可能具有相同的标签

Self-supervised learning

到目前为止，CNN中自我监督的使用主要分为两类：预训练和微调，或多任务学习。

Adversarial attack and defense on graphs

3 Method

3.1 Graph Convolutional Networks

两层半监督分类的GCN模型表示为：

Z=A^ReLU(A^XW0)W1Z = \hat{A} ReLU(\hat{A}XW_0)W_1Z=A^ReLU(A^XW0)W1

GCNs中的模型参数通过最小化已标记节点的输出与真实标签之间计算的监督损失来学习，可表示为：

Z=fθ(X,A^)ΘZ = f_{\theta}(X,\hat{A}) \ThetaZ=fθ(X,A^)Θ

θ∗,Θ∗=argmin⁡θ,ΘLsup(θ,Θ)=argmin⁡θ,Θ1∣Vlabel∣∑vn∈VlabelL(zn,yn)\begin{aligned} \theta^*, \Theta^* &= arg \min_{\theta,\Theta} \mathcal{L}_{sup}(\theta,\Theta) \\ &= arg \min_{\theta,\Theta} \frac {1} {| \mathcal{V}_{label} |} \sum_{v_n \in \mathcal{V}_{label}} L(z_n,y_n) \end{aligned}θ∗,Θ∗=argθ,ΘminLsup(θ,Θ)=argθ,Θmin∣Vlabel∣1vn∈Vlabel∑L(zn,yn)

3.2 Three Schemes: Self-Supervision Meets GCNs

预训练 & 微调

在预训练过程中，使用如下自我监督任务对网络进行训练

Zss=fθ(Xss,Ass^)ΘssZ_{ss} = f_{\theta}(X_{ss},\hat{A_{ss}}) \Theta_{ss}Zss=fθ(Xss,Ass^)Θss

θss∗,Θss∗=argmin⁡θ,ΘssLss(θ,Θss)=argmin⁡θ,Θ1∣Vss∣∑vn∈VssL(zss,n,yss,n)\begin{aligned} \theta^*_{ss}, \Theta^*_{ss} &= arg \min_{\theta,\Theta_{ss}} \mathcal{L}_{ss}(\theta,\Theta_{ss}) \\ &= arg \min_{\theta,\Theta} \frac {1} {| \mathcal{V}_{ss} |} \sum_{v_n \in \mathcal{V}_{ss}} L(z_{ss,n},y_{ss,n}) \end{aligned}θss∗,Θss∗=argθ,ΘssminLss(θ,Θss)=argθ,Θmin∣Vss∣1vn∈Vss∑L(zss,n,yss,n)

Θss\Theta_{ss}Θss：线性变换参数
Lss(⋅,⋅)L_{ss}( \cdot, \cdot)Lss(⋅,⋅)：自监督任务的损失函数
zss,n=Zss[n,:]Tz_{ss,n} = Z_{ss}[n,:]^Tzss,n=Zss[n,:]T
yss,n=Yss[n,:]Ty_{ss,n} = Y_{ss}[n,:]^Tyss,n=Yss[n,:]T
在微调过程中，特征提取器fθ(⋅,⋅)f_\theta(\cdot,\cdot)fθ(⋅,⋅)在上述GCN公式中，使用θss∗\theta_{ss}^*θss∗初始化参数θ\thetaθ来训练

预训练和微调可以说是有益于 GCN 的自我监督的最直接的选择。然而，我们的初步实验发现它在大型数据集 Pubmed 上的性能提升很小。

这样的原因是：

在微调时，切换到与预训练Lss(⋅,⋅)\mathcal{L}_{ss}(\cdot , \cdot)Lss(⋅,⋅)不同的目标函数Lsup(⋅,⋅)\mathcal{L}_{sup}(\cdot,\cdot)Lsup(⋅,⋅)
在transductive半监督环境下训练浅GCN，这被证明击败了较深的GCN，导致过度平滑或“信息丢失”

自训练

对于标记数据和未标记数据，典型的自训练流水线首先在标记数据上预训练模型，然后将“伪标签”分配给高度可信的未标记样本，并将它们包含到标记数据中以进行下一轮训练，

该方法可以重复几轮，并且可以在每轮中配制，类似于具有VlabelV_{label}Vlabel更新的公式(2)

尽管在之前的小样本实验中提高了性能，但随着标签率的增长，M3S 在表 2 中显示出性能增益“饱和”

多任务学习

考虑GCN的目标任务和自监督任务，输出和训练过程可以表述为：

Z=fθ(X,A^)Θ,Zss=fθ(Xss,A^ss)Θss,θ,Θ,Θ∗ss=min⁡θ,Θ,Θssα1Lsup(θ,Θ)+α2Lss(θ,Θss)\begin{aligned} Z &= f_\theta(X,\hat{A})\Theta,\ Z_{ss} = f_\theta(X_{ss},\hat{A}{ss})\Theta{ss}, \\ \theta^,\Theta^,\Theta^*{ss} &= \min{\theta, \Theta, \Theta_{ss}} \alpha_1 \mathcal{L}{sup}(\theta, \Theta) + \alpha_2 \mathcal{L}{ss}(\theta,\Theta_{ss}) \end{aligned}Zθ,Θ,Θ∗ss=fθ(X,A^)Θ, Zss=fθ(Xss,A^ss)Θss,=minθ,Θ,Θssα1Lsup(θ,Θ)+α2Lss(θ,Θss)

α\alphaα：整体监督损失和自监督损失的权重
为了优化他们的损失的加权和，目标监督任务和自监督任务共享相同的特征提取器fθ(⋅,⋅)f_\theta(\cdot,\cdot)fθ(⋅,⋅)，但各自的线性变换参数Θ∗\Theta^*Θ∗和Θss∗\Theta^*_{ss}Θss∗，如图1所示：

在问题（4）中，我们将自监督任务视为整个网络训练中的正则化项。尽管 GLR 的有效性已在图信号处理中显示出来，但是正则化器是简单地根据平滑先验手动设置的，而没有数据的参与，而自监督任务则充当在人类先验的轻微指导下从未标记数据中学习到的正则化器。

总的来说，多任务学习是三者中最通用的框架。在训练期间充当数据驱动的正则化器，它对自监督任务类型不做任何假设。实验证明，这也是所有三种方法中最有效的一种。

3.3 GCN特定的自监督任务

通过利用图中丰富的节点和边缘信息，可以定义各种特定于 GCN 的自监督任务（总结在表 3 中），并将进一步证明有利于各种类型的监督/下游任务。

节点聚类

继 M3S之后，构建自监督任务的一种直观方法是通过节点聚类算法。

Vclu,n≠∅(n=1,…,K),∪n=1KVclu,n=VVclu,i∩Vclu,j=∅(∀i,j=1,…,Kandi≠j)\begin{aligned} \mathcal{V}_{clu,n} \neq \varnothing \ \ (n=1,\dots,K), \ \ \cup_{n=1}^K \mathcal{V}_{clu,n}=\mathcal{V} \\ \mathcal{V}_{clu,i} \cap \mathcal{V}_{clu,j} = \varnothing \ \ (\forall i,j = 1,\dots,K \ and \ i \neq j) \end{aligned}Vclu,n=∅ (n=1,…,K), ∪n=1KVclu,n=VVclu,i∩Vclu,j=∅ (∀i,j=1,…,K and i=j)

有了节点集的聚类，我们将类别索引作为自监督标签分配给所有节点。

yss,n=kifvn∈Vclu,k(∀n=1,…,∣V∣,∀k=1,…,K)y_{ss,n} = k \ if \ v_n \in \mathcal{V}_{clu,k}(\forall n=1,\dots, |\mathcal{V}|, \forall k=1,\dots,K)yss,n=k if vn∈Vclu,k(∀n=1,…,∣V∣,∀k=1,…,K)

图划分

聚类相关的算法是基于节点特征的，其基本原理是将具有相似属性的节点分组。对节点进行分组的另一个基本原理是基于图数据的拓扑结构。由一条“strong”边连接的两个节点很可能属于同一标签类别。因此，我们提出了一种使用图划分的基于拓扑的自监督。

图划分是将图的节点划分为大致相等的子集，从而使跨子集连接节点的边数最小化。为图划分强制执行平衡约束。(Kmax⁡k∣Vpar ,k∣∣V∣⩽1+ϵ,whereϵ∈(0,1))\left(K \frac{\max _{k}\left|\mathcal{V}_{\text {par }, k}\right|}{|\mathcal{V}|} \leqslant 1+\epsilon\right., where \left.\epsilon \in(0,1)\right)(K∣V∣maxk∣Vpar ,k∣⩽1+ϵ,whereϵ∈(0,1))，而图划分的目标是最小化跨类别的边数(edgecut=12∑k=1K∑vi∈Vpar,k∑(vi,vj)∈E,andvj∉Vpar,kaij)(edgecut=\frac{1}{2} \sum_{k=1}^K \sum_{v_i \in \mathcal{V}_{par,k}} \sum_{(v_i,v_j) \in \mathcal{E}, \ and \ v_j \notin \mathcal{V}_{par,k}}a_{ij})(edgecut=21∑k=1K∑vi∈Vpar,k∑(vi,vj)∈E, and vj∈/Vpar,kaij)

与基于节点特征的节点聚类不同，图划分提供了基于图形拓扑学的先验正则，这与图拉普拉斯正则（GLR）相似，也采用了 "connection-prompting similarity"的理念。然而，已经被注入GCNs架构的GLR，将所有节点与它们的邻居节点进行局部平滑。与此相反，图分区考虑的是全局平滑，利用所有的连接将连接密度较高的节点分组。

图补全

受视觉领域图片补全的启发，我们提出了图补全，一个新的回归任务，作为一个自监督任务。如图2所示，我们的图补全方法类似于图像补全，首先通过去除目标节点的特征来掩盖它们。

我们设计这样一个自我监督的任务是出于以下原因：

补全标签可以自由获取，就是节点特征本身
图补全可以帮助网络获得更好的特征表示，它可以指导网络从上下文中提取特征

3.4 图对抗防御中的自监督

对抗攻击

我们专注于单节点定向回避攻击：在特定约束下对目标节点的属性/连接的特定节点攻击类型，而训练模型在攻击期间/之后保持不变。攻击者ggg生成扰动特征矩阵和邻接矩阵，X′X'X′和A′A'A′，如：

X′,A′=g(X,A,Y,vn,θ∗,Θ∗)X',A' = g(X,A,Y,v_n,\theta^*,\Theta^*)X′,A′=g(X,A,Y,vn,θ∗,Θ∗)

攻击可以是在边，节点特征，或两者都攻击

对抗防御

一种有效的对抗性防御方法，是通过对抗性训练，用对抗性的例子来增加训练集。因此，Wang等人（2019b）提议利用未标记的节点来生成对抗性例子。具体来说，他们训练了一个GCN，如(2)中制定的，为未标记的节点分配伪标签YpseudoY_{pseudo}Ypseudo。然后，他们从未标记的节点集中随机选择了两个相邻的子集Vclean\mathcal{V}_{clean}Vclean和Vattack\mathcal{V}_{attack}Vattack，并攻击每个目标节点vn∈Vattackv_n \in \mathcal{V}_{attack}vn∈Vattack，以生成扰乱的特征和邻接矩阵X′X'X′和A′A'A′

因此，图数据的对抗训练可以被表述为：对有标签的节点进行监督学习，对无标签的节点恢复伪标签（被攻击和被清洗）。

Z=fθ(X,A^)Θ,Z′=fθ(X′,A′)Θ,θ∗,Θ∗=argmin⁡θ,Θ(Lsup(θ,Θ)+α3Ladv(θ,Θ))\begin{aligned} Z &= f_\theta(X,\hat{A})\Theta, \ \ Z'=f_\theta(X',A')\Theta, \\ \theta^*,\Theta^* &= arg \min_{\theta,\Theta}(\mathcal{L}_{sup}(\theta,\Theta) + \alpha_3 \mathcal{L}_{adv}(\theta,\Theta)) \end{aligned}Zθ∗,Θ∗=fθ(X,A^)Θ, Z′=fθ(X′,A′)Θ,=argθ,Θmin(Lsup(θ,Θ)+α3Ladv(θ,Θ))

自监督对抗防御

将具有自监督的对抗训练公式化为：

Z=fθ(X,A^)Θ,Z′=fθ(X′,A′)Θ,Zss=fθ(Xss,Ass)θ∗,Θ∗,Θss∗=arg⁡min⁡θ,Θ,Θss(α1Lsup(θ,Θ)+α2Lss(θ,Θss)+α3Ladv(θ,Θ))\begin{aligned} Z &=f_{\theta}({X}, \hat{A}) \Theta, \quad Z^{\prime}=f_{\theta}\left(X^{\prime}, A^{\prime}\right) \Theta, \\ Z_{\mathrm{ss}} &=f_{\theta}\left(X_{\mathrm{ss}}, A_{\mathrm{ss}}\right) \\ \theta^{*}, \Theta^{*}, \Theta_{\mathrm{ss}}^{*} &=\arg \min _{\theta, \Theta, \Theta_{\mathrm{ss}}}\left(\alpha_{1} \mathcal{L}_{\mathrm{sup}}(\theta, \Theta)+\alpha_{2} \mathcal{L}_{\mathrm{ss}}\left(\theta, \Theta_{\mathrm{ss}}\right)+\alpha_{3} \mathcal{L}_{\mathrm{adv}}(\theta, \Theta)\right) \end{aligned}ZZssθ∗,Θ∗,Θss∗=fθ(X,A^)Θ,Z′=fθ(X′,A′)Θ,=fθ(Xss,Ass)=argθ,Θ,Θssmin(α1Lsup(θ,Θ)+α2Lss(θ,Θss)+α3Ladv(θ,Θ))

其中自监督损失被引入到训练中，以扰动图数据作为输入（自监督标签矩阵也由扰动输入生成）。在 CNN 中观察到，自我监督提高了鲁棒性和不确定性估计，而无需更大的模型或额外的数据（Hendrycks 等，2019）。因此，我们通过实验探索这是否也扩展到 GCN

4 实验

在本节中，我们按照（Kipf & Welling,2016）对自我监督对transductive半监督节点分类的影响进行了广泛的评估、分析和比对：

在不同的自监督方案下，GCN的标准性能
在三个流行的GNN架构–GCN、图注意网络（GAT）和图同构网络（GIN）上，多任务自我监督的标准表现；以及在两个半监督节点分类的SOTA模型–图马尔科夫神经网络（GMNN），该模型将统计关系学习引入其架构以促进训练；GraphMix则使用Mixup技巧。
具有多任务自监督的 GCN 在对抗性防御中的表现。

4.1 自监督有助于泛化能力

通过各种方案将自我监督纳入GCN中

三种方案结合各种自监督任务的不同效果在表 5 中总结为三个数据集，使用目标性能（节点分类的准确性）。

虽然在预训练阶段通过自监督首先学习了关于图结构和特征的信息，但在单独针对目标监督损失进行微调时，这种信息可能会在很大程度上丢失。在 GCN 中特别观察到这种信息丢失的原因可能是，在微调中从一个目标函数切换到另一个目标函数时，在transductive半监督设置中使用的浅层 GCN 可以更容易地“覆盖”

通过剩下的两个方案，与没有自监督的 GCN 相比，包含自监督的 GCN 在目标任务（节点分类）方面可以看到更显着的改进。与 (3) 中自监督后切换目标函数并解决 (2) 中新的优化问题的预训练和微调相反，自训练和多任务学习都通过一次优化将自监督纳入 GCN问题，并且本质上都为（2）中的原始公式引入了额外的自我监督损失

它们的区别在于使用了哪些伪标签以及如何为未标记的节点生成伪标签。在自训练的情况下，伪标签与目标任务标签相同，这种“虚拟”标签根据它们与图嵌入中标记节点的接近程度分配给未标记节点。在多任务学习的情况下，伪标签不再局限于目标任务标签，可以通过利用没有标记数据的图结构和节点特征分配给所有未标记的节点。而多任务学习中的目标监督和自监督仍然是通过共同的图嵌入来耦合的。与自训练相比，多任务学习更通用，可以利用更多的图数据。

SOTAs 上的多任务自监督

多任务自监督对 SOTA GCN 有帮助吗？

现在我们已经建立了多任务学习作为将自监督纳入 GCN 的有效机制，我们开始通过多任务学习探索各种自我监督任务对 SOTA 的额外好处。

表 6 表明，不同的自监督任务可以在不同程度上使不同数据集上的不同网络架构受益

多任务自监督何时对 SOTA 有帮助以及为什么？

我们注意到，图划分通常对所有三个数据集上的所有三个 SOTA（网络架构）都有好处，而节点聚类不利于 PubMed 上的 SOTA。如第 3.2 节及以上所述，多任务学习将自监督任务引入到（4）中的优化问题中，作为数据驱动的正则化，这些任务代表各种先验（见第 3.3 节）

基于特征的节点聚类假设特征相似性意味着目标标签相似性，并且可以将具有相似特征的远距离节点组合在一起。当数据集很大且特征维度相对较低时（例如 PubMed），基于特征的聚类在提供信息性伪标签方面可能会受到挑战。
基于拓扑的图划分假设拓扑中的连接意味着标签中的相似性，这对于三个都是引文网络的数据集是安全的。此外，作为分类任务的图分区不会强加过于强烈的假设。因此，由图分区表示的先验可以通用且有效地使 GCN 受益（至少对于所考虑的目标任务和数据集的类型）
基于拓扑和特征的图补全，假设图的小邻域中的特征相似或平滑。这种基于上下文的特征表示可以极大地提高目标性能，尤其是当邻域很小时（例如所有三个数据集中平均度数最小的 Citeseer）。然而，面对具有较大邻域的密集图和更难完成的任务（如具有连续特征的更大更密集的PubMed要完成），重新回归任务会受到挑战。也就是说，图完成的潜在信息先验可以极大地有益于其他任务，这将在稍后进行验证（第 4.2 节）

GNN架构是否影响多任务自我监督？

对于每一个GNN架构/模型，所有三个自我监督任务都能提高其在某些数据集上的性能（除了PubMed上的GMNN）。GCN，GAT和GIN的改进更加简单。我们猜想，通过各种预设的数据正则化可以使这三种架构（尤其是GCN）在开始时就有弱预设的情况下受益。相比之下，GMNN在图补全方面没有什么改进。GMNN 将统计关系学习 (SRL) 引入到架构中，以模拟顶点与其邻居之间的依赖关系。考虑到图补全有助于基于上下文的表示，并且与SRL的作用有些类似，自监督和架构先验可能相似，它们的组合可能无济于事。GraphMix 在架构中引入了数据增强方法 Mixup 以改进特征嵌入，这再次减轻了具有重叠目标的图补全的能力。

4.2 自监督提高对抗鲁棒性

除了提高图嵌入的泛化性之外，多任务自监督还能为GCN带来哪些额外好处？

我们另外在 GCN 上对 Nettack 进行了多任务自我监督的对抗性实验，以检查其在鲁棒性方面的潜在好处。

什么自监督任务有助于防御哪些类型的图攻击，为什么？

在表 7 和表 8 中，我们发现将自监督引入对抗训练可以改善 GCN对抗性防御

节点聚类和图分区分别对特征攻击和链接攻击更有效。在对抗性训练期间，节点聚类提供先验扰动特征，而图分区为 GCN 提供扰动链接先验，分别有助于 GCN 抵抗特征攻击和链接攻击。
引人注目的是，在Cora上，图补全对链接攻击的对抗准确性提高了约4.5（%），对链接和特征攻击的对抗准确性提高了超过8.0（%）。它也是Citeseer上针对链接攻击和链接及特征攻击的最佳自我监督任务之一，尽管改进幅度较小（约1%）。与我们之前在第4.1节中的猜想一致，基于拓扑结构和特征的图不去那构建了对链接和特征的（联合）扰动先于链接和特征，这有利于GCN抵抗链接或链接和特征攻击。

4.3 结果总结

在三种将自监督纳入GCN的方案中，多任务学习作为正则器发挥作用，并在适当的自我监督任务中持续地使GCN获得可推广的标准性能。预训练和微调将目标函数从自我监督切换到目标监督损失，这很容易 "overwrites "浅层GCN，并获得有限的性能增益。自我训练在分配哪些伪标签和使用哪些数据来分配伪标签上受到限制。而且它的性能增益在少量的学习中更明显，而且随着标签率的略微增加，它的性能增益也会逐渐减弱。
通过多任务学习，自我监督的任务提供了信息性的先验，可以使GCN在可定义的目标性能方面受益。节点聚类和图形划分分别提供了关于节点特征和图形结构的优先权；而具有两者（联合）优先权的图形完成有助于GCN进行基于上下文的特征代表。自监督任务是否有助于SOTA GCN达到标准的目标性能，取决于数据集是否允许与任务相对应的高质量的伪标签，以及自监督的优先权是否补充了现有的体系结构的优先权。
对抗性训练中的多任务自我监督提高了 GCN 对各种图攻击的鲁棒性。节点聚类和图分区提供了特征和链接的先验，从而更好地防御特征攻击和链接攻击。图补全，在特征和链接上具有（联合）扰动先验，对于最具破坏性的特征和链接攻击，持续地、有时甚至是显着地提高鲁棒性。

5 总结

在本文中，我们对将自监督纳入图卷积网络（GCN）的标准和对抗性能进行了系统研究。我们首先阐述了三种将自我监督纳入GCN的机制，并从优化的角度合理解释了它们对标准性能的影响。然后，我们专注于多任务学习并设计了三个新的自我监督学习任务。我们从数据驱动的角度合理地解释了它们在各种数据集上的通用标准性能的好处。最后，我们将多任务自监督整合到图对抗训练中，并展示了它们对GCN对抗对抗攻击的鲁棒性的改善。我们的结果表明，通过适当设计的任务形式和整合机制，自我监督有利于GCN获得通用性和稳健性。我们的结果也为设计这种任务形式和纳入任务提供了合理的视角，给定了数据特征、目标任务和神经网络架构。

【论文阅读|ICML2020】When Does Self-Supervision Help Graph Convolutional Networks?相关推荐

论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》
论文阅读ICLR2020<ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS> 摘要确定节点相似性时图的结构 Ad ...
论文阅读和分析： “How Attentive are Graph Attention Networks?”
下面所有博客是个人对EEG脑电的探索,项目代码是早期版本不完整,需要完整项目代码和资料请私聊. 数据集 1.脑电项目探索和实现(EEG) (上):研究数据集选取和介绍SEED 相关论文阅读分析: 1. ...
【论文解读 ICLR 2020 | DropEdge】TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION
论文题目:DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION 论文来源:ICLR 2020 论文链接 ...
AI医药论文解读：Modeling Polypharmacy Side Effects with Graph Convolutional Networks
论文题目 Modeling Polypharmacy Side Effects with Graph Convolutional Networks 中文使用图卷积网络对多药副作用进行建模论文出自 ...
论文阅读笔记：Link Prediction Based on Graph Neural Networks
文章目录说明 Abstract 1 Introduction 2 Preliminaries Notations Latent features and explicit features Grap ...
「论文翻译」Modeling polypharmacy side effects with graph convolutional networks
文章目录 Abstract 1 Introduction 3 Data-driven motivation for Decagon approach 4 Graph convolutional Dec ...
论文阅读《SuperGlue: Learning Feature Matching with Graph Neural Networks》
论文地址:https://arxiv.org/abs/1911.11763 代码地址:https://github.com/magicleap/SuperGluePretrainedNetwork 背 ...
论文阅读 (78)：FlowNet: Learning Optical Flow with Convolutional Networks
文章目录 1 概述 1.1 题目 1.2 摘要 1.3 代码 1.4 引用 2 网络架构 2.1 收缩部分 2.2 扩展部分 2.3 变分细化 (Variational refinement) 3 训 ...
论文阅读：3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
题目:基于子流形稀疏卷积网络的三维语义分割也是spconv,稀疏卷积提出者来源:CVPR, 2018 下载连接:https://ieeexplore.ieee.org/document/85790 ...
论文阅读：Improving Taxonomy-based Categorization with Categorical Graph Neural Networks
Improving Taxonomy-based Categorization with Categorical Graph Neural Networks 摘要在搜索和检索中,一个关键的子任务是将 ...

【论文阅读|ICML2020】When Does Self-Supervision Help Graph Convolutional Networks?