论文标题

Simple Contrastive Graph Clustering

论文作者、链接

作者：

Liu, Yue and Yang, Xihong and Zhou, Sihang and Liu, Xinwang

链接：https://arxiv.org/abs/2205.07865

Introduction逻辑（论文动机&现有工作存在的问题）

图学习——深度图聚类，主要分为：生成式，对抗式和对比式——这些方法通过聚类导向的损失函数来使得生成的样本拟合预先生成的聚类分布，于是初始化的簇中心对模型的影响很大——最近，由于对比学习的兴起，设计了更一致和有区别的对比损失函数来取代聚类引导的损失函数用于网络训练——对比学习的损失函数消除了初始化簇中心所带来的人工误差——然而，复杂的数据增广以及图卷积的耗时比较大，使得这些方法的效率比较低下

为了解决上述问题，本文提出了(Simple Contrastive Graph Clustering ，SCGC)方法，从网络架构、数据增广、目标函数的方面来改进聚类能力。网络架构方面，使用孪生网络，由MLP构成。网络训练前独立进行邻域信息聚合过程。这个过程中过滤了高频的噪音，提高了模型的效果以及训练效率。对于数据增广，抛弃了构建相同节点的不同视图，改为使用两个参数不共享的孪生编码器，并且用高斯噪音对节点嵌入进行扰动。本文还是设计了一个面向邻居的对比目标函数，迫使跨视图相似性矩阵去逼近自环邻接矩阵，如此一来使得模型可以保持跨视图一致性。

论文核心创新点

提出了一个简单有效的对比深度图聚类模型

新的数据增广方法

新的面向邻居的对比目标函数

论文方法

标识与问题定义

让 $\mathcal{V}=\{v_1,v_2,\dots,v_n\}$ 代表 $N$ 个节点共分为 $C$ 个类别的集合， $\mathcal{E}$ 代表边的集合。 $\bold{X}\in\mathbb{R}^{N\times D}$ 以及 $\bold{A}\in\mathbb{R}^{N \times N}$ 分别代表特征矩阵和初始的邻接矩阵。 $\mathcal{G}=\{\bold{X,A}\}$ 代表一个无向图。度矩阵表示为 $\mathbf{D}=\operatorname{diag}\left(d_{1}, d_{2}, \ldots, d_{N}\right) \in \mathbb{R}^{N \times N}$ 以及 $d_{i}=\sum\left(v_{i}, v_{j}\right) \in \mathcal{E} a_{i j}$ 。图拉普拉斯矩阵定义为 $\bold{L=D-A}$ 。在GCN中，使用一个重新归一化的技巧，即 $\hat{\bold{A}}=\bold{A+I}$ ，对称归一化图拉普拉斯矩阵定义为 $\widetilde{\mathbf{L}}=\widehat{\mathbf{D}}^{-\frac{1}{2}} \widehat{\mathbf{L}}^{-\frac{1}{2}}$ 。

深度图聚类的目标是将图中的结点一无监督的方式分配到一系列不相邻的组。具体来说，就是以一种无监督的方式去训练一个神经网络 $\mathcal{F}$ ，通过探索结点的特征以及结构信息来对结点进行编码，即 $\mathbf{E}=\mathcal{F}(\mathbf{A}, \mathbf{X})$ 。其中， $\bold{X,A}$ 分布代表特征矩阵和原始的邻接矩阵。此外， $\bold{E}\in\mathbb{R}^{N \times d}$ 是学到的结点嵌入，其中 $N$ 是样本的个数， $d$ 是特征维度。然后，一个聚类算法 $\mathcal{C}$ ，比如K-means，谱聚类，聚类神经网络，用来将学到的结点嵌入 $\bold{E}$ 分到 $k$ 个不相邻的组，即 $\Phi=\mathcal{C}(\mathbf{E})$ ，其中 $\Phi \in \mathbb{R}^{N \times k}$ 表示对于所有的 $N$ 个结点的簇隶属度矩阵

全局框架

低通降噪操作Low-pass Denoising Operation

近期工作证明了，拉普拉斯滤波器约图卷积的效果相同。于是，本文引入了一个低通的降噪操作来指导邻居信息的聚合，作为一个独立的预处理方法，可以非常高效的将高频噪音进行滤除。

引入一个图拉普拉斯滤波器，即 $\bold{H=I-\tilde{L}}$ ，其中 $\tilde{\bold{L}}$ 代表对称的归一化图拉普拉斯矩阵。将 $t$ 层的图拉普拉斯滤波器堆叠起来，公式如下

其中 $\bold{X}_s$ 表示平滑的特征矩阵， $\bold{H}^t$ 代表堆叠了 $t$ 层的图拉普拉斯滤波器，可以滤除结点特征中的高频噪音。

结构对比模块

本文设计了结构对比模块(Structure Contrastive Module ，SCM)来保持跨视图间的结构一致性，由此来增加网络的辨别能力。

首先对平滑的特征矩阵 $\bold{X}_s$ 进行编码，通过参数不共享的MLP编码器，并且用 $\ell^2$ 归一化对得到的结点嵌入进行归一化，公式如下：

其中 $\bold{Z}^{v_1},\bold{Z}^{v_2}$ 表示学习到的结点嵌入的两个增广的视图。因为两个MLP编码器是不参数共享的，所以 $\bold{Z}^{v_1},\bold{Z}^{v_2}$ 可以得到不同的语义信息。

进一步保持两个视图之间的不同性，简单地对其添加高斯噪音，即

其中 $\bold{N}\in\mathbb{R}^{N \times d}$ 是从高斯分布 $\mathcal{N}(0,\sigma)$ 中采样的。总的来说，就是通过设计两个参数不共享的编码器构建两个增广视图 $\bold{Z}^{v_1},\bold{Z}^{v_2}$ ，并且之间对视图添加噪音而不是使用一些更复杂的操作，如此可以提高训练效率。此外，最近的研究表明，复杂的数据在图上的增强，如边的增加、边的丢弃和图的扩散可能会导致语义漂移。

随后设计了一个源于邻居的对比损失来保持跨视图的结构一致性。计算跨视图的相似性矩阵 $\bold{S}\in\mathbb{R}^{N \times N}$ 公式如下：

其中 $\bold{S}_{ij}$ 代表第 $i$ 个结点的第一个视图嵌入和第 $j$ 个结点嵌入的第二个视图，的余弦相似性。这迫使跨视图样本的相似性矩阵 $\bold{S}$ 与自环邻接矩阵 $\hat{\bold{A}}\in\mathbb{R}^{N \times N}$ 相等，公式如下：

其中代表 $\hat{\bold{A}}_{ij}=1$ ，代表 $\hat{\bold{A}}_{ij}=0$ 。将同一个结点的邻居结点的跨视图对视为正样本对，同时将不相邻的结点视为负样本对。将正样本对聚集起来，将负样本对推远。在公式8中，第一项迫使结点在跨两个不同视图的情况下，与邻居结点相似，同时第二项使得结点与其非邻居结点相似性减小。这种面向邻居的对比目标函数通过保持跨视图结构的一致性，增强了网络的判别能力，从而提高了聚类性能

融合以及聚类

将一个结点的两个增广视图嵌入进行一个线性的融合，公式如下：

其中， $\bold{Z}\in\mathbb{R}^{N \times d}$ 表示面向聚类的节点嵌入的融合结果。然后对 $\bold{Z}$ 直接进行K-means得到聚类结果。

算法流程

消融实验设计

低通降噪操作&结构对比模块

本文提出的数据增广

超参敏感度

一句话总结

感觉最大的创新点在于（1）只使用高斯噪音来构建增广（2）参数不共享的编码器

论文好句摘抄（个人向）

论文阅读“Simple Contrastive Graph Clustering”（arxiv）相关推荐

【论文阅读】Simple Contrastive Graph Clustering
Simple Contrastive Graph Clustering(简易的对比图聚类) 文章目录 Simple Contrastive Graph Clustering(简易的对比图聚类) 1. ...
【论文阅读】Attributed Graph Clustering with Dual Redundancy Reduction（AGC-DRR）
[论文阅读]Attributed Graph Clustering with Dual Redundancy Reduction(AGC-DRR) 文章目录 [论文阅读]Attributed Grap ...
【论文阅读】Attributed Graph Clustering: A Deep Attentional Embedding Approach
[原文]Chun Wang, Shirui Pan, Ruiqi Hu, Guodong Long, Jing Jiang, Chengqi Zhang. Attributed Graph Clust ...
【GNN】2021 NIPS Multi-view Contrastive Graph Clustering
目录简介提纲任务已有的相关工作新的方法三个模块为什么需要图滤波? 实验结果相关指标对比和消融实验总结优势局限性未来改进方向创新补充(对比表示学习必知的几种训练目标-损失) ...
【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）
[论文阅读]Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecastin ...
论文阅读 [TPAMI-2022] Incremental Density-Based Clustering on Multicore Processors
论文阅读 [TPAMI-2022] Incremental Density-Based Clustering on Multicore Processors 论文搜索(studyai.com) 搜索论 ...
【论文阅读】DEEP GRAPH INFOMAX（DGI）
DEEP GRAPH INFOMAX(DGI) 摘要 1 Introduction 2 相关工作 2.1 对比方法 2.2 抽样战略 2.3 预测编码 3 DGI Methodology 3.1 基于 ...
论文阅读 Parallelly Adaptive Graph Convolutional Clustering Model(TNNLS2022)
论文标题 Parallelly Adaptive Graph Convolutional Clustering Model 论文作者.链接作者: He, Xiaxia and Wang, Boyue ...
论文阅读“Twin Contrastive Learning for Online Clustering”(IJCV2022)
论文标题 Twin Contrastive Learning for Online Clustering 论文作者.链接作者: Li, Yunfan and Yang, Mouxing and Pe ...

论文阅读“Simple Contrastive Graph Clustering”（arxiv）