DCC：Deep continuous clustering

2024-05-14 06:21:45

文章：NIPS’17
代码：TensorFlow实现；Pytorch实现

经典的聚类算法具有离散结构：需要重新计算质心和数据点之间的关联，或者需要合并假定的聚类。
在任何一种情况下，优化过程都会被离散的重新配置打断。

连续聚类：在优化过程中没有考虑具体离散的类别，而是以优化节点表示和节点对连边这个连续问题为目标。最后通过连边的情况划分类别。

目标函数

由三部分构成：自编码器的重构损失；聚类嵌入Z和低维嵌入Y的距离；聚类嵌入Z的成对损失

图 $ϵ\epsilon$ 根据X的相互最近邻构建。由 kNN 图的最小生成树（minimum spanning tree）进行增强，以确保与所有数据点的连接。
$ρ1\rho_1$ ， $ρ2\rho_2$ ，M估计量，使得属于同一个cluster的embedding尽可能接近。

$μ1\mu_1$ , $μ2\mu_2$ 控制估计量的凸性。
$ωi,j\omega_{i,j}$ ，平衡数据点的成对损失。

$λ\lambda$ 平衡各项损失，Y和A谱范数的比值。

其中

优化中的问题

参数Ω是关于所有样本更新的，而Z只是关于单个样本和成对样本更新的，因此应该具有不同的学习率。使用Adam进行参数的学习。
mini-batch中，随机抽取子样本点不可行，因为会有相邻的样本点在mini-batch之外，因此需要随机选取边，从而构成子图 $ϵ\epsilon$
在mini-batch中，reconstruction loss和data loss的权重会变大。因为按边采样的话，节点会出现在不同的batch中，因此小批量训练的时候需要修改前两个loss的权重，加入ω。

训练

initialization

自编码器参数Ω：使用stacked denoising autoencoder (SDAE)初始化
聚类低维嵌入Z：Z = Y

Stopping criterion

小于0.1%边的连接状态改变，则停止

算法

思考小结

Y是真正输出的低维嵌入，Z是聚类相关的低维嵌入。

DCC：Deep continuous clustering相关推荐

论文阅读笔记（15）：Deep Subspace Clustering with Data Augmentation，深度子空间聚类+数据增强
论文阅读笔记(15):Deep Subspace Clustering with Data Augmentation,深度子空间聚类+数据增强摘要 1 介绍 2 相关工作带增强的聚类方法具有一致 ...
DEC-DA：Deep Embedded Clustering with Data Augmentation
Deep Embedded Clustering with Data Augmentation 1 摘要 2 介绍 3 相关工作 3.1 Denoising Autoencoder 3.2 Deep ...
翻译：Deep Multimodal Clustering for Unsupervised Audiovisual Learning
摘要鸟儿的鸣叫声,奔跑的汽车伴随着的噪音等等,这些自然的音视关联(一致)提供了探索和了解外部世界的可能性.然而,混合的多个对象和声音使得在不受约束的环境中执行有效匹配变得困难.为了解决这一问题,我们 ...
过完备深度子空间聚类网络：《Overcomplete Deep Subspace Clustering Networks》
论文:<Overcomplete Deep Subspace Clustering Networks> 论文原文链接:有道云笔记论文讲解链接:子空间聚类入门(一)overcomplete ...
论文笔记：Improved Deep Embedded Clustering with Local Structure Preservation
前言 DEC 忽略了至关重要的因素,即定义的聚类损失可能会破坏特征空间(聚类损失不能保证局部结构的保存),从而导致无代表性的无意义特征,进而损害聚类性能. 文章提出的Improved Deep Emb ...
【点云系列】综述： Deep Learning for 3D Point Clouds: A Survey
文章目录起因题目摘要 1 简介 2 背景 2.1 数据集 2.2 衡量指标 3 3D形状分类 3.1基于多视角的方法 3.2基于体素的方法 3.3 基于点的方法 3.3.1逐点MLP网络 3.3 ...
[PED01]Deep Subspace Clustering Networks
论文作者:Pan Ji(University of Adelaide) Tong Zhang.Hongdong Li(Australian National University)等论文类型:NIP ...
论文笔记-DEC (Deep Embedded Clustering)
论文笔记-DEC (Deep Embedded Clustering) 知识点1.将聚类的度量参考T-SNE中的t-分布,将聚类的度量转换成一个概率值(软分配,qij 表示将样本 i 分配给 j 簇的 ...
Deep Embedded Clustering with Asymmetric Residual Autoencoder
出于为了解决AE中的梯度消失,是否可以使用残差网络或者dense net解决的心态,我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual ...

最新文章

热门文章