Deep Embedded Clustering with Asymmetric Residual Autoencoder

出于为了解决AE中的梯度消失，是否可以使用残差网络或者dense net解决的心态，我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。

本文的亮点：

使用了一个非对称的、残差的autoencoder来训练样本；
将clustering融合入模型，解决end-to-end问题；
非对称训练得到的AE更加适合clustering；
因为将模型融合，导致AE的训练存在一些constraint（满足clustering），优化更加容易。

A clustering layer has been incorporated into ADREC to form an end to end solution and optimize the network with the help of the clustering result feedback.

模型分为两个部分，embedding部分和clustering部分。如图1，左边是一个4-res-Blocks的残差网络，右边是一个Dense+3-TransposeConv，文中用的clustering是k-means。

损失由2个部分组成。

$L_r$ 是MSEi重构误差， $L_c$ 是一个KL散度（相对熵）。

其中 $q_{ij}$ 是i个数据分到j类的概率， $μj\mu_j$ 是j类的聚类中心，假设了一个student分布。如下图，v=1，于是有式（3）

式（4）比较扯，没搞懂，暂且认为是非线性即可。

最后因为只有clustering，会导致AE的嵌入空间失真，所以将他们组合起来。

According to [11], the embedded space will be distorted if the encoder is finetuned only using the clustering loss.

结果还行，在常见的数据集中。

Deep Embedded Clustering with Asymmetric Residual Autoencoder相关推荐

DEC-DA：Deep Embedded Clustering with Data Augmentation
Deep Embedded Clustering with Data Augmentation 1 摘要 2 介绍 3 相关工作 3.1 Denoising Autoencoder 3.2 Deep ...
论文笔记：Improved Deep Embedded Clustering with Local Structure Preservation
前言 DEC 忽略了至关重要的因素,即定义的聚类损失可能会破坏特征空间(聚类损失不能保证局部结构的保存),从而导致无代表性的无意义特征,进而损害聚类性能. 文章提出的Improved Deep Emb ...
论文笔记-DEC (Deep Embedded Clustering)
论文笔记-DEC (Deep Embedded Clustering) 知识点1.将聚类的度量参考T-SNE中的t-分布,将聚类的度量转换成一个概率值(软分配,qij 表示将样本 i 分配给 j 簇的 ...
【神经网络】自编码聚类算法--DEC (Deep Embedded Clustering)
1.算法描述最近在做AutoEncoder的一些探索,看到2016年的一篇论文,虽然不是最新的,但是思路和方法值得学习.论文原文链接 http://proceedings.mlr.press/v48 ...
Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文笔记
Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization 论文链接 ...
论文阅读”Efficient Deep Embedded Subspace Clustering“（CVPR2022）
论文标题 Efficient Deep Embedded Subspace Clustering 论文作者.链接作者: Cai, Jinyu and Fan, Jicong and Guo, Wen ...
[PED01]Deep Subspace Clustering Networks
论文作者:Pan Ji(University of Adelaide) Tong Zhang.Hongdong Li(Australian National University)等论文类型:NIP ...
过完备深度子空间聚类网络：《Overcomplete Deep Subspace Clustering Networks》
论文:<Overcomplete Deep Subspace Clustering Networks> 论文原文链接:有道云笔记论文讲解链接:子空间聚类入门(一)overcomplete ...
[2018][PAMI]Deep Self-Evolution Clustering 笔记
paper:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8590804 supplement meterial:https ...

Deep Embedded Clustering with Asymmetric Residual Autoencoder

本文的亮点：

Deep Embedded Clustering with Asymmetric Residual Autoencoder相关推荐

最新文章

热门文章