DTC(Deep Temporal Clustering--Fully Unsupervised Learning of Time-Domain Features)论文理解

2024-06-09 00:46:33

DTC网络模型图：

整体网络模型的损失函数为：重构损失+聚类损失，即MSE+KL

一、MSE

经过TAE(temporal autoencoder)层，在输出和输入之间求重构损失MSE，TAE层具体网络类型结构见上图

二、聚类层

1.初始化簇中心：先对所有样本的潜在特征进行complete linkage的层次聚类，再进行k切割（得到k个簇），再对每个簇的元素求平均来获取初始的簇中心。
2.训练过程：①计算x_i属于第j个簇的概率，x_i的潜在特征z_i离第j个簇中心w_j越近，则x_i属于第j个簇的概率越大；②用loss function更新簇中心，这个loss function使用目标分布p最大化高置信度聚类结果。
3.以两个簇为例：

输入的z计算和每个簇中心w的相似性，再送入Student’s t 分布核来转换为属于每个簇的概率。这里的相似性度量方法有：CID，COR，ACF，EUCL
4.聚类层损失函数：训练聚类层的目的是最小化q_ij和p_ij之间的KL散度，所以L=∑i=1n∑j=1kpijlogpijqijL=\sum^n_{i=1}\sum^k_{j=1}p_{ij}log\frac{p_{ij}}{q_{ij}}L=∑i=1n∑j=1kpijlogqijpij，其中n是样本个数，k是类的个数

三、DTC优化过程

簇中心的初始值会较大影响结果，因此这里对TAE进行预训练来获得更有意义的z
步骤：①预训练②预训练后，由complete-linkage的层次聚类初始化簇中心③再用dLedzi\frac{dL_e}{dz_i}dzidLe和dLaedz\frac{dL_{ae}}{dz}dzdLae分别更新AE和簇中心，同时每次采用SGD进行优化时，根据公式(5)更新目标分布p

DTC(Deep Temporal Clustering--Fully Unsupervised Learning of Time-Domain Features)论文理解相关推荐

翻译：Deep Multimodal Clustering for Unsupervised Audiovisual Learning
摘要鸟儿的鸣叫声,奔跑的汽车伴随着的噪音等等,这些自然的音视关联(一致)提供了探索和了解外部世界的可能性.然而,混合的多个对象和声音使得在不受约束的环境中执行有效匹配变得困难.为了解决这一问题,我们 ...
Deep Cluster：Deep Clustering for Unsupervised Learning of Visual Features
DeepCluster,一种联合学习神经网络参数和结果特征的聚类分配的聚类方法.DeepCluster使用标准聚类算法kmeans对特征进行迭代分组,并使用后续分配作为监督来更新网络的权 ...
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations学习与理解
这篇论文是ICML2019两篇best paper之一,针对无监督解耦进行了分析,从理论上证明无监督解耦是不可能的,虽然知乎上存在一些对这篇论文的负面评论,但个人感觉还是对解耦这个概念理解不一致造成的 ...
【论文阅读】Unsupervised Learning of Image Segmentation Based on Differentiable Feature Clustering
文章目录摘要目标贡献点介绍相关工作经典方法深度学习基于用户输入的图像分割基于CNN的弱监督分割端到端的可微分割CNN 方法问题建模网络结构损失函数网络更新实验结果连续性 ...
[2021-CVPR] Jigsaw Clustering for Unsupervised Visual Representation Learning 论文简析及关键代码简析
[2021-CVPR] Jigsaw Clustering for Unsupervised Visual Representation Learning 论文简析及关键代码简析论文:https:/ ...
Deep Unsupervised Learning using Nonequilibrium Thermodynamics论文翻译学习
Deep Unsupervised Learning using Nonequilibrium Thermodynamics Author: Jascha Sohl-Dickstein Link: h ...
Unsupervised Learning: Deep Auto-encoder
Auto-encoder De-noising auto-encode CNN-Deconvolution Unsupervised Learning: Generation Generative M ...
【ECCV 2020】Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-ID
JVTC 1 背景知识 1.1Person Re-Identification (ReID) 1.2 supervised person ReID Problem #2 Problem #3 1.3 ...
Machine Learning Algorithms Study Notes(4)—无监督学习（unsupervised learning）
1 Unsupervised Learning 1.1 k-means clustering algorithm 1.1.1 算法思想 1.1.2 k-means的不足之处 1 ...

最新文章

热门文章