Learning deep representations by mutual information estimation and maximization

ICLR18的文章，reference100多，算贡献比较大的文章了。

首先介绍一下本文的预备知识点：

本文主要是涉及了一种数据表征方法，无监督的提取出图片中的高维表征。不进行具体任务的训练。

比如我们进行训练之后，固定好训练完的网络，进行分类，聚类等工作的训练。

创新点：

1：利用了互信息最大化输入与高维表征的关联程度。

2：互信息包含了局部互信息，以及全局互信息。

3：使用对抗网络，使得高维表示具有期望先验分布的特性。

4：提出了两种新的衡量表示的方法，MINE（互信息神经预测），NDM（神经依赖衡量）

提出的算法叫DIM（Deep infoMax）

实现上，主要是关注以下两个特点：

一个是互信息最大化，一个是统计约束（期望最后的输出约束于先验分布）

互信息最大化框架：

local和global features的这个可以看上图，拿到低层（靠前的）的特征，然后和高层的特征结合。这个结合和我一开始想的还不一样，比如我们提取出来了26*26*128的feature map，这里面相当于128个map，和高层的64的输出结合。所以就是[26,26,128]和[64]结合，文章中的做法是先扩展[64]到[26,26,64]，然后concat得到[26,26,192]，这样相当于每个high level feature（global feature）和纵向的每个位置的128都结合一下，最后得到26*26个score。这样做直观上的感觉就是想要寻求一下128个local的图中共性的和global相符的特征。（因此文章中出现了根据颜色分类这样的问题，也是可以解释的过去的）

这篇文章的结构看paper感觉不是很明显，看代码之后会更加明了。这里面最重要的一个点就是如何计算这个互信息。

这里就用到了另一个方法Mutual Information Neural Estimation（MINE），下一篇我会介绍，开山之作

整个无监督训练的结构conv（4，1）代表kernel size 4 ， stride为1。本质上是对各个层级进行多出的互信息约束。

计算loss的代码（需要事先了解MINE的计算方法）

class DeepInfoMaxLoss(nn.Module):def __init__(self, alpha=0.5, beta=1.0, gamma=0.1):super().__init__()self.global_d = GlobalDiscriminator()self.local_d = LocalDiscriminator()self.prior_d = PriorDiscriminator()self.alpha = alphaself.beta = betaself.gamma = gammadef forward(self, y, M, M_prime):# see appendix 1A of https://arxiv.org/pdf/1808.06670.pdfy_exp = y.unsqueeze(-1).unsqueeze(-1)y_exp = y_exp.expand(-1, -1, 26, 26)y_M = torch.cat((M, y_exp), dim=1)y_M_prime = torch.cat((M_prime, y_exp), dim=1)Ej = -F.softplus(-self.local_d(y_M)).mean()Em = F.softplus(self.local_d(y_M_prime)).mean()LOCAL = (Em - Ej) * self.betaEj = -F.softplus(-self.global_d(y, M)).mean()Em = F.softplus(self.global_d(y, M_prime)).mean()GLOBAL = (Em - Ej) * self.alphaprior = torch.rand_like(y)term_a = torch.log(self.prior_d(prior)).mean()term_b = torch.log(1.0 - self.prior_d(y)).mean()PRIOR = - (term_a + term_b) * self.gammareturn LOCAL + GLOBAL + PRIOR

Learning deep representations by mutual information estimation and maximization相关推荐

【论文笔记——DIM】Learning Deep Representations By Mutual Information Estimation and Maximization
arxiv:https://arxiv.org/abs/1808.06670 code:https://github.com/rdevon/DIM report video:https://www.y ...
论文解读（GMI）《Graph Representation Learning via Graphical Mutual Information Maximization》
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...
[CVPR2016]Learning Deep Feature Representations with Domain Guided Dropout for Person Re-id
论文题目:Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identiﬁcation 还是 ...
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
<Deep Neural Networks for Learning Graph Representations>- (AAAI-16)-2016 文章目录一.模型 1.1解决了两个问题 ...
Mutual Information Neural Estimation梳理
Mutual Information Neural Estimation 原文参考:https://ruihongqiu.github.io/posts/2020/07/mine/ 背景互信息可以 ...
MINE：Mutual Information Neural Estimation
Mutual Information Neural Estimation Paper:https://arxiv.org/pdf/1801.04062v4.pdf Code:https://githu ...
Graph Representation Learning via Graphical Mutual Information Maximization
摘要本文研究了如何以无监督的方式将丰富的图结构数据信息保存和提取到嵌入空间中.并提出了GMI( Graphical Mutual Information)来测量输入图和高级隐藏表示之间的相关性.GM ...
Deep Learning Hierarchical Representations for Image Steganalysis【Ye-Net：图像隐写分析的深度学习层次表示】
Deep Learning Hierarchical Representations for Image Steganalysis [Ye-Net:图像隐写分析的深度学习层次表示] Abstract ...
Deep Image Retrieval: Learning global representations for image search
Deep Image Retrieval: Learning global representations for image search 文中贡献学习特征权重,构建区域特征. 2. 使用区域推荐 ...
Learning Deep Learning（学习深度学习）
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/e98c5f61a6f2 Learning ...

Learning deep representations by mutual information estimation and maximization

创新点：

Learning deep representations by mutual information estimation and maximization相关推荐

最新文章

热门文章