1 引言

在学习无监督学习时，最常用的loss就是最大化互信息。所以本文对互信息最大化做了一个总结。内容和图片多有参考其他资料，相关的文献一并在参考文献列出。（如果使用对比学习含有温度系数的那个损失函数可能会更简单一点）

2 什么是互信息？

参考文献

[1]什么是「互信息」？
[2]DIM：通过最大化互信息来学习深度表征
[3]【互信息 Deep InfoMax】Learning Deep Representations by Mutual Information Estimation and Maximization
[4]ICLR 2020 | 互信息视角下的表征学习
[5]互信息的深度理解（总结的不错值得一看）
[6]互信息在深度学习的应用
[6]对比学习（Contrastive Learning）综述
[7]特征选择之互信息（mutual information）算法思想及其python代码实现
[8]互信息(Mutual Information)浅尝辄止（一）：基础概念
[9]概率论：三、随机变量的期望和方差
[10]【AP统计】期望E(X)与方差Var(X)
[11]随机变量的期望E(x)与X的平均值之间的区别与联系？
[12]动手学深度学习-信息论

【深度学习】什么是互信息最大化？相关推荐

深度学习中的互信息：无监督提取特征
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 对于 NLP 来说,互信息是一个非常重要的指标,它衡量了两个东西的本质相关性.笔者曾多次讨论过互信 ...
深度学习中的Lipschitz约束：泛化与生成模型
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 去年写过一篇 WGAN-GP 的入门读物互怼的艺术:从零直达WGAN-GP,提到通过梯度惩罚来为 ...
交叉熵理解深度学习互信息
20211017 互信息是相对熵的更宽泛的特殊情形, 通常将互信息最大化就是将两个随 机事件的相关性最大化, 在机器学习中, 理想情况下, 互信息最大, 就相当于 模型训练过后拟合出来的概率分 ...
从零实现深度学习框架——从共现矩阵到点互信息
引言本着"凡我不能创造的,我就不能理解"的思想,本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架,该框架类似PyTorch能实现自动求导.
自动驾驶中图像与点云融合的深度学习研究进展综述
点云PCL免费知识星球,点云论文速读. 文章:Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Revie ...
别盲目调参！深度学习要先找到最佳策略
[AI科技大本营导读]R2RT 是一个很有特色的机器学习/人工智能技术博客,作者是一个在 Github 上用户名为 spitis 的机器学习.人工智能专家.这位真名不知为何的专家,目光深邃,擅长对于一 ...
yolo-mask的损失函数l包含三部分_【AI初识境】深度学习中常用的损失函数有哪些？...
这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...
三大深度学习生成模型：VAE、GAN及其变种
本章将为读者介绍基于深度学习的生成模型.前面几章主要介绍了机器学习中的判别式模型,这种模型的形式主要是根据原始图像推测图像具备的一些性质,例如根据数字图像推测数字的名称,根据自然场景图像推测物体的边界 ...
深度学习新星：GANs的基本原理、应用和走向
近年来,基于数据而习得"特征"的深度学习技术受到狂热追捧,而其中GAN模型训练方法更加具有激进意味:它生成数据本身. GAN是"生成对抗网络"(Generati ...

【深度学习】什么是互信息最大化？

目录

1 引言

2 什么是互信息？

参考文献

【深度学习】什么是互信息最大化？相关推荐

最新文章

热门文章