标题：Multi-View Information-Bottleneck Representation Learning

Summary

论文通过信息瓶颈原则，以及综合使用多视图各个视图之间的公共表征和单个视图的特定表征，来学习得到一个标签信息丰富和鲁棒性强的表征。传统的多视图处理往往是只关注于多个视图之间的公共信息，而忽略了单个视图也有利于后续任务的特定信息，因此本文综合考虑两者，并加入信息瓶颈原则，使得学习得到的表征去除冗余信息。

Problem Statement

论文旨在解决多视图表征学习的挑战，如何在多视图之间学习得到共享的信息也学习得到互补的信息，同时还要保证学习得到的表征是去除冗余信息的，具有鲁棒性。

Method

信息瓶颈原则：足够支持后续任务的最小信息量。
学习多个视图的共享表征：该共享表征足够重构所有的视图，因此损失函数就是所有重构误差和。
单个视图的特定表征：通过自编码器对每个视图进行编码重构，最后拼接起来。
网路完整的损失函数：多视图+单视图+信息瓶颈：
对于各个互信息计算进行估计：
模型图：

Evaluation

在多视图上进行聚类任务，评估指标包括： Accuracy (ACC), Normalized Mutual Information (NMI), F-score, and Rand Index (RI)。
对于数据集进行加噪处理，体现模型方法的鲁棒性。
在使用单视图，多视图，使用单视图表征，使用多视图表征，已经综合的情况下进行消融对比实验。

Conclusion

综合考虑多视图之间的公共信息和单个视图的特定信息，以及信息瓶颈理论，可以学习得到高效而且鲁棒性强的表征。

Notes

In real-world applications, clustering or classification can usually be improved by fusing information from different views.
Information bottleneck is an approach based on information theory, which formally describes meaningful and relevant information in the data.
Multi-view representation learning is designed to explore the information from multiple views for better performances.

References

A survey of multi-view representation learning.
Deep Adversarial Multi-view Clustering Network.
Late fusion incomplete multi-view clustering.
A survey of multi-view machine learning.
Deep multi-view information bottleneck.
Generalized latent multi-view subspace clustering.
Multi-view clustering via deep matrix factorization.

多视图信息瓶颈表征学习相关推荐

干货！基于神经网络的多粒度图表征学习
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 图是建模实体与实体之间关系的常用数据结构.近年来,图数据挖掘引起了学术界和工业界广泛的关注,如分类.聚类等等.然而图相似度学习这一任务却 ...
前沿｜揭开黑箱：希伯来大学计算机科学教授提出「信息瓶颈」
来源:全球人工智能概要:像大脑一样,深度神经网络也有很多层神经元.当神经元被激活时,它会发出信号,连接上面一层的神经元. 如今「深度神经网络」已经学会对话.驾驶汽车.打视频游戏.玩围棋.绘画并辅助科 ...
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理摘要从信息瓶颈(IB)原理的理论框架出发,对深度神经网络(DNN ...
万字深度好文！视觉-语言（VL）智能：任务、表征学习和大型模型
来源:AI科技评论编译:Jocelyn 编辑:陈彩娴本文对视觉-语言(VL)智能按时间顺序进行了全面调研,并将这一领域的发展总结为三个阶段: 第一个阶段是2014-2018年,其间,专门的模型被设 ...
因果表征学习最新综述：连接因果科学和机器学习的桥梁
来源:集智俱乐部作者:蔡心宇审校:龚鹤扬.陆超超编辑:邓一雪论文题目: Towards Causal Representation Learning 论文地址: https://arxiv.o ...
SIGIR 2021 | 推荐系统中的自监督图表征学习
©PaperWeekly 原创 · 作者 | 吴剑灿学校 | 中国科学技术大学博士生研究方向 | 信息检索摘要推荐系统中用户-物品交互图上的表征学习(Representation Learni ...
从信息瓶颈理论一瞥机器学习的“大一统理论”
作者丨哈啾路亚单位丨顺丰科技研究方向丨NLP,神经网络个人主页丨http://st-time.space 序言所有机器学习的原理,本质上都是对同一段信息在不同空间内的转换.过滤.重新表征,最终 ...
阿里开源Euler：国内首个工业级图表征学习框架
先奉上开源地址:https://github.com/alibaba/euler Euler开源:用图表征学习解决深度学习瓶颈 Euler是阿里巴巴旗下数字营销平台阿里妈妈自研的大规模分布式图表征学习 ...
什么是表示学习(representation learning)表征学习表达学习
机器学习算法的成功与否不仅仅取决于算法本身,也取决于数据的表示.数据的不同表示可能会导致有效信息的隐藏或是曝露,这也决定了算法是不是能直截了当地解决问题.表征学习的目的是对复杂的原始数据化繁为简,把原 ...
异质信息网络表征学习综述
摘要信息网络表征学习的目的: 利用网络的拓扑结构 .节点内容等信息将节点嵌入到低维的向量空间中 ,同时保留原始网络固有的结构特征和内容特征 ,从而使节点的分类.聚类.链路预测等网络分析任务能够基于低 ...

多视图信息瓶颈表征学习

标题：Multi-View Information-Bottleneck Representation Learning

Summary

Problem Statement

Method

Evaluation

Conclusion

Notes

References

多视图信息瓶颈表征学习相关推荐

最新文章

热门文章