近期必读的6篇NeurIPS 2019零样本学习论文
来源 | 专知(ID:Quan_Zhuanzhi)
【导读】NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NIPS 2019大会已经在12月8日-14日在加拿大温哥华举行,这次大会上零样本学习(Zero-Shot Learning, ZSL)相关论文数量众多,也突出其近期的火热程度, 为此,我们整理了NIPS 2019零样本学习相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。
1. Zero-shot Knowledge Transfer via Adversarial Belief Matching
作者:Paul Micaelli and Amos Storkey
摘要:在现代深度学习应用中,将知识从一个大的teacher network迁移到一个小的student network中是一个很受欢迎的任务。然而,由于数据集的规模越来越大,隐私法规也越来越严格,越来越多的人无法访问用于训练teacher network的数据。我们提出一种新方法,训练student network在不使用任何数据或元数据的情况下,与teacher network的预测相匹配。我们通过训练一个对抗生成器来搜索student与teacher匹配不佳的图片,然后使用它们来训练student,从而达到这个目的。我们得到的student在SVHN这样的简单数据集上与teacher非常接近,而在CIFAR10上,尽管没有使用数据,我们在few-shot distillation (100 images per class)的技术水平上进行了改进。最后,我们还提出了一种度量标准,来量化teacher与student在决策边界附近的信念匹配程度,并观察到我们的zero-shot student与teacher之间的匹配程度显著高于用真实数据提取的student与teacher之间的匹配程度。我们的代码链接如下:
https://github.com/polo5/ZeroShotKnowledgeTransfer。
网址:
https://papers.nips.cc/paper/9151-zero-shot-knowledge-transfer-via-adversarial-belief-matching
2. Transductive Zero-Shot Learning with Visual Structure Constraint
作者:Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao
摘要:为了识别未知类的目标,现有的零样本学习(Zero-Shot Learning, ZSL)方法大多是先根据源可见类的数据,在公共语义空间和视觉空间之间学习一个相容的投影函数,然后直接应用于目标未知类。然而,在实际场景中,源域和目标域之间的数据分布可能不匹配,从而导致众所周知的domain shift问题。基于观察到的测试实例的视觉特征可以被分割成不同的簇,我们针对转导ZSL的类中心提出了一种新的视觉结构约束,以提高投影函数的通用性(即缓解上述域移位问题)。具体来说,采用了三种不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 来对齐测试实例的投影不可见的语义中心和可视集群中心。我们还提出了一种新的训练策略,以处理测试数据集中存在大量不相关图像的实际情况,这在以前的方法中是没有考虑到的。在许多广泛使用的数据集上进行的实验表明,我们所提出的视觉结构约束能够持续地带来可观的性能增益,并取得最先进的结果。我们源代码在:https://github.com/raywzy/VSC。
网址:
https://papers.nips.cc/paper/9188-transductive-zero-shot-learning-with-visual-structure-constraint
3. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
作者:Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal
摘要:零样本学习(Zero-shot learning)通过引入类的语义表示,将传统的目标分类扩展到不可见的类识别。现有的方法主要侧重于学习视觉语义嵌入的映射函数,而忽视了学习discriminative视觉特征的效果。本文研究了discriminative region localization的意义。提出了一种基于语义引导的多注意力定位模型,该模型能自动发现目标中最discriminative的部分,实现零样本学习,不需要人工标注。我们的模型从整个目标和被检测部分共同学习协作的全局和局部特征,根据语义描述对对象进行分类。此外,在嵌入softmax loss和class-center triplet loss的联合监督下,鼓励模型学习具有高类间离散性和类内紧凑性的特征。通过对三种广泛使用的零样本学习基准的综合实验,我们证明了multi-attention localization的有效性,我们提出的方法在很大程度上改进了最先进的结果。
网址:
https://papers.nips.cc/paper/9632-semantic-guided-multi-attention-localization-for-zero-shot-learning
4. Zero-shot Learning via Simultaneous Generating and Learning
作者:Hyeonwoo Yu and Beomhee Lee
摘要:为了克服不可见类训练数据的不足,传统的零样本学习方法主要在可见数据点上训练模型,并利用可见类和不可见类的语义描述。在探索类与类之间关系的基础上,我们提出了一个深度生成模型,为模型提供了可见类与不可见类的经验。该方法基于类特定多模态先验的变分自编码器,学习可见类和不可见类的条件分布。为了避免使用不可见类的示例,我们将不存在的数据视为缺失的示例。也就是说,我们的网络目标是通过迭代地遵循生成和学习策略来寻找最优的不可见数据点和模型参数。由于我们得到了可见类和不可见类的条件生成模型,因此无需任何现成的分类器就可以直接进行分类和生成。在实验结果中,我们证明了所提出的生成和学习策略使模型取得了优于仅在可见类上训练的结果,也优于几种最先进的方法。
网址:
https://papers.nips.cc/paper/8300-zero-shot-learning-via-simultaneous-generating-and-learning
5. Zero-Shot Semantic Segmentation
作者:Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez
摘要:语义分割模型在扩展到大量对象类别的能力上受到限制。在本文中,我们介绍了零样本语义分割的新任务:用零训练实例学习从未见过的对象类别的像素级分类器。为此,我们提出了一个新的架构,ZS3Net,结合了一个深度的视觉分割模型和一种从语义词嵌入生成视觉表示的方法。通过这种方式,ZS3Net解决了在测试时可见和不可见的类别都面临的像素分类任务(所谓的“generalized” zero-shot 分类)。通过依赖于不可见类的像素的自动伪标记的自训练步骤,可以进一步提高性能。在两个标准的细分数据集,Pascal-VOC和Pascal-Context,我们提出了zero-shot基准和设置竞争的baseline。对于Pascal-Context数据集中的复杂场景,我们通过使用图形-上下文编码来扩展我们的方法,以充分利用来自类分割图的空间上下文先验。
网址:
https://papers.nips.cc/paper/8338-zero-shot-semantic-segmentation
6. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning
作者:Jian Ni, Shanghang Zhang and Haiyong Xie
摘要:广义零样本学习(Generalized zero-shot learning,GZSL)是一类具有挑战性的视觉和知识迁移问题,在测试过程中,既有看得见的类,也有看不见的类。现有的GZSL方法要么在嵌入阶段遭遇语义丢失,抛弃有区别的信息,要么不能保证视觉语义交互。为了解决这些局限性,我们提出了一个Dual Adversarial Semantics-Consistent Network (简称DASCN),它在一个统一的GZSL框架中学习原始的和对偶的生成的对抗网络(GANs)。在DASCN中,原始的GAN学习综合类间的区别和语义——从可见/不可见类的语义表示和对偶GAN重构的语义表示中保留视觉特征。对偶GAN通过语义一致的对抗性学习,使合成的视觉特征能够很好地表示先验语义知识。据我们所知,这是针对GZSL采用新颖的Dual-GAN机制的第一个工作。大量的实验表明,我们的方法比最先进的方法取得了显著的改进。
网址:
https://papers.nips.cc/paper/8846-dual-adversarial-semantics-consistent-network-for-generalized-zero-shot-learning
(*本文为AI科技大本营转载文章,转载请联系原作者)
◆
精彩公开课
◆
推荐阅读
滴滴叶杰平:年运送乘客百亿次,AI如何“服务”出行领域?| BDTC 2019
性能超FPN!北大、阿里等提多层特征金字塔网络
不要让 Chrome 成为下一个 IE!
通向人工智能产业落地化的道路在哪?
微信回应朋友圈表情包评论关闭:灰度测试;Twitter漏洞波及1700万用户;Ruby 2.7.0发布 | 极客头条
把自己朝九晚五的工作自动化了,有错吗?
扎心了!互联网公司福利缩水指南
量子通信,到底是什么工作原理?
2019 区块链数据报告:广东省拥有全国最多的区块链公司;中国至亚洲在出块方面表现均比欧洲强
-
你点的每个“在看”,我都认真当成了AI
近期必读的6篇NeurIPS 2019零样本学习论文相关推荐
- 近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文
近期必读的6篇 NeurIPS 2019 的零样本学习(Zero-Shot Learning)论文 PS:转发自"专知"公众号 [导读]NeurIPS 是全球最受瞩目的AI.机器学 ...
- Zero-shot Learning零样本学习 论文阅读(五)——DeViSE:A Deep Visual-Semantic Embedding Model
Zero-shot Learning零样本学习 论文阅读(五)--DeViSE:A Deep Visual-Semantic Embedding Model 背景 Skip-gram 算法 算法思路 ...
- Zero-shot Learning零样本学习 论文阅读(一)——Learning to detect unseen object classes by between-class attribute
Zero-shot Learning零样本学习 论文阅读(一)--Learning to detect unseen object classes by between-class attribute ...
- NeurIPS 2019 少样本学习研究亮点全解析
作者:Angulia Chao 编辑:Joni Zhong 少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应 ...
- 近期必读的9篇CVPR 2019【域自适应(Domain Adaptation)】相关论文和代码
[导读]最近小编推出CVPR2019图卷积网络.CVPR2019生成对抗网络.[可解释性],CVPR视觉目标跟踪,CVPR视觉问答,医学图像分割,图神经网络的推荐相关论文,反响热烈.最近,Domain ...
- 八篇 NeurIPS 2019 最新图神经网络相关论文
最近,人工智能和机器学习领域的国际顶级会议 NeurIPS 2019 接收论文公布,共有 1428 篇论文被接收.为了带大家抢先领略高质量论文,本文整理了八篇 NeurIPS 2019 最新 GNN ...
- DeepLearning | Zero shot learning 零样本学习AWA2 图像数据集预处理
因为有打算想要写一组关于零样本学习算法的博客,需要用到AWA2数据集作为demo演示 之前想只展示算法部分的代码就好了,但是如果只展示算法部分的代码可能不方便初学者复现,所以这里把我数据预处理的方法也 ...
- DeepLearning | Zero Shot Learning 零样本学习(扩展内容、模型、数据集)
之前写过一篇关于零样本学习的博客,当时写的比较浅.后来导师让我弄个ppt去给本科生做一个关于Zero Shot Learning 的报告,我重新总结了一下,添加了一些新的内容,讲课的效果应该还不错,这 ...
- weka分类器怎么设置样本类别_NeurIPS 2019 少样本学习研究亮点全解析
少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应用,然而训练出高精度模型的情况大部分来源于充足的训练数据,这 ...
最新文章
- 第二十五课.元学习MetaLearning
- 页面调度框架 justep.Shell
- ios模拟器装ipa包_在iOS开发的时候如何在模拟器中安装APP
- PHP支付接口教程,详解微信支付(二)
- AssetBundle系列——共享资源打包/依赖资源打包
- 青茶什么时候拆_为什么日本绿茶那么绿?比中国的高级绿茶还要绿
- java许愿墙_wishingWall 一个好看的许愿墙板块,功能强大,页面美观 Java Develop 238万源代码下载- www.pudn.com...
- 安防在智能家居中扮演什么角色?
- 8051单片机Proteus仿真与开发实例-RS485协议通信仿真
- PID算法详解及实例分析
- 华为手机怎么修改dns服务器,华为域名解析修改dns
- Java中的Ant与Maven比较整理
- 软件工程-系统流程图
- Failed to fetch URl https://dl-ssl.google.com/android/repository/addo Android SDK更新以及ADT更新出现问题的解决办法
- 2018.6清北学堂day3上午笔记
- H-Chat: socket.io实现私聊,群聊,添加好友
- 支付宝证书模式支付接口
- windows程序单实例
- django通用视图(CBV)
- 整数平方根的计算(一)
热门文章
- 第一本的java 的小总结
- 一个JS对话框,可以显示其它页面,
- 新建silverlight项目提示未将对象设置到实例解决方案
- 《Android开发从零开始》——11.AbsoluteLayoutFrameLayout学习
- nagios监控三部曲之——为什么nagios不能发送报警邮件(2)
- Google Objective-C Style Guide
- IDEA打包出现Unable to find main class
- php取当前是pc还是手机号,利用PHP判断是手机移动端还是PC端访问的函数示例
- gff3转mysql_五月 | 2013 | 陈连福的生信博客
- 累加结合律,交换律,分配律的一个例子