新突破!CVPR2019接收论文:新的基于自编码变换的无监督表示学习方法—AET
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
该文翻译由联盟成员翻译,若有不妥,欢迎指正
深度神经网络的成功往往依赖于大量标记的例子,这在许多实际场景中是很难获得的。为了解决这个问题,无监督的方法在不使用任何标记数据的情况下是训练神经网络的首选方法。与传统的自编码数据学习方法相比,本文提出了一种新的基于自编码变换的无监督表示学习方法:给定一个随机采样的变换,AET试图仅从编码特征中尽可能准确地预测出变换类型。其思想是:只要非监督特征成功编码了原始图像和转换图像视觉结构的基本信息,就可以很好地预测转换。我们将展示这个AET范式允许我们实例化各种各样的转换,从参数化转换到非参数化转换和由gan诱导的转换。
实验表明,与现有的无监督方法相比,AET有了很大的改进,在CIFAR-10、ImageNet和Places数据集上极大地逼近了全监督的方法的上限。
该论文已被CVPR2019接收!
介绍
深度神经网络在图像分类、目标检测和语义分割等领域的成功应用,激发了我们对其在各种计算机视觉任务中的充分应用能力的探索。不幸的是,训练深度神经网络常常需要大量的标记数据来学习足够的特征表示来完成视觉理解任务。这大大限制了深度神经网络在只有有限的标记数据可用来训练网络时的适用性。因此,研究无监督融合中的深度特征表示来解决标记数据不足的新出现的视觉理解任务越来越受到人们的关注。
在非监督学习方法的研究中,最具代表性的是自动编码器和生成对抗网络(GANs)。前者训练编码器网络输出具有足够信息的特征表示,以通过成对解码器重建输入图像。文献中提出了许多自动编码器的变体,但它们都坚持在输出端重建输入数据的基本思想,因此我们将它们分类为图1(a)所示的自动编码数据(AED)范式。
另一方面,GANs通过一对反向训练的发生器和鉴别器从输入噪声中生成图像,以一种无监督的方式学习特征表示。由于输入到发生器的噪声包含了通过发生器产生相应图像所必需的信息,因此可以将其视为输出的特征表示。为了获得每个图像的噪声特征表示,可以训练编码器形成以生成器为解码器的自动编码器体系结构。这样,给定一个输入图像,编码器就可以通过生成器直接输出其噪声表示,生成原始图像[6,8]。这结合了AED和GAN模型的优点。近年来,在许多无监督和半监督的任务中,这些模型成为自编码器的流行替代品,因为它们可以生成整个逼真图像的分布,从而从训练的生成器中获得更好的特征表示。
我们通过自动编码转换(AET)而不是数据本身来学习无监督的特征表示。具体来说,我们通过对一些变换图像的算子进行采样,来训练能够直接从学习到的原始图像和变换图像之间的特征表示来重构这些算子的自动编码器。我们相信,只要训练的特征具有足够的信息量,我们就可以从编码图像视觉结构的特征中解码转换。与图1中传统的自动编码数据(AED)范式相比,AET侧重于探索不同转换下的特征表示的动态,从而不仅揭示了静态视觉结构,而且揭示了它们如何通过应用不同转换进行更改。此外,在拟议的AET框架中,对转换的形式没有限制。这使我们能够灵活地探索各种各样的转换,从简单的图像翘曲到任何参数和非参数转换。我们将在实验中证明AET的表现优于其他的无监督模型,极大地推动了目前最先进的无监督方法更接近于完全监督模型的上限集。
实验
在CIFAR-10、ImageNet和place数据集上对所提出的AET模型进行评估,并将其与不同的非监督方法进行比较。
CIFAR-10实验
ImageNet实验
Places Experiments
论文Arxiv地址:
https://arxiv.org/pdf/1901.04596.pdf
联盟已打包好论文,后台也可下载
【论文下载方式】
关注公众号后台回复关键词:
20190303
即可下载全文
END
加群交流
欢迎加入CV联盟群了解CV和ML等领域前沿资讯
扫描添加CV联盟微信拉你进群,备注:CV联盟
热文荐读
最全中科大计算机学院课程资源(含答案)
必备收藏!超全 TensorFlow 代码集,随查随看!
【收藏】CMU、斯坦福等知名AI实验室、团队AI成果大盘点
近十年以来机器学习中最优秀的想法~一文带你领略GANs核心
卡内基·梅隆大学新提出AdaScale:自适应缩放实现视频对象实时检测算法
计算机视觉奠基人Alan L. Yuille :深度学习在计算机视觉中作用有限,需要找到新的突破口!
新突破!CVPR2019接收论文:新的基于自编码变换的无监督表示学习方法—AET相关推荐
- 伯克利新无监督强化学习方法:减少混沌所产生的突现行为
作者 | Glen Berseth 译者 | Arvin 编辑 | 夕颜 出品 | AI科技大本营(ID: rgznai100) [导读]所有生命有机体都在环境中占据一席之地,使它们在周围不断增加的熵 ...
- *基于类平衡自我训练的无监督域自适应用于语义分割
基于类平衡自我训练的无监督域自适应用于语义分割 摘要:最近的深度网络实现了最先进的性能在各种语义分割任务中.尽管有这样的进步,但是这些模型在现实世界中面临挑战,它们存在很大的差别在已标签训练/源文件和 ...
- 《异常检测——从经典算法到深度学习》16 基于VAE和LOF的无监督KPI异常检测算法
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
- 直播 | KDD 2021论文解读:基于协同对比学习的自监督异质图神经网络
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
- 英伟达新研究:“狗生猫,猫生万物”的多模态无监督图像转换
林鳞 编译整理 量子位 出品 | 公众号 QbitAI 英伟达最近的一项研究看起来有点神奇. 一张普通的猫咪图像,可以被转换成一只老虎.一头狮子或一只美洲豹. 还是一张普通的猫咪图,还能被转换成 ...
- 【论文精读】基于周期编码深度自编码器的心肺音盲单耳声源分离
文章信息 Blind Monaural Source Separation on Heart and Lung Sounds Based on Periodic-Coded Deep Autoenco ...
- KDD 18 论文解读 | GraphWave:一种全新的无监督网络嵌入方法
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- EMNLP 2018 | 基于短语和神经网络的无监督机器翻译
无监督机器翻译是目前热门研究方向之一.在仅依赖单语数据情况下,实现语种间的翻译是一个具有实际意义并极赋挑战的任务.文章<Phrase-Based & Neural Unsupervise ...
- 论文Express | 英伟达最新:多模态无监督图像迁移网络框架
不久前,文摘菌给大家分享了一篇Ian Goodfellow的论文,教大家如何把一张哈士奇的图像硬生生的AI成一只猫咪,论文的结果确实会让人傻傻分不清楚,点击这里查看相关内容. 然而,今天的这篇论文效果 ...
最新文章
- linux 文件系统检查命令
- 的g极串一个电阻_Ohm#39;s Law 简单系列D:从惠斯通(会石头)测电阻开始说
- java 泛型 t_Kotlin(2) 泛型与集合
- python 网络编程第二版
- 图解SSL/TLS协议
- 原创“.NET研究”企业级控件库之图片浏览控件
- 《疯狂java讲义》6
- extjs4:代码实现comboBox选中事件
- 疫情冬天过去,二手经济春天到来
- org.apache.commons.lang.StringUtils
- Java 非小数BigDecimal转换为Integer
- C# .net 多线程中集合数据同步
- 第五天:在博客路由中使用登录验证,配置 nginx解决前后端跨域
- centos部署k8s集群(kubeadm方式)
- cvMorphologyEx() 多种图像形态学
- 强烈推荐:创业起步 八种赢利模式
- 2017年深度学习语义分割导读
- [转载]矩阵求导运算规则
- 2018 11.1 PION 模拟赛
- 东方国信(实习一面)
热门文章
- so文件linux注册,SO文件格式
- android中的add方法,Android中Fragment怎么addView?
- java bean 工厂模式_通过annotation(注解)实现BeanFactory工厂模式(三)
- python的使用_python的使用
- 汇编指令mrs_专题1:电子工程师 之 软件】 之 【8.arm指令】
- Java 简单五子棋程序的实现
- php5安装mysql拓展_PHP7安装mysql的扩展让老版本PHP程序继续服役
- 如何用append连接html文件,jquery append()怎么用?
- 闭环检测python_hdl_graph_slam源码解读(七):闭环检测
- 如何实现报表的批量打印需求