【文献阅读】Stacked What-Where Auto-encoders -ICLR-2016
一、Abstract
提出一种新的autoencoder —- SWWAE(stacked what-where auto-encoders),更准确的说是一种 convolutional autoencoder,因为在CNN中的pooling处才有 “what-where。SWWAE呢,是一种整合了supervised,semi-supervised and unsupervised learning 的model(暂时不理解这是什么意思,感觉好厉害的样子## 标题 ##,先记着)。what-where最根本的作用是在decode中uppooling时,把value放到指定位置(encode时对应的pool层所记录的位置,即where),看图吧,一图胜千言
第一幅图说明了pooling 和unpooling的一一对应关系,以及what-where
第二幅图就是整个SWWAE的示意图
添加what-where的好处就是
SWWAE适用于 大量无标签数据+小量标签数据的情况
二、Key words:
SWWAE; reconstruction;encoder;decoder
三、Motivation
1.想整合平衡(leverage)labeled and unlabeled data 来学习更好的feature(representation)
四、main contributions
1.提供了一种可以 unified supervised,semi-supervised and unsupervised learning的model
2.提供一个当无标签样本多,有标签样本少时的一种训练模型(1 )
3.unsupervised learning 会学习一些 trivial representation ,加入 supervised loss 可以避免(3.2)
五、inspired by
- Yann LeCun, L ́ eon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998.
- Matthew D Zeiler, Dilip Krishnan, Graham W Taylor, and Robert Fergus. Deconvolutional networks. In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2528–2535. IEEE, 2010.
- Tom Le Paine, Pooya Khorrami, Wei Han, and Thomas S Huang. An analysis of unsupervised pre-training in light of recent advances. arXiv preprint arXiv:1412.6597, 2014.
key word:CNN; Deconvolutional network;regularization effect !
六、文献具体实验及结果
4.1 对比 upsampling(what but no where) andunpooling(what-where),实验证明 在 reconstruction过程中,“where”是很重要的七、 自己的感悟
4.2 实验没看明白,搞不懂 invariance and equivariance是什么鬼,留着以后看
4.3提高分类性能,说提高了MNIST,SVHN的分类性能
七、 自己的感悟
loss function = classification loss + reconstructions loss + middle reconstruction loss
总共三部分loss,第一部分loss就是我们平时supervised learning中常见的。而后面两个reconstruction loss 其实就是重构误差,即decode 与 code 之间的误差,这两部分loss相当于一个regularizer,对encoder阶段中的weights做了regularization,迫使weights可以使得提出的特征能通过decoder还原成原信号(图片)针对reconstruction 可以看作一个 regularizer,
2010年 Erhan就提到,但是证明不足以让人信服;
2014年 Paine分析regularization effect,可以追一追,看看是什么结构(e.g deconvnet?)提供了一个loss,这个loss对weights的更新起到某种限制,从而使得提取出的feature更好,这个可以作为一个研究方向按道理作者提出 where,应该开门见山就说 有了where的模型会怎么怎么样才对啊,但是从头一直找啊找,直到实验4.1,丢出图,给出结论,where 对reconstruction很重要,会更清晰。。。这种做法感觉怪怪的
可以追的paper 2014 Paine分析 regularization effect ;
deconvnet 及其 loss 方面,Matthew D Zeiler 大神的系列文章,一开始认识他是2013反卷积 Iamgenet2013冠军!
【文献阅读】Stacked What-Where Auto-encoders -ICLR-2016相关推荐
- 【预训练视觉-语言模型文献阅读】VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS(ICLR 2020)
[预训练视觉-语言模型文献阅读]VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS(ICLR 2020) 文章目录 ...
- 多模态机器学习入门——文献阅读(一)Multimodal Machine Learning: A Survey and Taxonomy
文章目录 说明 论文阅读 Abstract Introduction Introduction总结 Applications:A Historical Perspective 补充与总结 3 MULT ...
- 四位科研牛人介绍的文献阅读经验
每天保持读至少2-3 篇的文献的习惯.读文献有不同的读法,但最重要的自己总结概括这篇文献到底说了什么,否则就是白读,读的时候好像什么都明白,一合上就什么都不知道,这是读文献的大忌,既浪费时间,最 ...
- 最大熵模型(Maximum Entropy Model)文献阅读指南
最大熵模型(Maximum Entropy Model)是一种机器学习方法,在自然语言处理的许多领域(如词性标注.中文分词.句子边界识别.浅层句法分析及文本分类等)都有比较好的应用效果.张乐博士的最大 ...
- 条件随机场(Conditional random fields,CRFs)文献阅读指南
与最大熵模型相似,条件随机场(Conditional random fields,CRFs)是一种机器学习模型,在自然语言处理的许多领域(如词性标注.中文分词.命名实体识别等)都有比较好的应用效果.条 ...
- 文献阅读疑问(202010)
学习笔记,仅供参考 文章目录 文献阅读疑问 Unsupervised Deep Embedding for Clustering Analysis 文献阅读疑问 Unsupervised Deep E ...
- 那些文献阅读能力爆表的科研学子,都在偷偷做这件事……
对于广大科研学子来说,阅读文献这件事可谓是贯穿整个学术生涯,因为文献是了解现在所学专业的领域切入点,且做科研遇到难题时还可以在文献中寻找答案. 以及科研实验完毕后,若是准备发表论文,那么还得再看看文献 ...
- 知云文献翻译_工具推荐 | 知云学术翻译,让外文文献阅读不再难
点击上方蓝字"Edtshare"一起玩耍 想必大家都经历过阅读外文文献的痛苦吧:专有名词不会.嵌套从句不懂.好不容易单词和句子都看懂了,连起来在说啥又一头雾水.笔者曾经深受其苦,所 ...
- 文献阅读005【精读】
Markov Weight Fields for Face Sketch Synthesis 相关知识点:马尔可夫随机场(MRF) 1. Introduction 画像合成方法:MRF(Markov ...
- 知云文献翻译打不开_比有道更好用的英文文献阅读翻译神器免费啦
知云文献翻译软件免费啦!您扫下面二维码就就可以得到,不需转发朋友圈.不配一款神器,科研哪来效率!有了这款神器,科研都变得更简单! 用它直接打开英文pdf文献,随便选中一段话,右侧立即给出翻译,不再需要 ...
最新文章
- Xilinx IP解析之FIFO Generator v13.2
- java多线程启动BIO和NIO服务端同时启动接受图片和字符数据
- 评职称不需英语计算机的文件,《关于重申专业技术人员职称评定、职务聘任必须坚持外语、计算机条件的通知》……...
- Jsの练习-数组常用方法
- python中一切数据都是对象吗_python中的深拷贝(deepcopy)和浅拷贝(copy)
- OK335xS psplash Screen 移植
- spring容器创建bean对象的方式以及如何处理多个spring配置文件
- java jdbc连接字符串加密,Java JDBC连接数据库字符串大全
- Python进阶-----类的内置方法__getattribute__
- Let’s Encrypt 免费ssl加密
- Java零基础进阶教程分享,人手一套的javase实用视频教程
- ie升级后必须重启计算机吗,微软迟到的补丁:升级到IE9将无需重启计算机
- 打印机加粉通用模版:打开打印机、取出硒鼓,然后加粉
- 从达尔文到DevOps:John Willis和Gene Kim谈后凤凰项目时代
- matlab f检验,在Matlab中实现Levene方差齐性检验
- —— GPS测量原理及应用复习-5 ——
- 2021年下半年市场营销案例分析集锦
- 【连通域检测】基于形态学处理的连通区域检测matlab仿真
- asp.net 获取网页源文件的方法
- 微信小程序 获取用户的昵称和头像