一、Abstract

从近期对unsupervised learning 的研究得到启发，在large-scale setting 上，本文把unsupervised learning 与supervised learning结合起来，提高了supervised learning的性能。主要是把autoencoder与CNN结合起来

二、Key words:

SAE;SWWAE; reconstruction；encoder；decoder;VGG-16;Alex-Net

三、 Motivation

1. reconstruction loss 很有用，reconstruction loss可以看作一个regularizer（SWWAE文中提到）.
2. unsupervised learning会对model起一定的限定作用，即相当于一个regularizer，这个regularizer使得encoder阶段提取得到的特征具有可解释性

四、Main contributions

1. 本文实验表明了，high-capacity neural networks（采用了known switches）的 intermediate activations 可以保存input的大量信息，除了部分
   2.通过结合decoder pathway 的loss，提升了supervised learning model的分类正确率
   3.做了几个 autoencoder模型的对比实验，发现： the pooling switches and the layer-wise reconstruction loss 非常重要！

五、Inspired by

1. Zhao, J., Mathieu, M., Goroshin, R., and Lecun, Y. Stacked what-where auto-encoders. ArXiv:1506.02351, 2015.
2. Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. In ICLR,2015.
3. Krizhevsky, A., Sutskever, I., and Hinton, G. E. Imagenet classification with deep convolutional neural networks.In NIPS, 2012.
   Rasmus, A., Valpola, H., Honkala, M., Berglund, M., and Raiko, T. Semi-supervised learning with ladder network.In NIPS, 2015.
4. Adaptive deconvolutional networks for mid and high level feature learning
5. Zeiler, M. D., Krishnan, D., Taylor, G. W., and Fergus, R. Deconvolutional networks. CVPR, 2010.
6. Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolu-tional networks for mid and high level feature learning.In ICCV, 2011.

key word:SWWAE;VGG-16;Alex-Net;ladder-Net；Deconvolutional network

六、文献具体实验及结果

1.SAE-all模型的训练：
第一步，采用VGG-16（训练好的VGG-16）初始化encoder，采用gaussian初始化decoder
第二步，固定encoder部分，用layerwise的方法训练decoder
第三步，用数据整体的训练更新decoder和encoder的参数

SAE-first模型的训练同SAE-all

SAE-layerwise一般只是拿来初始化 SAE-first SAE-all

SWWAE-all 提升了 1.66 % and 1.18% for single-crop and convolution schemes.
(top-1)

七、 感悟

1. 2006～2010年期间， unsupervised learning 盛行是以为当时有标签数据不够大，所以需要用unsupervised leanring 的方法来初始化网络，可以取得较好效果，而 类似imagenet这样的大量标签数据的出现， 用autoencoder来初始化网络的优势已经没有。从这里也可以知道，当数据量较小时，可以考虑用unsupervised learning 的方法来初始化网络，从而提升分类准确率
2. reconstruction loss 可以看作 regularization , 即是对enconder的weights做了一些限制，限制其获得的activations要能recon出input，是的提取得到的特征具有可解释性

【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016相关推荐

1. 文献阅读：Improving neural networks by preventing co-adaptation of feature detectors

   文献阅读:Improving neural networks by preventing co-adaptation of feature detectors ----通过防止特征检测器的共适应以改进 ...

2. 【文献阅读】Self-Normalizing Neural Networks

   Self-Normalizing Neural Networks ,长达93页的附录足以成为吸睛的地方(给人感觉很厉害), 此paper提出了新的激活函数,称之为 SELUs ,其具有normaliz ...

3. [文献阅读]A deep neural network for unsupervised anomaly detection and diagnosis in MTSD

   A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series D ...

4. 文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

   文献阅读:SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内 ...

5. 论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点：利用迁移学习三个网络常规化进行分类

   论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 摘要:我们探讨了迁移学习的重要性,并通过实验确定了在训练 ...

6. [论文阅读笔记]Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images

   Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images(CVPR201 ...

7. 【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15

   <Deep Neural Networks for Learning Graph Representations>- (AAAI-16)-2016 文章目录 一.模型 1.1解决了两个问题 ...

8. 论文阅读：Recurrent Neural Networks for Time Series Forecasting Current Status and Future Directions

   typora-copy-images-to: ./ Recurrent Neural Networks for Time Series Forecasting: Current Status and ...

9. 论文阅读：Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类

   Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类 目录 Convolutional Neural Networ ...

最新文章

1. Java 专业人士必备的书籍和网站列表
2. 【算法学习笔记】43.动态规划 逆向思维 SJTU OJ 1012 增长率问题
3. djanjo 使用a标签跳转_django页面跳转怎么写
4. 大数据工作流_大数据和人工智能时代下的数字化工作流
5. 织梦文章添加字段填栏目id，内容页调用字段里的栏目文章
6. （待定系数法）A/B
7. C/C++网络编程工作笔记0004---socket()函数详解
8. Neutron的SDN化
9. 2016 网易校招内推C/C++第二场8.6
10. 【VMware vSAN 7.0】5.4.2 创建 vSAN 集群—我们有软硬件解决方案
11. 【无标题】红外人脸数据集
12. 为什么要用用例图 用例图是什么 用例图怎么画 用例图有哪些元素
13. [笑话]让古龙看了要痛哭的高考作文（作品相当强，但得了零分，据说被破格入取了）！！！...
14. UWB技术的工作原理
15. CentOS利用WebHook实现PHP自动部署Git代码
16. 获取股票历史数据——数据采集（1）
17. [句子成分] 四、状语 定语 同位语
18. Spring源码分析系列——bean创建过程分析（三）——工厂方法创建bean
19. 天龙 - Terrain
20. 领域驱动设计（DDD）

热门文章

1. AndroidUI高级之十六使用Intent进行通信
2. 《C++ Primer Plus》14.2 私有继承 学习笔记
3. 王立平--android事件监听的3种方式
4. 另一个串口verilog 代码
5. String类型转换的三种方法分析
6. 实战OO设计——类的关系：依赖、关联、聚合和组合
7. java txt 写入pdf_java学习笔记 读取pdf文件并写成txt文件输出
8. 浅谈Spring中JDK动态代理与CGLIB动态代理
9. 洛谷P1258 小车问题（题解）
10. CodeForces - 1013B And 与运算暴力