NIPS 2017 深度学习论文集锦 (5) 含部分代码
您可能感兴趣
本篇文章基于上述四篇,故论文编号沿用上四篇的编号
[81] Maximizing Subset Accuracy with Recurrent Neural Networks in Multi-label Classification
Jinseok Nam, Eneldo Loza Mencía,
Hyunwoo J. Kim, Johannes Fürnkranz
https://papers.nips.cc/paper/7125-maximizing-subset-accuracy-with-recurrent-neural-networks-in-multi-label-classification.pdf
多标签学习即为针对一个样本需要给出多个类别标签,通常利用分类器链类处理这种问题。这篇论文利用循环神经网络来代替分类器链,循环神经网络这种算法一般用于序列到序列的预测。循环神经网络相对分类器链的优势在于预测的类别子集小很多。另外,参数共享也可以更好的利用之前的决策。
网络结构如下
其中PCC全称为probabilistic classifier chain,MLC全称为multi-label
classification
数据集
http://www.daviddlewis.com/resources/testcollections/reuters21578/
http://bioasq.org
数据集汇总信息如下
实验结果如下
[82] AdaGAN: Boosting Generative Models
Ilya O. Tolstikhin, Sylvain Gelly, Olivier
Bousquet, Carl-Johann SIMON-
GABRIEL, Bernhard Schölkopf
https://papers.nips.cc/paper/7126-adagan-boosting-generative-models.pdf
GAN在训练生成式模型中比较有效,本文提出一种迭代过程,即AdaGAN,每一次迭代都会对样本重新加权。这种算法源于boosting和GAN,可以在一定程度上解决丢失模式的问题。
算法流程如下
代码地址
https://github.com/tolstikhin/adag
[83] Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference
Abhishek Kumar, Prasanna Sattigeri, Tom Fletcher
https://papers.nips.cc/paper/7137-semi-supervised-learning-with-gans-manifold-invariance-with-improved-inference.pdf
GAN比较适用于半监督学习算法。大部分基于GAN的算法利用判别器从假样本中判别真实样本,同时预测其类别。GAN的生成器可以较好地学习流形结构,本文将所学流形结构融入到分类器中。
各算法效果对比如下
[84] Approximation and Convergence Properties of Generative Adversarial
Learning
Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri
https://papers.nips.cc/paper/7138-approximation-and-convergence-properties-of-generative-adversarial-learning.pdf
GAN能够对数据分布进行近似,它能够联合优化生成器和判别器构成的目标函数。但是,判别器对近似效果的影响还没有很好地解决,何种情形下使得目标函数收敛到全局最小时目标分布也收敛也没有很好地解决。本文主要讨论GAN的近似性和收敛性分析。
[85] From Bayesian Sparsity to Gated Recurrent Nets
Hao He, Bo Xin, Satoshi Ikehata, David Wipf
https://papers.nips.cc/paper/7139-from-bayesian-sparsity-to-gated-recurrent-nets.pdf
本文利用贝叶斯算法来实现稀疏性,并将其跟门限循环神经网络结合起来。
网络结构如下
实验参数及结果如下
[86] What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?
Alex Kendall, Yarin Gal
https://papers.nips.cc/paper/7141-what-uncertainties-do-we-need-in-bayesian-deep-learning-for-computer-vision.pdf
本文研究了贝叶斯深度学习中的数据不确定性和模型不确定性。
两种不确定性示例如下
性能比较如下
[87] Gradient descent GAN optimization is locally stable
Vaishnavh Nagarajan, J. Zico Kolter
https://papers.nips.cc/paper/7142-gradient-descent-gan-optimization-is-locally-stable.pdf
这篇文章主要关于梯度下降GAN的平稳分析,针对梯度下降GAN提出了一种正则项,该正则项可以保证GAN和WGAN的局部稳定性,并且可以加速收敛过程。
效果如下
代码地址
https://github.com/locuslab/gradient_ regularized_gan
[88] Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks
Arash Vahdat
https://papers.nips.cc/paper/7143-toward-robustness-against-label-noise-in-training-deep-discriminative-neural-networks.pdf
这篇论文提出了基于深度卷积神经网络的新框架,可以基于带噪声标签的数据集学习数据标签并且可以对未见数据打标签。
算法流程如下
其中的式10 11 12 13具体表示如下
[89]Dualing GANs
Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel
https://papers.nips.cc/paper/7144-dualing-gans.pdf
这篇文章为了解决GAN的不稳定性提出了对偶GANs
效果对比如下
[90] Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model
Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong, Wang-chun WOO
https://papers.nips.cc/paper/7145-deep-learning-for-precipitation-nowcasting-a-benchmark-and-a-new-model.pdf
这篇文章提出了轨迹GRU,TrajGRU,用于降水短时预测。
相关网络结构ConvLSTM。
网络结构如下
TrajGRU跟普通的卷积RNN的结构对比如下
各算法效果对比如下
[91] Do Deep Neural Networks Suffer from Crowding?
Anna Volokitin, Gemma Roig, Tomaso A. Poggio
https://papers.nips.cc/paper/7146-do-deep-neural-networks-suffer-from-crowding.pdf
这篇文章讨论了如何应对聚集多个物体的情形。
三种网络结构示例如下
对应的三种pooling具体如下
代码地址
https://github.com/CBMM/eccentricity
[92] Imagination-Augmented Agents for Deep Reinforcement Learning
Sébastien Racanière et al.
https://papers.nips.cc/paper/7152-imagination-augmented-agents-for-deep-reinforcement-learning.pdf
这篇文章提出一种新的深度增强学习的框架,I2As,全称为Imagination-Augmented Agents
网络结构如下
其中Env model结构如下
各方法对比如下
[93] Improved Training of Wasserstein GANs
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron C. Courville
https://papers.nips.cc/paper/7159-improved-training-of-wasserstein-gans.pdf
这篇文章主要在于提高训练WGAN的稳定性,并且几乎没有超参数。
算法流程如下,其核心思想在于对梯度施加惩罚。
各模型效果对比如下
代码地址
https://github.com/igul222/improved_wgan_training
[94] Collaborative Deep Learning in Fixed Topology Networks
Zhanhong Jiang, Aditya Balu, Chinmay Hegde, Soumik Sarkar
https://papers.nips.cc/paper/7172-collaborative-deep-learning-in-fixed-topology-networks.pdf
这篇文章将CDSGD和CDMSGD用于固定拓扑网络中的协同深度学习,不仅可以数据并行,而且可以分散计算。
各优化方法对比如下
算法流程(伪代码)如下
[95] Fast-Slow Recurrent Neural
Networks
Asier Mujika, Florian Meier,
Angelika Steger
https://papers.nips.cc/paper/7173-fast-slow-recurrent-neural-networks.pdf
这篇文章提出一种新的RNN,FS-RNN,该网络结合了多尺度RNN和深度转移RNN,能够比较好的处理变长的序列数据。
网络结构示例如下
各模型效果对比如下
超参数设置如下
代码地址
https://github.com/amujika/Fast-Slow-LSTM.
[96] Learning Disentangled
Representations with Semi-Supervised Deep Generative Models
Siddharth Narayanaswamy, T. Brooks Paige, Jan-Willem van de Meent, Alban Desmaison, Noah Goodman, Pushmeet Kohli, Frank Wood, Philip Torr
https://papers.nips.cc/paper/7174-learning-disentangled-representations-with-semi-supervised-deep-generative-models.pdf
这篇文章关于变分自编码的半监督深度生成模型。
网络结构如下
代码地址
https://github.com/probtorch/probtorch.
[97] Exploring Generalization in Deep Learning
Behnam Neyshabur, Srinadh
Bhojanapalli, David Mcallester,
Nati Srebro
https://papers.nips.cc/paper/7176-exploring-generalization-in-deep-learning.pdf
这篇文章主要讨论深度学习中的泛化性。
[98] Recurrent Ladder Networks
Isabeau Prémont-Schwarz, Alexander
Ilin, Tele Hao, Antti Rasmus,
Rinu Boney, Harri Valpola
https://papers.nips.cc/paper/7182-recurrent-ladder-networks.pdf
这篇文章提出一种新的RNN。
网络结构如下
各方法对比如下
[99] Predictive State Recurrent Neural Networks
Carlton Downey, Ahmed Hefny, Byron Boots, Geoffrey J. Gordon, Boyue Li
https://papers.nips.cc/paper/7186-predictive-state-recurrent-neural-networks.pdf
这篇文章将RNN和预测状态表示结合,提出一种新的RNN,用于动力系统中的滤波和预测。
网络结构如下
相关代码
https://github.com/pytorch/examples/tree/master/word_language_model
[100] SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Maithra Raghu, Justin Gilmer, Jason Yosinski, Jascha Sohl-Dickstein
https://papers.nips.cc/paper/7188-svcca-singular-vector-canonical-correlation-analysis-for-deep-learning-dynamics-and-interpretability.pdf
这篇文章将奇异向量典型相关分析用于深度学习的解释性。
SVCCA示例如下
SVCCA流程如下
荐号 (长按->识别图中二维码->关注)
该公众号由清华,复旦,中科大多名研究生共同运营,主要更新AI顶会解读,pytorch编程,机器学习面试,大数据与量化投资相关内容,关注并回复python等可得大量学习资源。
荐号(长按->识别图中二维码->关注)
本公众号专注于机器学习(主要包含但不限于深度学习)相关知识分享,其中涉及自然语言处理以及图像处理前沿论文等,欢迎大家关注交流
NIPS 2017 深度学习论文集锦 (5) 含部分代码相关推荐
- Github标星24k,127篇经典论文下载,这份深度学习论文阅读路线图不容错过
作者 | Floodsung 翻译 | 黄海广 来源 | 机器学习初学者(ID:ai-start-com) [导读]如果你是深度学习领域的新手,那么你可能会遇到的第一个问题是"我应该从哪篇 ...
- 深度学习论文阅读路线图
https://www.toutiao.com/a6703859415763649031/ 作者:floodsun编译:ronghuaiyang 这是作者一年前整理的东西,有些最新的论文没有包含进去, ...
- 126篇殿堂级深度学习论文分类整理 从入门到应用 | 干货
如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:"论文那么多,从哪一篇读起?" 本文将试图解决这个问题 ...
- 126篇殿堂级深度学习论文分类整理 从入门到应用(上)
如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:"论文那么多,从哪一篇读起?" 本文将试图解决这个问题 ...
- 深度学习论文资源(截至2016年)
最近看到一篇不错的关于DL的论文索引(截止到2016年),内容质量还是很高的,都是些很经典的论文,值得一看,特此转载. 原文地址: http://www.dlworld.cn/YeJieDongTa ...
- [深度学习论文笔记]医学图像分割U型网络大合集
[深度学习论文笔记]医学图像分割U型网络大合集 2015 U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI ...
- (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用
126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货 雷锋网 作者: 三川 2017-03-02 18:40:00 查看源网址 阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行 ...
- 126篇殿堂级深度学习论文分类整理 从入门到应用
如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:"论文那么多,从哪一篇读起?" 本文将试图解决这个问题 ...
- 126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货
如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步.而作为新人,你的第一个问题或许是:" 论文那么多,从哪一篇读起?" 本文将试图解决这个问 ...
最新文章
- python小游戏代码大全-python贪吃蛇游戏代码
- 8 种方案解决重复提交问题!你选择哪一种呀?
- 设定printf在终端输出的颜色
- C语言侏儒排序Gnome sort 算法(附完整源码)
- 第一印象!游戏开始引导界面决定留存
- Jquery-基础知识点
- LmgORM项目: 介绍
- Andorid Scrolling Activity(CoordinatorLayout详情)
- Navicat for MySQL数据库管理工具
- 图像目标检测(Object Detection)原理与实现(二)
- ARP欺骗报文是这个样子的
- request之额外路径
- mysql判断后执行查询语句吗_如何看mysql执行的sql语句
- mysql 8.0 (ga)_MySQL 8.0.20 GA 发布
- 电脑打印机都正常,打印机无法打印
- 深入Bert实战(Pytorch)----WordPiece Embeddings
- Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Archit
- 淘宝修改密码可能引发手机骚扰
- 基于QT实现的计算器(只需要简单的栈知识,不仅仅是四则运算,接近手机内置计算器功能)
- linux和win10文件共享smb,Windows 10 Samba文件共享的设置方法,解决不能访问和密码错误的问题...