#论文《Towards Binary-Valued Gates for Robust LSTM Training》

前两周就看到这篇论文的微信号文章介绍了，今天有空拿出来看一下，梳理一下思想。

这个论文主要解决的是在LSTM中，发现记忆门和遗忘门的值的分布不够显著，和LSTM设计思想中想让门表示记忆或者遗忘的意思不太一致，所以论文作者提出了用一种方法（Gumbel- Softmax estimator）来对门中的阈值进行改进，从而让阈值更加显著的趋向0或者1，近似二值化。这样做有几个好处：

和设计遗忘门和记忆门的初衷更加符合，让记忆的就记住，遗忘的就忘掉。让这些门开就是开，关就是关，而不是所有门都模模糊糊的在中间值附近游荡。
0-1化的模型参数，更容易压缩。
泛化能力更强。

作者验证了门的输出对于输入值不敏感，可以通过low-rank approximation and low-precision approximation对数据进行压缩，压缩后得到的模型的性能没有下降，反而更加鲁棒和更有泛化性。

下面是直观的表示，是否二值化前后的门中的值的数据分布对比，可以看出，确实更加显著的向两端分化了。

最主要要学习的思想，还是验证假设的思想。在LSTM中，对遗忘门和记忆门的假设，去真正看下门内的值的分布，从而去探究模型内部是否有问题，然后才想办法去纠正这个问题，查看是否会有提升。

#论文《Towards Binary-Valued Gates for Robust LSTM Training》相关推荐

经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现论文 ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
《ImageNet Classification with Deep Convolutional Neural Networks》翻译
1 引言 2 数据集 3 架构 3.1 ReLU 非线性 3.2 训练多个GPU 3.3 局部响应归一化 3.4 重叠池化 3.5 整体架构 4 减少过拟合 4.1 数据增强 4.2 Dropout ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (2/3)
文章目录 3. The Architecture 3.1. ReLU Nonlinearity 3.2. Training on Multiple GPUs 3.3. Local Response N ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (3/3)
文章目录 6. Results 6.1. Qualitative Evaluations 7. Discussion References 6. Results Our results on ILSV ...

#论文《Towards Binary-Valued Gates for Robust LSTM Training》

#论文《Towards Binary-Valued Gates for Robust LSTM Training》相关推荐

最新文章

热门文章

#论文 《Towards Binary-Valued Gates for Robust LSTM Training》

#论文 《Towards Binary-Valued Gates for Robust LSTM Training》相关推荐

最新文章

热门文章

#论文《Towards Binary-Valued Gates for Robust LSTM Training》

#论文《Towards Binary-Valued Gates for Robust LSTM Training》相关推荐