Acknowledge

首先致敬

Lecun Y, Bengio Y, Hinton G E, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

卷积的定义

在学习视频追踪时，我接触了孪生网络（Siamese Networks）与互相关（Cross-Correlation）的定义，对卷积有了新的认识。

Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[C]//European conference on computer vision. The 14th European Conference on Computer Vision. Springer, Cham, 2016: 850-865.

卷积是分析数学中一种重要的运算，可以看成一种相关度计算，其公式如下
(f⋆g)(n)=∫−∞+∞f(τ)g(n−τ)dτ，(f \star g)(n) = \int^{+\infty}_{-\infty} f(\tau)g(n-\tau)d\tau， (f⋆g)(n)=∫−∞+∞f(τ)g(n−τ)dτ，
可以进一步参考如何通俗易懂地解释卷积？ - 马同学的回答 - 知乎、归一化交叉相关Normalization cross correlation (NCC)。

把卷积看成相关度计算，会出现一些有趣的视角。我们先来看一个感知机的例子，

先抛开梯度下降法等一系列训练算法，我们来思考人是如何寻找分类超平面的？我们人工选取点(5,5)(5, 5)(5,5)作为正例的模板，对输入(x1,x2)(x_1, x_2)(x1,x2)做卷积运算，有5x1+5x25x_1 + 5x_25x1+5x2，然后选取252525作为激活阈值，有5x1+5x2−255x_1 + 5x_2 - 255x1+5x2−25，即分类超平面为x1+x2−5=0x_1 + x_2 - 5=0x1+x2−5=0，恰巧就是梯度下降法学习出来的分类超平面。

神经网络模型

我们从感知机来到神经网络，隐含层的一个神经元其对应的权重（卷积核）可以想象成一个模板，例如，对于1幅图片，我们人工设定猫、狗、花、草等nnn个模板，经过卷积运算和非线性函数运算后，可以得到一个类似(0.8,0.6,0.01,0.2)(0.8, 0.6, 0.01, 0.2)(0.8,0.6,0.01,0.2)的特征向量，在此基础上，我们再人工设定一个模板(1,1,0,0)(1, 1, 0, 0)(1,1,0,0)与合适激活阈值，可分辨输入图片是动物还是植物。网络层数的增多使得低层特征可以组合成更合适的高层特征，我们把模板想象成一条人工规则，再结合决策树可完美地拟合训练数据这一点，可以得出一个有趣的结论，理论上存在一个合适的网络结构，可完美地拟合训练数据。

非线性分类也可以这样子思考，第一层隐含层制定4条规则，规则1下方归为正类，规则2上方归为正类，规则3右方归为正类，规则4左方归为正类，第二层隐含层制定2条规则，（正正正正）为最终正类，（负负负负）为最终负类。Deep Learning一文中出现micro-rules一词。

梯度下降法（gradient descent ）使得模型可自适应学习这些模板，而无需人工预设（一些现成的滤波器需要较强的先验知识或领域专家知识）。注意LeNet5的论文名是Gradient-Based Learning Appliedto Document Recognition，感兴趣的读者可以阅读这篇论文，然后阅读Nature上的Deep Learning。之前神经网络不流行，一个令人担忧的点是梯度下降法可能会导出局部最优值，这一点LeCun在Deep Learning一文中进行了探讨，该点貌似不怎么起负面影响。

卷积神经网络

全连接神经网络容易引发过拟合问题，举个例子，对1幅图片，若第一层隐含层模板与图片大小一样，图片中目标物较小，由于背景因素的干扰，模板与图片的卷积运算可能会得到一个不合适的特征数值。

卷积神经网络（convolutional neural network，CNN）采用卷积核来缓解该问题，卷积核关注局部视野，其权重共享特性与池化层相结合可减少模型参数量，使得模型更容易训练，而交由网络层数的增加来组合合适的高层特征（local combinations of edges form motifs, motifs assemble into parts, and parts form object）。另一方面，1幅图片中相同小斑纹可能多次出现在不同位置，卷积核的引入也显得更为合理，而池化层则增加了平移不变性等。有兴趣的读者请仔细阅读LeNet5原文以及Deep Learning一文。

循环神经网络

直接推荐一文搞懂RNN（循环神经网络）基础篇、零基础入门深度学习(5) - 循环神经网络这2篇文章。

总结

深度学习并没有那么玄乎，LeCun也在Deep Learning中提到

With multiple non-linear layers, say a depth of 5 to 20, a system can implement extremely intricate functions of its inputs that are simultaneously sensitive to minute details and insensitive to large irrelevant variations such as the background, pose, lighting and surrounding objects.

这里的deep，我个人理解为，梯度下降法使得模型可以更深入地学习抽象特征提取器，而不是简单的网络层数增多。

总之，非常推荐静心地认真阅读原文，而不是浮躁地看待深度学习，对模型进行“魔改”。

Unsupervised learning had a catalytic effect in reviving interest in deep learning, but has since been overshadowed by the successes of purely supervised learning. Although we have not focused on it in this Review, we expect unsupervised learning to become far more important in the longer term. Human and animal learning is largely unsupervised: we discover the structure of the world by observing it, not by being told the name of every object.

再次致敬深度学习先驱。

LeCun-Nature-Deep Learning论文阅读笔记相关推荐

华为又开始放大招了？CV新架构：VanillaNet: the Power of Minimalism in Deep Learning 论文阅读笔记
华为又开始放大招了?CV新架构:VanillaNet: the Power of Minimalism in Deep Learning 论文阅读笔记一.Abstract 二.引言三.单个 Van ...
cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
这篇论文主要讨论如何针对CNN做一些GPU矩阵计算的优化.传统CNN计算主要开销是在convolutions, activation function, pooling. 首先,我们看convolut ...
GRAIL Efficient Time Series Representation Learning论文阅读笔记（三）
GRAIL Efficient Time Series Representation Learning 有效的时间序列表示学习作者芝加哥大学的John Paparrizos和Michael J. ...
A Survey on Transfer Learning 论文阅读笔记与总结
一.引入第一作者:Sinno Jialin Pan,南洋理工大学副教授,中大数学学士.硕士,香港科技大学博士,研究方向:迁移学习期刊:IEEE TRANSACTIONS ON KNOWLEDGE ...
GRAIL Efficient Time Series Representation Learning论文阅读笔记（二）
GRAIL Efficient Time Series Representation Learning 有效的时间序列表示学习作者芝加哥大学的John Paparrizos和Michael J. ...
GRAIL Efficient Time Series Representation Learning论文阅读笔记（一）
GRAIL Efficient Time Series Representation Learning 有效的时间序列表示学习作者芝加哥大学的John Paparrizos和Michael J. ...
【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer
摘要: 本文主要研究训练和测试类别不相交时(即没有目标类别的训练示例)的对象分类问题.在此之前并没有对于毫无关联的训练集和测试集进行对象检测的工作,只是对训练集所包含的样本进行分类.实验表明,通过使用 ...
论文阅读笔记：Improving Attacks on Speck32 / 64 using Deep Learning
论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...
Deep Learning论文笔记之（六）Multi-Stage多级架构分析
Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些 ...

LeCun-Nature-Deep Learning论文阅读笔记

目录