「深度神经网络」（deepamp;nbs…

原文地址：「深度神经网络」（deep neural network）具体是怎样工作的作者：dengyafeng

转发自知乎：

http://www.zhihu.com/question/19833708?group_id=15019075#1657279

由于作者匿名，只好默默感谢了。

多层的好处是可以用较少的参数表示复杂的函数。
在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。但是很多任务难以得到足够多的标记样本，在这种情况下，简单的模型，比如线性回归或者决策树往往能得到比多层神经网络更好的结果（更好的泛化性，更差的训练误差）。
非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角；而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。

2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是
1，首先逐层构建单层神经元，这样每次都是训练一个单层网络。
2，当所有层训练完后，hinton使用wake-sleep算法进行调优。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于”认知“，向下的权重用于”生成“。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。
2.1，wake阶段，认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想像的不一样，改变我的权重使得我想像的东西就是这样的“。
2.2，sleep阶段，生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念“。

由于自动编码器（auto-encoder，即上面说的神经网络。广义上的自动编码器指所有的从低级表示得到高级表示，并能从高级表示生成低级表示的近似的结构，狭义上指的是其中的一种，谷歌的猫脸识别用的）有联想功能，也就是缺失部分输入也能得到正确的编码，所以上面说的算法也可以用于有监督学习，训练时 y做为顶层网络输入的补充，应用时顶层网络生成y'。

「深度神经网络」（deepamp;nbs…相关推荐

python深度神经网络量化_「深度神经网络」（deep neural network）具体是怎样工作的？...
本文将从深度神经网络本质的视角解释其黑盒特性.这篇解读来源于CVPR2017一篇Oral的文章,作者希望通过寻找到网络中间层与一些语义概念的对应关系,从而实现对于CNN网络潜在的表达能力的定量化分析, ...
「深度神经网络」（deep neural network）具体是怎样工作的
何晓宁,机器学习/信息检索乔海军.杨炎其.知乎用户等人赞同多层的好处是可以用较少的参数表示复杂的函数. 在监督学习中,以前的多层神经网络的问题是容易陷入局部极值点.如果训练样本足够充分覆盖未来的 ...
神经网络如何「动」起来？| 「动态神经网络」的六大待解难题
[栏目:关键问题]近年来我们不断见证了越来越强大的神经网络模型,如 AlexNet,VGG,GoogleNet,ResNet,DenseNet 以及最近大火的 Transformer 等. 这些神经网 ...
NeurIPS 2020有哪些值得读的「图神经网络」论文？
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考.在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果.如果你也希望让自己的科研成果被更多人看到, ...
全文详解：「深度学习」如何协助处理医疗中的「数据难题」
原文来源:WordPress 作者:Luke Oakden-Rayner 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 医疗数据很难处理. 在医学成像中,数据存储(档案)是基于临床假设进行操 ...
用AI「复活」逝者：「深度怀旧」项目火遍推特，我们也用民国老照片试了下 #蚂蚁呀嘿
转载自:机器之心最终,我们或许能让那些过去的人们,「亲自」为我们讲述他们自己的故事. 最近几个星期,一股由 AI 引发的「动起来」趋势席卷全网,各种让照片变视频的动画不时出现在各大社交网络的时间线上 ...
Amazon 首席科学家李沐亲授「深度学习」，2019 AI ProCon震撼来袭！（日程出炉）...
2019年9月5-7日,面向AI技术人的年度盛会-- 2019 AI开发者大会 AI ProCon,火热来袭! 继2018 年由CSDN成功举办AI 开发者大会一年之后,全球AI市场正发生着巨大的变 ...
「深度解读」为什么连Google也无法阻挡垂直行业SaaS的浪潮
Ephemeralization 一词由美国哲学家 Buckminster Fuller 在1938年提出,用以陈述科技的趋势让你可以"用越来越少的东西做越来越多的事情,而最终,你可以不需任 ...
「深度剖析」程序员因为奇葩需求暴打pm，然后被双双开除
想必大家都听说了,这两天关于中国平安一个产品经理因奇葩需求和程序员爆发肢体冲突的事件在朋友圈被刷屏,更有现场打架视频在技术群里疯传. 在这里先带大家简单文字回顾下事情经过,N次打架视频和截图就不给大家 ...

「深度神经网络」（deepamp;nbs…

「深度神经网络」（deepamp;nbs…相关推荐

最新文章

热门文章