https://blog.csdn.net/tiandijun/article/details/25192155

近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这系列博客总结了深度学习的博客，原理等资料，供大家学习讨论。

一、深度学习资料整理（博客类）

二、深度学习资料整理（文章类）

三、深度学习资料整理（软件资源）

四、深度学习原理（关键技术总结，斯坦福大学UFLDL教程）

五、深度学习资料整理（深度神经网络理解）

六、深度学习资料整理（压缩感知）

七、深度学习资料整理（从感知机到深度网络）

八、深度学习资料整理（源码）

9， Deep Learning

10 手把手教你从零到一搭建深度学习项目（附PDF下载）

深度就是隐层多，多层的好处是可以用较少的参数表示复杂的函数。

在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。

实际情况下面对多任务难以得到足够多的标记样本，此时，简单的模型如线性回归或者决策树往往能得到比多层神经网络更好的结果（更好的泛化性，更差的训练误差）。

非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线、三角；而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。如果对所有的层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。

2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，分为两步：

1）逐层构建单层神经元，每次训练一层网络。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。

2）当所有的层训练完后，用wake-sleep算法进行调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像（向上的权重用于“认知”，向下的权重用于“生成”）。

Wake-Sleep算法分为两个部分：

a.wake阶段，认知过程。通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是：“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。

b.sleep阶段，生成过程。通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是：“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。

自动编码器（auto-encoder）即上面说的神经网络，广义上的自动编码器指所有的从低级表示得到高级表示，并能从高级表示生成低级表示的近似的结构；狭义上指其中的一种（谷歌的猫脸识别用的），有联想功能，也就是缺失部分输入也能得到正确的编码。

所以以上算法也可以用于有监督学习，训练时y作为顶层网络输入的补充，应用时顶层网络生成y'。

Deeplearning in Wiki：http://en.wikipedia.org/wiki/Deep_learning

深度学习资料整理（深度神经网络理解）相关推荐

深度学习资料整理（软件资源）
近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破,是一大研究热点,里面涉及的数学理论和应用技术很值得深入研究,这系列博客总结了深度学习的博客,原理等资料,供大家学习讨论. 一 ...
机器学习和深度学习资料整理
理论入门(里面的程序有些问题,但理论讲得挺好的) https://www.zybuluo.com/hanbingtao/note/476663 tensorflow编程入门 https://githu ...
深入理解吴恩达老师深度学习课程（01神经网络和深度学习第二周）
深入理解吴恩达深度学习(01神经网络和深度学习第二周) 1引言 2.1 二分类(Binary Classification) 2.1.1 符号定义(视频给出的) 2.2 逻辑回归(Logistic ...
人工智能：深度学习算法及应用——简单理解CNN卷积神经网络并python实现（带源码）
深度学习算法及应用一. 实验目的二. 实验要求三. 实验的硬件.软件平台四. 实验原理 1.1. 深度学习概述 1.2. 深度学习的常见结构 1.3. 卷积神经网络(CNN) **卷积** * ...
机器学习、深度学习资料推荐
算法的学习,应该做到各个模型之间能够打通,明白其背后数学原理的联系性和统一性.才能真正登堂入室.而不是做一个"调参侠". 不同的学习资料之间,符号的表达可能各异.看多了,自然就通了 ...
机器学习和深度学习资料汇总【02】
<Image Scaling using Deep Convolutional Neural Networks> 介绍:使用卷积神经网络的图像缩放. <Proceedings of ...
深度学习100问之深入理解Regularization（正则化）
声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还 ...
机器学习/深度学习资料（持续更新)
机器学习/深度学习资料(持续更新) 这篇博文,收集一些机器学习/深度学习的资料,以及学习路径. 学习资料基础学习高等数学:https://zhuanlan.zhihu.com/matongxue ...
转：深度学习课程及深度学习公开课资源整理
http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%AF%BE%E7%A8%8B%E6%B7%B1%E5%BA%A6%E5%AD%A ...
深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-03-基于Python的LeNet之LR
原地址可以查看更多信息本文主要参考于:Classifying MNIST digits using Logistic Regression python源代码(GitHub下载 CSDN免费下载) ...

深度学习资料整理（深度神经网络理解）

https://blog.csdn.net/tiandijun/article/details/25192155

深度学习资料整理（深度神经网络理解）相关推荐

最新文章

热门文章