为什么深度学习有效？（why deep learning works）

总述：这篇文章是一次听讲座，吴大鹏教授做的why deep learning works，佛罗里达大学教授，很有名。自己对该讲座做个理解。

一、深度学习的背景相关介绍

　　1、machine learning：一般的ml只针对线性分类，即只是一个linear methods。

　　2、neural networks：第二代神经网络，是对ml的一个发展，更好地非线性分类。通过BP算法，调参数，以误差和真实值为导向，修改一系列参数，让误差趋近于0，逼近真实值。但是一般的神经网络只能到3-5层，层数多了就不行了，高层的误差就不能传递到低层去了，在中间的时候，误差被消耗。（the gradient becomes smaller and smaller in lower layers in back propagation）

　　3、kernel method：第三代就是核函数，这里最出名的就是高斯核函数了，对第一代的Ml算法，都加上核函数，效果要好的多。

　　3.5、deep learning：dp只能是第3.5代，还不能算成第四代，因为对里面的数学原理现在还没发强有力的解释。

　　　　a）dl是基于多层的神经网络

　　　　b) 是依赖kernel 和线性化的

　　　　c)更高层次的抽像能够帮助抓住相关和不变的特征。capture relevant and invariant

二、why it works？

这涉及到微分几何里面的流行曲面。以人脸识别为例，一个人的各种表情，比如哭，笑，这些照片在多维空间里就组合成一个流行曲面，这是距离就不能用欧几何来算了。比如，从成都到北京，欧几何就是两点之间的距离，穿过地球，但是这时的距离应该是沿着地球表面经过的距离。

一系列的数学公式表示没看懂，大致的意思就是深度学习会将流行曲面的曲率降低，这样就便于分类。一个形象的例子就是卷心菜被展平，这样就好分类了。下图是一个结果图，用实验来证明曲率降低：

深度学习在训练的时候，先让数据自己学习一会儿，自己学习就会抓住一些不变量和数据本质特征，然后监督学习在高层发挥其效果。

先用deeping learning 展平，在用pca线性分类器

为什么深度学习有效？（why deep learning works）相关推荐

几何深度学习（Geometric Deep Learning）技术
几何深度学习(Geometric Deep Learning)技术几何深度学习综述从论文Geometric Deep Learning: Grids, Groups, Graphs, Geodes ...
深度学习加速器堆栈Deep Learning Accelerator Stack
深度学习加速器堆栈Deep Learning Accelerator Stack 通用张量加速器(VTA)是一种开放的.通用的.可定制的深度学习加速器,具有完整的基于TVM的编译器堆栈.设计了VTA来 ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
文章目录一.深度学习步骤回顾二.常规指导三.训练过程中Loss很大 3.1 原因1:模型过于简单 3.2 原因2:优化得不好 3.3 原因1 or 原因2 ? 四.训练过程Loss小.测试过程L ...
深度学习概述教程--Deep Learning Overview
引言深度学习,即Deep Learning,是一种学习算法(Learning algorithm),亦是人工智能领域的一个重要分支.从快速发展到实际应用,短短几年时间里, ...
贝叶斯深度学习（Bayesian Deep Learning）2020 最新研究总结
关注上方"肉眼品世界",选择星标, 作者丨Ziyue Wu@知乎来源丨https://zhuanlan.zhihu.com/p/283633149 编辑丨极市平台本文仅作学术分 ...
深度学习经典论文deep learning！入门必读！：deep learning yann lecun 深度学习
深度学习 YannLeCun, Yoshua Bengio & Geoffrey Hinton 深度学习能够让多层处理层组成的计算模型学习多级抽象的数据的表达.这些方法极大地提高了语音识别,视 ...
深度学习论文笔记-Deep Learning Face Representation from Predicting 10,000 Classes
来自:CVPR 2014 作者:Yi Sun ,Xiaogang Wang,Xiaoao Tang 题目:Deep Learning Face Representation from Predic ...
15.深度学习练习：Deep Learning Art: Neural Style Transfer
本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...
吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
最实用的深度学习教程 Practical Deep Learning For Coders (Kaggle 冠军 Jeremy Howard 亲授)
Jeremy Howard 在业界可谓大名鼎鼎.他是大数据竞赛平台 Kaggle 的前主席和首席科学家.他本人还是 Kaggle 的冠军选手.他是美国奇点大学(Singularity Universi ...

为什么深度学习有效？（why deep learning works）

为什么深度学习有效？（why deep learning works）相关推荐

最新文章

热门文章