吴立德教授深度学习课程笔记

复旦大学吴立德教授深度学习（Deep Learning）课程（http://www.youku.com/playlist_show/id_21508721.html），老先生讲得很细致，非常推荐。

直接利用Deep Neural Networks的问题：

以前机器学习的数据量不是很大（标记数据更少），而DNN待学习的参数非常的多（Andrew Ng在Google搞的那个有1.15billion个参数），这样就会出现严重的过拟合现象；我觉得这也是DNN之前没有像现在这样火的原因之一（难以训练，计算复杂度高等也是原因）。
层数多了以后，梯度下降的优化过程就变成非凸优化，比较容易陷入局部极值；（关于凸优化，非凸优化的区别可以参考http://hi.baidu.com/tuenmei/item/beedffa6714dce228819d329）
层数多以后，会出现梯度弥散（diffusion of gradients）的现象：梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小。具体而言，当使用反向传播方法计算导数的时候，随着网络的深度的增加，反向传播的梯度（从输出层到网络的最初几层）的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重的导数非常小。这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”（http://ufldl.stanford.edu/wiki/index.php/深度网络概览）。

针对以上问题，一些学者提出了可行的解法：

利用未标记的数据，提出自编码器（Auto Encoder，包括Forward Neural Networks，Restricted Boltzmann Machine），采用逐层学习的方式（layer-wise的pretraining）；
减少参数，提出CNN (Convolution Neural Networks)。

还有一个学习“深度学习”的网址，是Andrew Ng他们maintain的：http://deeplearning.stanford.edu/wiki/index.php/Main_Page

吴立德教授深度学习课程笔记相关推荐

复旦大学吴立德《深度学习》课程总结
对深度学习一直没找到系统的中文资料,在优酷找到了吴立德老师2013年开的深度学习课程视频.花三天简单看了一下,做一个简单总结,供没看过的人士参考要不要看及要看哪几集.此课程一共十四个课时视频地址:h ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...
吴恩达老师的机器学习和深度学习课程笔记打印版
注意:下载笔记.视频.代码:请点击"阅读原文" 我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在github上,下载后可以打印. 公布了深度学习笔记的word和ma ...
新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达深度学习笔记_Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达深度学习课程笔记（初步认识神经网络）
吴恩达深度学习课程笔记1 课程主要内容 1.神经网络与深度学习介绍 2.Improving Deep Neural Networks:超参数调整,正则化,优化方法 3.结构化机器学习工程:比如如何分割 ...
吴恩达深度学习课程笔记（四）：卷积神经网络2 实例探究
吴恩达深度学习课程笔记(四):卷积神经网络2 实例探究吴恩达深度学习课程笔记(四):卷积神经网络2 实例探究 2.1 为什么要进行实例探究 2.2 经典网络 LeNet-5 AlexNet VGG- ...
吴恩达深度学习课程笔记－3
吴恩达深度学习课程笔记-3 src="http://nbviewer.jupyter.org/github/HuaGuo1992/Blog/blob/master/%E5%90%B4%E6% ...
Deeplearning.ai深度学习课程笔记-在线版
注意:请点击阅读原文课程概述课程视频离线版本可以到github:https://github.com/fengdu78/deeplearning_ai_books 查找下载. 课程地址:https ...

吴立德教授深度学习课程笔记

吴立德教授深度学习课程笔记相关推荐

最新文章

热门文章