第08课：深层神经网络（DNN）

上一篇是实战内容，我们使用 Python 一步步搭建了一个最简单的神经网络模型，只包含单层隐藏层。并使用这个简单模型对非线性可分的样本集进行分类，最终得到了不错的分类效果。本文将继续从深度神经网络入手，介绍深层神经网络的数学原理和推导过程。

神经网络为什么要深？

我们都知道神经网络能处理很多问题，而且效果显著。其强大能力主要源自神经网络足够“深”，也就是说网络层数越多，神经网络就更加复杂，处理数据的能力越强，模型就越具有强大的学习能力。这符合我们直观的理解。下面通过两个例子来解释其中内在的原因。

首先来看神经网络在图像处理、人脸识别领域的应用。神经网络的输入是一张图片，从计算机角度来看，接收的是一个一个像素值。神经网络的第一层主要是从原始图片中提取一些边缘信息，例如面部的水平、垂直边缘。这样每个神经元做的事是边缘检测。然后，神经网络的第二层是将前一层得到的边缘信息进行整合，提取出面部的一些局部特征，例如眼睛、鼻子、嘴巴等等。之后，神经网络更深，提取的特征更加复杂，从模糊到细节、从局部到整体。可见，如果隐藏层足够多，那么能够提取的特征就越丰富、越复杂，模型的准确率就会越高。

下图是一个人类识别的例子，随着网络层数加深，隐藏层提取的特征也逐渐变得复杂。

语音识别神经网络模型也是一样，浅层的神经元能检测出简单的音调，随着网络层数加深，神经元还能检测出基本的音素、单词信息，甚至对短语和句子进行检测。提取的特征由简单到复杂，功能也越来越强大。

第08课：深层神经网络（DNN）相关推荐

深度学习笔记第二门课改善深层神经网络第一周：深度学习的实践层面
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记第一门课第四周：深层神经网络
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
吴恩达deeplearning.ai系列课程笔记+编程作业(6)第二课改善深层神经网络-第二周：优化算法 (Optimization algorithms)
第二门课改善深层神经网络:超参数调试.正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and ...
吴恩达Coursera深度学习课程 course1-week4 深层神经网络作业
P0 前言第一门课 : 神经网络与深度学习第四周 : Deep Neural Networks(深层神经网络) 主要知识点 : 深度神经网络.DNN的前向和反向传播(Forward & B ...
深度学习之手撕深度神经网络DNN代码（基于numpy）
声明 1)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 2)博主才疏学浅,文中如有不当之处,请各位指出,共同进步,谢 ...
4.1 深层神经网络-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.12 总结习题回到目录 4.2 深层网络中的前向传播深层神经网络 (Deep L-layer Neural Network) 目前为止我们学习了只有一个单独隐藏层的神 ...
0.0 目录-深度学习第一课《神经网络与深度学习》-Stanford吴恩达教授
文章目录第五课第四课第三课第二课第一课第五课 <序列模型> 笔记列表 Week 1 循环序列模型 Week 1 传送门 -> 1.1 为什么选择序列模型 1.2 数学符号 ...
吴恩达《神经网络与深度学习》精炼笔记（5）-- 深层神经网络
上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参 ...
Coursera吴恩达《神经网络与深度学习》课程笔记（5）-- 深层神经网络
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传 ...

第08课：深层神经网络（DNN）

神经网络为什么要深？

第08课：深层神经网络（DNN）相关推荐

最新文章

热门文章