Week 4

4-1深层神经网络

这是我们之前学过的逻辑回归和单隐藏层神经网络，如今我们要接触更深的神经网络，比如下图的双隐藏层神经网络和五层的神经网络：

首先，我们对深层神经网络进行一个符号约定：

4-2深层网络中的前向传播

首先这是一个深层的网络：

深层网络的前向传播用符号表示其实就是两部分：其中小写的l代表的是第几层

接着是向量化：

4-3核对矩阵的维数

当我们实现深度神经网络的时候，我们常用的一个检查代码是否存在错误的办法就是：用纸过一遍算法中矩阵的维数！

接下来是参数维数的总结：

4-4为什么使用深层表示

为什么神经网络好用？

举例：当你在构建一个人脸识别系统时，当你输入一张脸部的照片，然后把神经网络的第一层当成一个特征探测器或者说是边缘探测器。接着就能够提取到一些特征，然后将这些特征组合在一起。

当然，神经网络不是越深越好，具体情况具体分析。

4-5搭建深层神经网络块

网络的每一层都对应着前向传播和反向传播：

4-6前向传播和反向传播

前向传播的输入与输出：

向量化之后：

反向传播的输入与输出：

向量化之后：

4-7参数和超参数

想要深度神经网络起到很好的效果，还需要规划好参数，以及超参数。也许会问，什么是超参数呢？别急，我们先看看参数有哪些。这些就是参数：

当然，在学习算法的时候还需要有其他的参数，需要学习到算法中，比如学习率、梯度下降算法循环的的数量、隐层数、隐藏单元、激活函数……这些数字都需要自己来设置，而这些数字就控制了最后参数W和b的值。所以以上这几种就是超参数！（当然还有其他的超参数：如mini_batch、等）

吴恩达神经网络和深度学习——第四周笔记相关推荐

吴恩达神经网络和深度学习——第二周笔记
Week2 目录 Week2 2-1二分分类 2.2logistic regression 2.3logistic回归的成本函数 2.4梯度下降 2.5.2.6均是高等数学中求导数的方法 2.7.2. ...
吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络深度神经网络符号前向传播矩阵维度 m个样本为什么使用深层表示搭建深层神经网络块正向传播和反向传播前向和反向传播前向传播反向传播参数和超参数 ...
吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络神经网络概述神经网络表示计算神经网络的输出 m个样本的向量化 for loop 向量化向量化实现的解释激活函数 sigmoid tanh函数 ReLu ...
吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸介绍直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...

吴恩达神经网络和深度学习——第四周笔记