网易云课堂吴恩达Andrew Ng深度学习笔记（四）

01.神经网络和深度学习

第四周深层神经网络

所谓深层神经网络，字面上对应于浅层神经网络，即具有2层及以上的隐藏层。

其正向传播过程一样，z[l] = w[l]a[l-1] + b[l], a[l] = g[l](z[l])

小技巧，用维度来检查计算过程，n是每一层的神经元个数。导数的维度不变。

如果只考虑单个数据，z和a的维度如下

，

对应上面的正向传播公式，可用维度检查[nl,1] = [nl,nl-1] * [nl-1,1] + [nl,1]

如果向量化后，把m个数据一次计算，Z和A维度如下

理论，深度网络其中深度的意义

深度代表抽象过程，以图像识别为例，逐层递进，从边界到局部特征（眼睛，鼻子）到面部组合。

又比如语言识别，从音素到音节到单词到语句。

从另一个角度出发，深层网络可以降低复杂度，不然需要更多的隐藏单元参与运算才能达到相同效果。

深层神经网络的正向与逆向传播，整体来说和2层神经网络的思路一样，只是递推过程增加了次数。

第一行先给出a[0]，即输入x，加上各层的w,b，逐个计算a[l]。保存z[l]

向量化后，公式如下

第二行从da[l]开始反向计算逐层计算导数，得到dw,db。更新w，b参数。

向量化后，公式为

da[l]是按照loss函数求导计算出来。

在最后一层为sigmoid的情况下，

超参数，hyperparameter

区别与神经网络中的parameter： w, b这两个直接影响算法计算的，还有其他会影响效果的参数称为超参数。

超参数对算法的影响也很重要，比如更新参数的学习率、梯度学习的循环次数、隐藏层的个数，神经元个数、激活函数的选择等等。实际上超参数会影响参数的计算，故称为“超”参数。

超参数的设定是一个经验过程，需要在一次次的试验中才能找到适合特点情况下的“最优”参数。

没有哪一种超参数可以适用所有情况，一切都是数据说话。比如loss函数的变化情况。

深度学习最早的说法神经网络，将其与大脑的进行类比。部分原因可能是基于下图，

输入到输出的变化，但实际上大脑对于人类还有太多太多的未知。

两者一个是数学计算公式，一个是生物电刺激传递。其实是很难进行比较的。

网易云课堂吴恩达Andrew Ng深度学习笔记（四）相关推荐

网易云课堂吴恩达Andrew Ng深度学习笔记（二）
01.神经网络和深度学习第二周神经网络基础先说明最简单的二分类,即可以把结果分为0和1两类,或者说是否两种的分类情况. 比如说判定图片中是否有猫,标记为有(1)或者无(0). 特征则是图片中像 ...
吴恩达 Andrew Ng深度学习deep learning.ai作业
这是作业的链接 https://blog.csdn.net/u013733326/article/details/79827273 感谢博主的分享
吴恩达《机器学习》学习笔记四——单变量线性回归（梯度下降法）代码
吴恩达<机器学习>学习笔记四--单变量线性回归(梯度下降法)代码一.问题介绍二.解决过程及代码讲解三.函数解释 1. pandas.read_csv()函数 2. DataFrame ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
文章目录 0三个目标 0先修课程要求基本工具 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习(Supervised Learning) 2- ...
吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
笔记 | 吴恩达Coursera Deep Learning学习笔记
向AI转型的程序员都关注了这个号☝☝☝ 作者:Lisa Song 微软总部云智能高级数据科学家,现居西雅图.具有多年机器学习和深度学习的应用经验,熟悉各种业务场景下机器学习和人工智能产品的需求分析.架 ...
新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
吴恩达deeplearning.ai深度学习课程空白作业
吴恩达deeplearning.ai深度学习课程的空白作业,包括深度学习微专业五门课程的全部空白编程作业,经多方整理而来.网上找来的作业好多都是已经被别人写过的,不便于自己练习,而且很多都缺失各种 ...

网易云课堂吴恩达Andrew Ng深度学习笔记（四）

网易云课堂吴恩达Andrew Ng深度学习笔记（四）相关推荐

最新文章

热门文章