吴恩达深度学习一：神经网络

2024-04-30 07:54:44

三种典型神经网络

standard NN :
传统神经网络解决一般问题

卷积神经网络 convolutional NN :
CNN 网络适用于图像

循环神经网络 Recurrent NN
适用于一维时间序列

监督学习的数据

结构化数据
非结构数据

数据量对传统机器学习和深度学习的驱动力

lost函数和cost函数

cost函数是loss函数在全体样本上的一种集中体现
比如平均损失。

反向传播更新参数

如果中间有倒数趋近于0 这个更新公式就很困难了

第二周课程总结

神经元节点计算对象：线性函数和激活函数

第三周课程

神经网络就是单个的神经元的组合连接

神经网络层的表示

第一层：输入层 input layer
中间层：隐藏层 hidden layer
最后一层：输出层 output layer
每一层的数量是随意自由的，中间层可以有很多层
中间层w一般是矩阵，b是向量

激活函数

不同层的激活函数可以不一样
激活函数种类：
sigmoid函数
tanh函数
这两个函数的确定是当z的值很大或者很小，其梯度会很小

可以求导看以下，也可以看函数图像得知。

rule激活函数

隐藏层比较适合使用relu函数和tanh函数作为激活函数
sigmoid函数尽量只用在二分类问题的输出层
带泄露的激活函数也可以尝试

为什么要用非线性激活函数

不使用非线性函数，则输出到输入的映射变成了线性映射
激活函数实现了非线性映射

激活函数的导数

sigmoid函数的导数
这个推到对于程序很有用 a(1-a)就是导数值

tanh函数的导数

relu函数和leaf rule的导数：

神经网络的梯度下降法

关于上面dz = A - Y的表示

看上面的求导公式

初始化问题注意

不能把参数全部初始化相同，用随机函数初始化

第三周总结

神经网络步骤
第一：正向计算输出
第二：计算误差代价
第三：最小化代价求得参数变化的方向
第四：更新参数
第五：循环一到四，四个步骤

第四周

深度神经网络的核矩阵

深度神经网络架构

当有m个样本时，把1换成m就可以了

为什么要用深度网络

可以让每一层干尽量简单的事情
最后完成一件复杂的事情

较深的网络能力可以替代较浅的但是很多节点的网络

深度神经网络前馈和后馈的形象表示

前馈网络和后馈网络的实现

什么是超参数

w b是神经网络的固有参数，自己调整
但是学习率迭代次数隐藏层等就是属于超参数
超参数在某种程度上决定了参数的值

吴恩达深度学习一：神经网络相关推荐

【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（下）——深度神经网络用于图像分类：应用
在阅读这篇文章之前,请您先阅读:[深度学习]吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程(上)--一步步建立深度神经网络,这篇文章是本篇文章的前篇,没有前篇的基础 ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
吴恩达深度学习 | (2) 神经网络与深度学习专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第一部分神经网络和深度学习专项的第二周课程:神经网络基础.由于逻辑回归算法可以看作是一个单神经元(单层)的网络结构,为了 ...
吴恩达深度学习—02神经网络和深度学习（视频笔记）
02神经网络和深度学习第一周:深度学习的深实用层面第二周:优化算法第三周:超参数调试.Batch正则化和程序框架第一周:深度学习的深实用层面第二周:优化算法第三周:超参数调试.Batch正 ...
吴恩达深度学习卷积神经网络学习笔记(2)——经典神经网络
目录 1.经典网络 1.1 LeNet-5(1998) 1.2 AlexNet 1.3 VGG-16 2 ResNets(残差网络) 2.1残差块(Residual block) 2.2 残差网络为什 ...
吴恩达深度学习L2W1——神经网络权重初始化方法、正则化
文章目录神经网络的初始化初始化数据模型搭建简单函数零初始化--initialize_parameters_zeros 随机初始化--initialize_parameters_random ...
吴恩达深度学习 ——深层神经网络（选择题）
1.在实现前向传播和反向传播中使用的"cache"是什么?(D) A.它用于跟踪我们正在搜索的超参数,以加速计算. B.用于在训练期间缓存代价函数的中间值. C.我们使用它传递反向 ...
花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN
目录 0. 前言 1. RNN 计算图 2. RNN 前向传播 3. RNN 反向传播 4. 导师驱动过程(teacher forcing) 5. 不同序列长度的 RNN 如果这篇文章对你有一点小小的 ...
花书+吴恩达深度学习（十四）卷积神经网络 CNN 之经典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）
目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...

最新文章

热门文章