一、前向传播

1、目的

2、前向传播过程

二、反向传播（梯度下降）

1、意义

2、目的

3、过程

4、门单元

5、更新权重计算

整体过程

前向传播：得到输出。

反向传播：更新权重。

最后调整权重：

一、前向传播

前向传播：从前往后，逐层计算。

1、目的

前向传播目的：得到损失值。

2、前向传播过程

1、先得到得分

2、把得分的差异放大（差异化，e^x）

3、归一化，得到概率

4、计算损失值

拿到数据之后，先经过得分函数，并不是经过一次变换，而是多次的变换。

二、反向传播（梯度下降）

1、意义

从后往前，逐层求导，可以得到前一项的权重。

作用：更新模型，达到学习的效果。

从后往前传递梯度，得到新计算出来的权重。

例如：

三个求偏导意义分别是：x、y、z对 f(结果)的影响。

2、目的

反向传播目的：优化权重参数（根据前向传播得到的损失值）。

3、过程

反向传播：从后往前，逐层计算。

目的：为了让损失函数的值最小。

反向偏导也可以一大块一大块地求。

4、门单元

1、加法门单元（相加）

2、MAX门单元（取最大）

3、乘法门单元（相乘）

5、更新权重计算

对这一部分进行分析：

为什么对w0求导，而不是x0？

x0是数据，不能随便改变，w0是权重，可以改变。

整体过程

（上面是前向传播，逐层计算，得到损失；下面是反向传播，逆推逐层计算，更新权重）

深度学习（3）基础3 -- 前向传播与反向传播相关推荐

深度学习入门笔记（六）：误差反向传播算法
专栏--深度学习入门笔记推荐文章深度学习入门笔记(一):机器学习基础深度学习入门笔记(二):神经网络基础深度学习入门笔记(三):感知机深度学习入门笔记(四):神经网络深度学习入门笔记(五) ...
深度学习与自然语言处理教程(3) - 神经网络与反向传播（NLP通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程
[人工智能深度学习]人工智能中的梯度下降算法和反向传播教程梯度下降优化算法参数化模型用方块图表达参数模型的计算图损失函数梯度下降在传统神经网络中随机梯度下降和反向传播算法的优势随机梯度下 ...
深度学习第三次课-梯度下降与反向传播
梯度下降损失函数可视化得分函数 f=W*X 损失函数 c=W*X-y 目标损失函数最小最优化过程可视化一维二维热力图如果损失函数是一个凸函数,例如SVM. 凸 ...
深度学习与神经网络（三）——多层感知机反向传播优化实战
介绍一个完完整整的,与我们实际使用一摸一样的多层感知机的反向传播方式多层感知机MLP & 反向传播与多输出感知机相比有多层节点(绿色的) δkk是由Okk和tk得到的所以δ一共有k个 ...
卷积神经网络的反向传播,卷积反向传播过程
如何对CNN网络的卷积层进行反向传播在多分类中,CNN的输出层一般都是Softmax.RBF在我的接触中如果没有特殊情况的话应该是"径向基函数"(RadialBasisFunct ...
cnn卷积神经网络反向传播,cnn正向传播和反向传播
如何对CNN网络的卷积层进行反向传播在多分类中,CNN的输出层一般都是Softmax.RBF在我的接触中如果没有特殊情况的话应该是"径向基函数"(RadialBasisFunct ...
深度学习基础笔记——前向传播与反向传播
相关申明及相关参考: 体系学习地址主要学习笔记地址由于是文章阅读整合,依据个人情况标注排版, 不确定算不算转载,主要学习围绕AI浩的五万字总结,深度学习基础如有侵权,请联系删除. 1前向传播与反 ...
深度学习的基础知识（机器学习、损失函数、梯度下降、反向传播、基础模型一网打尽）
1.预备信息 1.1了解技术的发展阶段技术一般存在几个阶段:1.发展期.2.高峰期.3.冰河期.4.应用期就是先达到一个高峰,但是在达到高峰之后就会被发现很多问题,然后热度就会不断地下降,到达一个 ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...

深度学习（3）基础3 -- 前向传播与反向传播

一、前向传播

1、目的

2、前向传播过程

二、反向传播（梯度下降）

1、意义

2、目的

3、过程

4、门单元

5、更新权重计算

整体过程

深度学习（3）基础3 -- 前向传播与反向传播相关推荐

最新文章

热门文章