深度学习基础笔记——前向传播与反向传播
相关申明及相关参考：
体系学习地址 主要学习笔记地址
由于是文章阅读整合，依据个人情况标注排版，
不确定算不算转载，主要学习围绕AI浩的五万字总结,深度学习基础
如有侵权，请联系删除。
1前向传播与反向传播
神经网络的计算主要有两种：
前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；
反向传播（backward propagation, BP）作用于网络的输出，计算梯度由深到浅更新网络参数。
总目标：输入数据
，使输出层尽可能与原始输出 I 接近
前向传播：输入层-隐藏层-输出层
假设上一层结点i , j , k , . . .等一些结点与本层的结点w 有连接，那么结点w的值怎么算呢？就是通过上一层的i , j , k , . . .等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如R e L u sigmoid等函数，最后得到的结果就是本层结点w的输出。不断的通过这种方法一层层的运算，得到输出层结果。
反向传播：计算总误差-隐藏层-输出层的权值更新-隐藏层的权值更新
由于前向传播得到的结果往往存在误差，当前最广泛减少误差的算法就是梯度下降算法，求梯度就是要求偏导数，以上图为例：
2 计算神经网络的输出
输出层 3 个节点：1、2、3；隐藏层 4 个节点：4、5、6、7；输出层 2 个节点：8、9；
以隐藏层节点4为例，它和输入层的三个节点 1、2、3 之间都有连接，其连接上的权重分别为是
。
计算节点 4 的输出值时，首先计算上游节点即1、2、3 的输出值，节点 1、2、3 是输入层的节点，所以，他们的输出值就是输入向量本身。按照上图画出的对应关系，可以看到节点 1、2、3 的输出值分别是
，还有节点4的偏置项
。
同理，可以计算节点5、6、7的输出值
，则输出层节点8的输出值
,
为偏置项。
同理，可以计算
，则输出层所有节点的输出值计算完毕，输出向量的维度和输出层神经元的个数相同。
3 实例理解反向传播——案例实践：
4 神经网络“深”的意义
前提：在一定范围内。
- 在神经元数量相同的情况下，深层网络结构具有更大容量，分层组合带来的是指数级的表达空间，能够组合成更多不同类型的子结构，这样可以更容易地学习和表示各种特征。
- 隐藏层增加则意味着由激活函数带来的非线性变换的嵌套层数更多，就能构造更复杂的映射关系。
深度学习基础笔记——前向传播与反向传播相关推荐
- 深度学习与计算机视觉教程(4) | 神经网络与反向传播（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
- 深度学习的数学-神经单元误差和反向传播
文章目录 前言 正文 神经单元误差 梯度下降算法在实际应用中的难点 神经单元误差的定义和含义 神经单元误差关于权重和偏置的偏导数(重点) 关于权重的偏导数推导 偏置的偏导数推导 公式一般化 误差反向传 ...
- 深度学习的数学-卷积神经网络的误差反向传播
文章目录 前言 正文 卷积神经网络中的关系式 卷积层 池化层 输出层 平方误差(损失函数) 梯度下降法 卷积层和输出层的神经单元误差(重点) 输出层的神经单元误差计算 输出层的神经单元与其权重偏置的关 ...
- 深度学习基础笔记——激活函数
相关申明及相关参考: 体系学习地址 主要学习笔记地址 激活函数,你真的懂了吗? - 知乎 (zhihu.com) 聊一聊深度学习的activation function - 知乎 (zhihu.com ...
- 深度学习基础笔记(MLP+CNN+RNN+Transformer等等)
提示:本人还在学习当中,所作笔记仅供大家参考,若有问题欢迎大家指出! 目录 专业词汇 基础神经网络 感知机 多层感知机MLP 卷积神经网络CNN 激活函数 正则化 最优化方法 生成模型GAN 自然语言 ...
- 深度学习 --- BP算法详解（误差反向传播算法）
本节开始深度学习的第一个算法BP算法,本打算第一个算法为单层感知器,但是感觉太简单了,不懂得找本书看看就会了,这里简要的介绍一下单层感知器: 图中可以看到,单层感知器很简单,其实本质上他就是线性分类器 ...
- matlab中的pred,Matlab深度学习基础笔记-2
笔记来源于matlab官网,不足之处还请提出.. 1.4检查预测 Prediction scores 使用classify可以获得所有类别的预测值,存储在数组scrs中: [pred scrs] = ...
- 深度学习的数学 （6）误差反向传播法必需的链式法则
1. 神经网络和复合函数 y = f(u), u = g(x) 嵌套结构的函数 f(g(x)) 称为 f(u) 和 g(x) 的复合函数. 2. 链式法则,复合函数求导公式 2.1 三个函数的复合函数 ...
- 深度学习之学习笔记（九）—— 误差反向传播法
误差反向传播法() 对神经网络模型而言,梯度下降法需要计算损失函数对参数的偏导数,如果用链式法则对每个参数逐一求偏导,这是一个非常艰巨的任务!这是因为: 模型参数非常多--现在的神经网络中经常会有上亿 ...
最新文章
- spacy如何安装最匹配的版本正规文档en_core_web
- javascript弹出div(一)
- 有了数学基础，如何进阶AI?
- SPH（光滑粒子流体动力学）流体模拟实现三：Marching Cube算法（2）
- 通讯与计算机网络作业,通讯与计算机网络作业平时作业(填空题问答和计算题)讲述.doc...
- Software--IoC 依赖倒置 控制反转
- 解决Tensorflow使用CPU报错
- html5swf小游戏源码,FLASH打方块小游戏及as3代码
- minst 手写数字识别实战
- 【LVGL】roller选项列表问题
- 如何让网页字体文件大瘦身？前端字体优化知多D
- [3-6] xp系统主题下载最新xp系统软件更新 [yeskm整理]
- GraphPad Prism 统计教程 ：高斯分布
- 海康威视相机 RTSP 传输延迟解决方案
- Git设置代理服务器
- python机器学习实战一：入门
- 选择器（尚硅谷前端网课学习笔记）
- 手机版python3h如何自制游戏_教你如何用 Python 写一个小游戏
- 团队管理的“五大核心要素”，非常重要！
- 区块链溯源相比传统追溯有什么优点？