003-神经网络基础-最优化，前向传播，反向传播
最优化：
包括前向传播和反向传播
前向传播：
由w和x到损失函数loss的过程叫做前向传播
反向传播：
根据梯度下降的概念，找到最优的w的过程叫做反向传播。
做一件什么事情呢？
根据前向传播的w得到的loss，将loss反馈给上一次前向传播的w进行比较两次的w，看看哪个w使得loss小，那么就用小loss的w。
然后就一直去更新w。就叫做反向传播。
也就相当于回归算法中的参数更新，回归更新的是θ，这里更新的是w，其实都是一样的东西，名字不同而已。
举个例子：
要算x，y，z分别对函数f做了多少贡献，也就是说有多少权重
这里存在一个链式法则，也就是说，z对f的权重是3
x对f的权重是-4×1=-4
y对f的权重是-4×1=-4
就像下图所示的链式法则，x，y对在L中的权重，分别是L→z→x，和L→z→y两条链所决定的。
再深入一点：
红色代表梯度，绿色代表数值
例如最后1.37的1/x函数
梯度是
那么这一步的权重就是-1/（0.37*0.37） = 0.53
导数第二步，x+1求导后就是1，所以梯度是1，链式法则求出x+1的权重是1×（-0.53） = -0.53
再看红框里的，假设红框里的韩式是q
那么w0的权根据链式法则就是
与q的偏导相乘
就是-1×0.2=-0.2
将sigmoid函数合起来之后：
这种做法可以简化流程，如果不是sigmoid函数，而是一个非常负责的函数，可以对整体进行求导而简化流程。
又有一个问题：
链式法则中间的圈圈是干什么的？
这些圈圈叫做门单元。
门单元：
加法门单元：均等分配，导数相同，x+y对x求导是1，对y求导是1
MAX门单元：给最大的，w，z求max操作，最终的结果是z，所以梯度只跟z有关系。
乘法门单元：互换的感觉，导数互换，xy对x的导数是y，xy对y的导数是x
转载于:https://www.cnblogs.com/Mjerry/p/9788150.html
003-神经网络基础-最优化，前向传播，反向传播相关推荐
- 卷积神经网络前向及反向传播过程数学解析
卷积神经网络前向及反向传播过程数学解析 文章目录 <center>卷积神经网络前向及反向传播过程数学解析 1.卷积神经网络初印象 2.卷积神经网络性质 3.前向传播 3.1.卷积层层级间传 ...
- 神经网络的前向和反向传播
1.前向传播 前向传播的作用就是为了获取误差损失:现在以示例来说明: 上图是一个典型的神经网络结构,包括了输入层.隐含层和输出层,为了更好的讲解,现在对其进行赋值: 目标:给出输入数据i1,i2(0. ...
- numpy实现简单的二层网络------前向和反向传播
会推导神经网络的前向和反向传播是深度学习的基础,也许大家在实验使用Tensorflow框架,只需要调用某一个损失函数,传入参数就可以得到损失,或者Mxnet框架,你都不需要调用任何函数,给个标志就可以 ...
- meanpool maxpool 前向和反向传播
mean max 前向和反向传播 感觉平均迟化对值不太公平,应该加个权重,让算法自动去决定哪个 cnn中关于平均池化和最大池化的理解 接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深 ...
- 4.6 前向和反向传播-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.5 搭建深层神经网络快 回到目录 4.7 参数 vs. 超参数 前向和反向传播 (Forward and Backward Propagation) 之前我们学习了构成深 ...
- Pytorch 自定义激活函数前向与反向传播 Tanh
看完这篇,你基本上可以自定义前向与反向传播,可以自己定义自己的算子 文章目录 Tanh 公式 求导过程 优点: 缺点: 自定义Tanh 与Torch定义的比较 可视化 import matplotli ...
- 【阿里云课程】卷积神经网络：结构单元、卷积层反向传播求解与典型模型
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第5课中的两节,介绍如下: 第1节:卷积神经网络(上) 第1节课内容为:卷积神经网络的上篇,简单介绍卷积神经网络的生物学机制 ...
- 机器学习入门（14）— 神经网络学习整体流程、误差反向传播代码实现、误差反向传播梯度确认、误差反向传播使用示例
1. 神经网络学习整体流程 神经网络学习的步骤如下所示. 前提 神经网络中有合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为学习.神经网络的学习分为下面 4 个步骤. 步骤1(mini-ba ...
- 007-卷积神经网络03-前向传播-反向传播
前向传播: 前向传播就是求特征图的过程 通常x和w有四个维度[编号,深度,高度,宽度] 反向传播: 先来复习一下反向传播的知识: 反向传播回来的是梯度,也就是偏导数 反向传播力有一个链式法则:对于反向 ...
- 深度学习与神经网络（三）——多层感知机 反向传播 优化实战
介绍一个完完整整的,与我们实际使用一摸一样的多层感知机的反向传播方式 多层感知机MLP & 反向传播 与多输出感知机相比 有多层节点(绿色的) δkk是由Okk和tk得到的 所以δ一共有k个 ...
最新文章
- 机器人（机械臂）动力学建模方法（Newton-Euler equation）
- android唯一设备标识、设备号、设备ID的获取方法
- 什么是mysql索引文件_数据库索引文件一般采用什么数据结构？
- 电热水器工作过程 c语言,热水器工作流程图
- Ethernet帧结构
- Java复习之网络编程
- [文章摘录] Strategies for Early-Stage Collaborative Design (IEEE Software, 2012)
- 风控中英文术语手册(银行_消费金融信贷业务)_v3
- 第一期：GIS基本原理与arcgis软件
- 测试计划报告---5W1H
- 有趣的小事——程序员难!
- 如何给PDF文件添加水印？
- When you are old - 当你老去时(译)
- cobalt strike profile
- c语言使用easyX图形库制作打气球小游戏
- 医院无线认证平台怎么样
- 淘淘商城第56讲——测试一下商品搜索功能
- Spring Boot整合JWT实现用户认证
- 新生计算机能力水平测试,【新生必读】2018级新生计算机水平入学考试要点
- office outlook配置hotmail