神经网络与误差反向传播算法
目录
- 神经网络与误差反向传播算法
- 1 神经网络
- 1.1 神经网络
- 1.2 神经网络的作用
- 1.3 神经元模型
- 1.4 人工神经网络
- 1.5 前馈神经网络
- 2 Delta学习规则
- 3 梯度
- 3.1 梯度下降
- 3.2 梯度下降示意
- 3.3 输出层权重改变量
- 3.4 隐藏层权重改变量
- 3.5 隐含层权重改变量
- 3.6 误差传播迭代公式
- 3.7 隐藏层误差反向传播示意
- 4 简单的BP算例
- 5 典型的机器学习步骤
- 5.1 典型的机器学习的思路都是这样的
- 5.2 特征对学习的影响
- 6 深度学习的特征
- 6.1 “连接主义”的兴衰史
- 6.2 深度学习与神经网络的区别
神经网络与误差反向传播算法
1 神经网络
1.1 神经网络
大量(结构简单的、功能接近的)神经元节点按一定体系架构连接成的网状结构——就是大脑的结构
1.2 神经网络的作用
分类、模式识别、连续值预测
1.3 神经元模型
每个神经元都是一个结构相似的独立单元,它接受前一层传来的数据,并将这些数据的加权和输入非线性作用函数中,最后将非线性作用函数中,最后将非线性作用函数的输出结果传递给后一层。
1.4 人工神经网络
基础神经网络
神经元:输入向量x;权重向量w;偏置标量b;激活函数sigmoid
浅网络:3-5层;优化;梯度下降;BP后向传播(链式规则)
1.5 前馈神经网络
前馈神经网络,是人工神经网络的一种,各神经元从输入层开始,接收前一级输入,并输出到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示。
前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元,同一层的神经元之间没有互相连接,层间信息的传送只沿一个方向进行。
其中第一层称为输入层。最后一层为输出层.中间为隐含层。隐含层可以是一层,也可以是多层。
2 Delta学习规则
Delta学习规则是一种有监督学习算法,该算法根据神经元的实际输出与期望输出差别来调整连接权,其数学表示如下:
3 梯度
3.1 梯度下降
这是一个表示参数w与目标函数J(w)的关系图红色的部分是表示J(w)有着比较高的取值,需要能够让J(w)的值尽量的低。也就是深蓝色的部分。wl,w2表示w向量的两个维度。
先确定一个初始点,将w按照梯度下降的方向进行调整,就会使得J(w)往更低的方向进行变化
3.2 梯度下降示意
想象一下,你如何能在被蒙住眼睛的情况下,从山上走下来?
先用你灵巧的脚,探一探脚下的山地,哪个方向坡度最陡?(计算梯度方向)
朝着这个方向迈一步;(沿梯度方向下降)
一大步,还是一小步?(学习速率)
持续这个过程直到平地(迭代)
可不能有悬崖哦………(目标函数处处可导)
3.3 输出层权重改变量
3.4 隐藏层权重改变量
3.5 隐含层权重改变量
3.6 误差传播迭代公式
输出层和隐藏层的误差传播公式可统一为∶权重增量=-1学习步长目标函数对权重的偏导数
目标函数对权重的偏导数=-1残差当前层的输入残差= 当前层激励函数的导数*上层反传来的误差
上层反传来的误差=上层残差的加权和
3.7 隐藏层误差反向传播示意
4 简单的BP算例
举例:
5 典型的机器学习步骤
5.1 典型的机器学习的思路都是这样的
从开始的通过传感器来获取数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的。
5.2 特征对学习的影响
一般而言,机器学习中特征越多,给出信息就越多,识别准确性会得到提升;
但特征多,计算复杂度增加,探索的空间就大,训练数据在全体特征向量中就会显得稀疏,影响相似性判断;
更重要的是,如果有对分类无益的特征,反而可能干扰学习效果
结论∶特征不一定越多越好,获得好的特征是识别成功的关键。需要有多少个特征,需要学习问题本身来决定。
6 深度学习的特征
深度学习,是一种基于无监督特征学习和特征层次结构的学习模型,其实是对神经网络模型的拓展。
6.1 “连接主义”的兴衰史
某种意义上说,AI的兴衰史,其实就是“连接主义”(感知机->神经网络->深度学习)的兴衰史
6.2 深度学习与神经网络的区别
神经网络与误差反向传播算法相关推荐
- 神经网络之误差反向传播算法推导
原理 误差反向传播算法是通过误差函数计算实际输出值与期望输出值之间的误差,把误差从最后的输出层依次传播到之前各层,最后通过调整各层连接权重与偏置达到减小误差的目的.而权重和偏置的调整一般使用梯度下降法 ...
- TensorFlow基础10-(误差反向传播算法以及实现多层神经网络)
记录TensorFlow听课笔记 文章目录 记录TensorFlow听课笔记 一,误差反向传播算法 二,链式求导法则 三,隐含层有多个神经元的误差反向传播 四,激活函数 五,实现多层神经网络 一,误差 ...
- 深度学习入门笔记(六):误差反向传播算法
专栏--深度学习入门笔记 推荐文章 深度学习入门笔记(一):机器学习基础 深度学习入门笔记(二):神经网络基础 深度学习入门笔记(三):感知机 深度学习入门笔记(四):神经网络 深度学习入门笔记(五) ...
- 误差反向传播算法(BP网络)
1.引言 误差反向传播网络(Error Back Propagtion,),简称为BP神经网络,是一种多层神经网络,与之相关的另一个概念是多层感知器(Multi-Layer Perceptron,ML ...
- 深度学习-误差反向传播算法
文章目录 一.误差反向传播算法是干什么的? 二.计算图 (一) 了解计算图的写法 (二)局部计算 (三) 计算图的优点 三. 误差反向传播算法的具体实现 一.误差反向传播算法是干什么的? 通过数值微分 ...
- 误差反向传播算法笔记
复习一下基础. 一.机器学习模型的处理方法 (1) 数据预处理: 经过数据的预处理,如去除噪声等.比如在文本分类中,去除停用词等. (2) 特征提取:从原始数据中提取一些有效的特征.比如在图像分类中, ...
- 吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法
http://www.cnblogs.com/xing901022/p/9350271.html 本篇讲述了神经网络的误差反向传播以及训练一个神经网络模型的流程 更多内容参考 机器学习&深度学 ...
- 深度学习的数学-卷积神经网络的误差反向传播
文章目录 前言 正文 卷积神经网络中的关系式 卷积层 池化层 输出层 平方误差(损失函数) 梯度下降法 卷积层和输出层的神经单元误差(重点) 输出层的神经单元误差计算 输出层的神经单元与其权重偏置的关 ...
- 【深度学习】神经网络基础:反向传播算法
作者:Simona Ivanova AI/ML 专家 就职于 Science 杂志 导读 反向传播(Backpropagation,简称 BP)是目前用来训练人工神经网络(Artificial ...
- 反向算法_10分钟带你了解神经网络基础:反向传播算法详解
作者:Great Learning Team deephub.ai 翻译组 1.神经网络 2.什么是反向传播? 3.反向传播是如何工作的? 4.损失函数 5.为什么我们需要反向传播? 6.前馈网络 7 ...
最新文章
- SAP MM模块常用概念--供应商评价
- 在对linux系统分区进行格式化时需要对磁盘簇(或i节点密度)的大小进行选择,请说明选择的原则。
- VTK:直线网格之RGrid
- php变量教学,PHP变量详解
- Qt工作笔记-如何打包我们用 Qt 写的软件 - Linux 篇
- Httputils请求网络数据
- C#基础(四)--值类型和引用类型,栈和堆的含义
- 设计干货 | 时尚简约海报模板
- 纯css实现照片墙3D效果
- C程序设计--结构体(结构体和函数之间的参数使用)
- MATLAB+simulink仿真学习
- linux中安装yum简单方法
- html jquery隐藏input,JQuery控制input的隐藏和显示
- 【SpringBoot+Vue】前后端分离项目之图片上传与下载
- numpy移动平均线 布林带 线性模型 趋势线
- [网鼎杯 2020 青龙组]虚幻2 详解 (python脚本)
- 位运算--异或运算XOR
- Corolado软件峰会关于Geronimo的介绍
- PS基础操作之照片处理
- EasyLearn--JAVA实现32个经典算法设计(二):集束算法