机器视觉学习笔记：BP神经网络详解

https://www.toutiao.com/a6717160299482317324/

BP神经网络的代表者是D.Rumelhart和J.McCelland，"反向传播（backpropagation）"一词的使用出现在1985年后，它的广泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing这本书出版以后。BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

一、BP神经网络的模型

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播来传递信息，第二阶段是误差的反向传播来调整中间层的权重和偏置。

二、BP神经网络的流程

BP神经网络的流程：

1、前向传播；

2、误差反向传播；

3、迭代判定标准。

以三层BP神经网络为例：

(1)前向传播

假设输入层的节点个数为n，隐含层的节点个数为l,输出层的节点个数为m。输入层到隐含层的权重w_ij，隐含层到输出层的权重为w_jk，输入层到隐含层的偏置为a_j，隐含层到输出层的偏置为b_k,学习速率为η,激励函数为g(x)，一般选择sigmoid函数。形式为:

隐含层的输出为：

输出层的输出为：

(2)误差反向传播

误差反向传播的目的是更新权值，最终使目标输出与期望输出的误差函数最小。期望输出为Yk,则误差函数为:

min(E)是个最优化的过程，我们知道梯度最大值的方向，即为函数值下降最快的方向，因此采用梯度下降法。

隐含层到输出层的权值更新:

输入层到隐含层的权值更新:

而

则

同理，可得偏置的更新

(3)迭代判定标准

常用判断迭代结束的标准主要是指定迭代的最大次数和相邻两次误差输出小于指定值。

机器视觉学习笔记：BP神经网络详解相关推荐

ELK学习笔记之Logstash详解
0x00 Logstash概述官方介绍:Logstash is an open source data collection engine with real-time pipelining cap ...
expect学习笔记及实例详解【转】
1. expect是基于tcl演变而来的,所以很多语法和tcl类似,基本的语法如下所示: 1.1 首行加上/usr/bin/expect 1.2 spawn: 后面加上需要执行的shell命令,比如说 ...
Java中大数据数组,Java基础学习笔记之数组详解
摘要:这篇Java开发技术栏目下的"Java基础学习笔记之数组详解",介绍的技术点是"java基础学习笔记.基础学习笔记.Java基础.数组详解.学习笔记.Java&qu ...
oracle scn 重置,学习笔记:Oracle SCN详解 SCN与Oracle数据库恢复的关系
天萃荷净分享一篇关于Oracle SCN的详解,介绍SCN与Oracle数据库恢复的关系和SCN在数据库中的作用一.为什么需要System checkpoint SCN号与Datafile Che ...
CV学习笔记-BP神经网络训练实例（含详细计算过程与公式推导）
BP神经网络训练实例 1. BP神经网络关于BP神经网络在我的上一篇博客<CV学习笔记-推理和训练>中已有介绍,在此不做赘述.本篇中涉及的一些关于BP神经网络的概念与基础知识均在< ...
PyQt5学习笔记——一文详解QObject
QObject详解笔记1 一.简介 QObject是所有Qt对象的基类二.功能作用 2.1 对象名称.属性 2.1.1 API setObjectName("唯一名称") 给QT ...
shell入门学习笔记-12-命令详解: echo与printf
系列目录与参考文献传送门: shell入门学习笔记-序章命令详解 admindeMacBook-Pro:myshell admin$ type cd cd is a shell builtin ad ...
CoAP学习笔记——CoAP格式详解
0 前言 CoAP是受限制的应用协议(Constrained Application Protocol)的代名词.在当前由PC机组成的世界,信息交换是通过TCP和应用层协议HTTP实现的.但是对于小型 ...
Docker技术入门与实战第二版-学习笔记-3-Dockerfile 指令详解
前面已经讲解了FROM.RUN指令,还提及了COPY.ADD,接下来学习其他的指令 5.Dockerfile 指令详解 1> COPY 复制文件格式: COPY <源路径> .. ...

机器视觉学习笔记：BP神经网络详解

机器视觉学习笔记：BP神经网络详解相关推荐

最新文章

热门文章