手推机器学习公式（一） —— BP 反向传播算法

方便起见，本文仅以三层的神经网络举例。

f(⋅)f(\cdot)：表示激励函数
xix_i：表示输入层；
yjy_j：表示中间的隐层；
- yj=f(netj)y_j=f(\text{net}_j)
- netj=∑i=0nvijxi\text{net}_j=\sum\limits_{i=0}^n v_{ij}x_i
oko_k：表示输出层，dkd_k 则表示期望输出；
- ok=f(netk)o_k=f(\text{net}_k)
- netk=∑j=0mwjkyj\text{net}_k= \sum\limits_{j=0}^mw_{jk}y_j
vij,wjkv_{ij}, w_{jk} 分别是连接输入层-隐层，隐层和输出层的权值矩阵；

BP 既然称为 error back propagation 算法，我们首先来看 error 的一种常见定义：

E=12(d⃗ −o⃗ )2=12∑k=1ℓ(dk−ok)2

E=\frac12(\vec d-\vec o)^2=\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2

三层神经网络下，将其展开至隐层：

E==12∑k=1ℓ(dk−ok)212∑k=1ℓ⎛⎝dk−f⎛⎝∑j=0mwjkyj⎞⎠⎞⎠2

\begin{split} E=&\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}y_j\right)\right)^2 \end{split}

进一步展开至输入层：

E===12∑k=1ℓ(dk−ok)212∑k=1ℓ⎛⎝dk−f⎛⎝∑j=0mwjkyj⎞⎠⎞⎠212∑k=1ℓ⎛⎝dk−f⎛⎝∑j=0mwjkf(∑i=0nvijxi)⎞⎠⎞⎠2

\begin{split} E=&\frac12\sum_{k=1}^\ell\left(d_k-o_k\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}y_j\right)\right)^2\\ =&\frac12\sum_{k=1}^\ell\left(d_k-f\left(\sum_{j=0}^mw_{jk}f\left(\sum_{i=0}^nv_{ij}x_i\right)\right)\right)^2 \end{split}

手推机器学习公式（一） —— BP 反向传播算法相关推荐

通俗理解神经网络BP反向传播算法
转载自通俗理解神经网络BP反向传播算法通俗理解神经网络BP反向传播算法在学习深度学习相关知识,无疑都是从神经网络开始入手,在神经网络对参数的学习算法bp算法,接触了很多次,每一次查找资料学习 ...
[AI 笔记] BP反向传播算法
[AI 笔记] BP反向传播算法说明 BP算法链式法则计算图简单例子前向传播反向传播聚焦计算节点,深入理解计算节点的代码实现例子各种门的功能多元链式法则向量化BP算法参考资料 ...
BP反向传播算法的思考和直观理解 -卷积小白的随机世界
https://www.toutiao.com/a6690831921246634504/ 2019-05-14 18:47:24 本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积 ...
使用随机梯度下降SGD的BP反向传播算法的PyTorch代码实现
Index 目录索引写在前面 PyTorch的 .data() PyTorch的 .item() BP with SGD的PyTorch代码实现参考文章写在前面本文将用一个完整的例子,借助Py ...
脱离公式谈谈对反向传播算法的理解
机器学习的训练过程可看作是最优化问题的求解过程. 根据原理对于函数f(x),如果f(x)在点xt附近是连续可微的,那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向得到最简单最常用的优化算 ...
【机器学习笔记】神经网络反向传播算法推导
神经网络反向传播算法推导 (一) 概念及基本思想 (二)信息的前向传播 (三)误差反向传播 (1)输出层的权重参数更新 (2)隐藏层的权重参数更新 (3)输出层与隐藏层的偏置参数更新 (4)反向传播 ...
BP反向传播算法浅谈（Error Back-propagation）
最近在打基础,大致都和向量有关,从比较基础的人工智能常用算法开始,以下是对BP算法研究的一个小节. 本文只是自我思路的整理,其中举了个例子,已经对一些难懂的地方做了解释,有兴趣恰好学到人工智能对这块 ...
反向传播算法的理论基础,反向传播算法应用
如何理解神经网络里面的反向传播算法反向传播算法(Backpropagation)是目前用来训练人工神经网络(ArtificialNeuralNetwork,ANN)的最常用且最有效的算法. 其主要思 ...
梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界
本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...

手推机器学习公式（一） —— BP 反向传播算法

手推机器学习公式（一） —— BP 反向传播算法相关推荐

最新文章

热门文章