神经网络的 Delta 学习规则（learning rule）

2024-04-04 12:48:21

1. δ\delta 学习规则

1986 年，由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ\Delta 学习规则，该规则亦可称为连续感知器学习规则（与离散感知器学习规则相并行）。Δ\Delta 规则的学习信号规定为：

r=(dj−f(wTjx))f′(wTjx)=(dj−oj))f′(netj)

r=\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)=\left(d_j-o_j)\right)f'(\text{net}_j)

jj 表示不同的迭代过程。上式定义的学习信号称为 δ\delta。显然 δ\delta 规则要求转移函数可导。

2. 由 δ\delta 规则到最小平方误差

定义神经元输出与期望输出之间的平方误差为：

E=12(dj−oj)2=12(dj−f(wTjx))2

E=\frac12\left(d_j-o_j\right)^2=\frac12\left(d_j-f(w_j^Tx)\right)^2

欲使误差 EE 最小，梯度的变化方向应是负梯度方向：

Δwj=−η∇E

\Delta w_j=-\eta \nabla E

其中：

∇E=−(dj−f(wTjx))f′(wTjx)x

\nabla E=-\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)x

因此：

Δwj=η(dj−f(wTjx))f′(wTjx)x=η(dj−f(wTjx))f′(netj)x

\Delta w_j=\eta\left(d_j-f(w_j^Tx)\right)f'(w_j^Tx)x=\eta\left(d_j-f(w_j^Tx)\right)f'(\text{net}_j)x

神经网络的 Delta 学习规则（learning rule）相关推荐

神经网络（线性神经网络、Delta学习规则）
线性神经网络线性神经网络在结构上与感知器非常相似,只是激活函数不同.在模型训练时把原来的sign函数改成了purelin函数:y = x 除了sign和purelin,还有很多常用的激活函数: De ...
delta学习规则及梯度下降法
Delta学习规则代价函数(Cost Function, Lost Function) 其中,误差E是权向量Wj的函数.欲使误差E最小,Wj与误差的负梯度成正比,即: 梯度下降法的问题 1. 学习率 ...
神经网络 | 网络优化-线性神经网络-delta学习规则-梯度下降法（线性神经网络-异或问题Python源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
神经网络 | 网络优化-线性神经网络-delta学习规则-梯度下降法（单层感知器-异或问题Python源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
技术图文：如何利用 C# 实现误差反向传播学习规则？
背景我们在如何利用 C# 对神经网络模型进行抽象? 中完成了神经网络的抽象结构: 三个接口:激活函数.有监督学习.无监督学习三个抽象类:神经元.网络层.网络拓扑我们在如何利用 C# 实现神经 ...
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化 Neural Netw ...
Hebb学习规则与Hopfield神经网络
前言本文简单介绍了一下Hebb学习规则和Hopfield神经网络,并讨论了二者的特性和意义,以及它们之间的联系.最后代码实现了一个简单Hopfield网络,能够记忆并联想回忆出一张图片. Hebb学 ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
[翻译] 神经网络与深度学习第六章深度学习 - Chapter 6 Deep learning
目录: 首页译序关于本书关于习题和难题第一章利用神经网络识别手写数字第二章反向传播算法是如何工作的第三章提升神经网络学习的效果第四章可视化地证明神经网络可以计算任何函数第五章 ...

最新文章

热门文章