人工神经网络----Hebbian学习规则

现在我们常用的深度学习神经网络，仅仅是人工神经网络的一个分枝，还有许多其他类型的神经网络。

现在的神经网络主要是基于梯度反向传播（BP）算法更新模型参数，同样BP是一种参数更新方式，但也不是唯一一种。

这个学期选了《人工神经网络》课程，就是希望能更全面的了解神经网络的领域知识。

Hebbian学习规则

与BP算法一样，Hebbian学习规则也是一种参数更新的方式。该学习规则：将一个神经元的输入与输出信息进行对比，对该神经元的输入权重参数进行更新。该学习规则使每个神经元独自作战。一个神经元的参数更新，仅仅与它自己的输入与输出数据有关，不考虑整个网络的全局情况。

Hebbian学习规则通常使用双极性激活函数，即激活函数的取值范围是[-1,1],使得输入与输出同号（+或-）时，加大权重，否则，降低权重。

因此，通常，Hebbian学习规则用当前神经元的输入与输出的乘积更新自己的权重。

$\Delta w_{ij}=\eta o_jx_i$

其中： $o_j$ 是第 $j$ 个神经元的输出， $x_i$ 是神经元的第 $i$ 个输入。 $w_{ij}$ 是神经元 $j$ 与第 $i$ 个输入数据 $x_i$ 之间的权重。

一个例题，源自《人工神经网络理论及应用（韩力群）》，第35页，自己又写了一遍，如下：

参考：《人工神经网络理论及应用（韩力群）》，第34，35页

人工神经网络----Hebbian学习规则相关推荐

《机器学习》第四章人工神经网络深度学习启蒙篇
神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术. 本文以一种简单的,循序的方 ...
人工神经网络持续学习的脑激励重放
目录 Brain-inspired replay for continual learning with artificial neural networks 1.比较连续学习方法 1.1 对比方法: ...
神经网络 | 网络优化-线性神经网络-delta学习规则-梯度下降法（线性神经网络-异或问题Python源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
神经网络 | 网络优化-线性神经网络-delta学习规则-梯度下降法（单层感知器-异或问题Python源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
神经网络算法详解 01：人工神经网络基础
本文介绍了人工智能的发展历史,基本概念,应用领域:神经元模型,神经元的学习规则以及神经网络工作原理.本系列文章来自阿里云大学人工智能学习路线中的<神经网络概览及神经网络算法详解>课程. 系 ...
系统学习机器学习之神经网络（十二） --人工神经网络总结
本来这篇还缺个RBM,但RBM在DBN中使用,暂时放在深度学习那里.这里看到一篇非常好的总结,保存下来. 转自:http://blog.csdn.net/fengbingchun/article/de ...
MATLAB神经网络编程（五）——BP神经网络的模型结构与学习规则
<MATLAB神经网络编程> 化学工业出版社读书笔记第四章前向型神经网络 4.3 BP传播网络本文是<MATLAB神经网络编程>书籍的阅读笔记,其中涉及的源码.公式.原 ...
【Python数据分析】数据挖掘建模——分类与预测——人工神经网络
人工神经网络(artificial neural networks,ANNs),是模拟生物神经网络进行信息处理的一种数学模型. 一.人工神经网络简介更多关于神经网络的发展可以参考:人工神经网络简介_ ...
数据挖掘之人工神经网络
人工神经网络(Artificial Neural Networks, ANN)是模拟生物神经网络进行信息处理的一种数学模型. 人工神经元模型激活函数主要分为域值函数(阶梯函数).分段线性函数.非线性 ...

人工神经网络----Hebbian学习规则

人工神经网络----Hebbian学习规则相关推荐

最新文章

热门文章