神经网络的发展历史概述

2024-06-08 14:36:15

神经网络的发展也经历了高潮和低谷，本文主要对其发展的几个关键节点进行简要说明，之后的文章会对各阶段主要技术进行讲解。

第一阶段

1943年，美国神经生理学家Warren McCulloch和数学家Walter Pitts首次提出形式神经元模型–M-P模型；
1958年，Roseblatt提出感知器；
1969年，Minsky和Papert指出感知器无法解决线性不可分问题，神经网络的发展陷入低潮。

第二阶段

1980年，福岛邦彦等人提出神经认知机；
1982年，Hopfield等人提出Hopfield 模型；
1986年，Rmelhart等人提出了误差反向传播算法；
1989年，LeCun等人提出了卷积神经网络，但由于训练时间长等问题，以及当时SVM更受欢迎的原因，神经网络的研究再次陷入低潮。

第三阶段

2006年，Hinton和Bengio等人提出将与训练和自编码器与深度神经网络相结合的办法；
2011年，得益于Hinton和Bengio等人的研究，神经网络在图像和语音识别领域取得突破性成果，受到人们的重视，标志着神经网络的第三次崛起；
2012年，Krizhevsky等人提出将ReLU作为卷积神经网络的激活函数，使得神经网络在图像识别任务中取得巨大优势，同时，神经网络开始不断的快速发展。

参考书籍：
[1] [日]山下隆义. 图解深度学习[M]. 张弥,译. 北京:人民邮电出版社,2018.

神经网络的发展历史概述相关推荐

人工神经网络的发展历史,神经网络的起源和发展
1.神经网络的历史是什么? 沃伦·麦卡洛克和沃尔特·皮茨(1943)基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型.这种模型使得神经网络的研究分裂为两种不同研究思路.一种主要关注大脑中的 ...
机器学习——人工神经网络之发展历史（神经元数学模型、感知器算法）
目录一.神经元的数学模型二.感知器算法(SVM算法前身) 1.目的 2.流程 >>>问题1:下图w和b的调整是什么意思? 3.算法的有效性验证 1)原算法 2)增广矩阵 3) ...
人工神经网络发展历史及算法应用综述
作者:柯悦简介: 人工神经网络概念自提起以来,它的发展经历了起起落落,而如今人工神经网络也与各个领域相结合,实现它的价值.人工神经网络主要用来处理分类与回归的问题.决定神经网络发展的三个基本要素主 ...
神经网络的起源和发展,人工神经网络发展历史
神经网络的历史是什么? 沃伦·麦卡洛克和沃尔特·皮茨(1943)基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型.这种模型使得神经网络的研究分裂为两种不同研究思路. 一种主要关注大脑中的生 ...
推荐收藏！图深度学习发展历史、最新进展与应用
本文经机器之心授权转载. [导读]本文将分图神经网络历史.图神经网络的最新研究进展和图神经网络的应用进展三大部分归纳总结该课程 Theme II: Advances and Applications ...
人工神经网络的发展现状,神经网络的发展方向
神经网络的发展趋势如何? . 神经网络的云集成模式还不是很成熟,应该有发展潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,所以决策支持系统中并不是很热门,但是神经网络无视过程的优点也是无可替代 ...
目前最先进的神经网络算法,神经网络算法发展
1.神经网络的发展趋势如何? 神经网络的云集成模式还不是很成熟,应该有发展潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,所以决策支持系统中并不是很热门,但是神经网络无视过程的优点也是无可替代 ...
一文看懂NLP神经网络发展历史中最重要的8个里程碑！
一文看懂NLP神经网络发展历史中最重要的8个里程碑! https://mp.weixin.qq.com/s/gNZiiEfsQjlF9tArNDIt5Q 作者|Sebastian Ruder 译者|小 ...
神经网络从产生到现在的发展历史--科普
对于入门学习神经网络的没有基础的同学来说,直接上公式和各种算法,会比较懵圈.我个人的体会是先了解这个技术的来龙去脉,先从科普版开始,从它最简单地方式开始,一步一步了解它怎么演进的,每一个时代考虑了什么 ...
转载 | 纵览一季度 NFT 发展全景（上）：发展历史与生态概述
转载自链闻. 撰文:Cabin VC.Flow 和 The Sandbox NFT 即非同质化代币(Non-Fungible Token),具不可拆分替代.非标准化等特质,与其对应的 FT 即质化代币 ...

最新文章

热门文章