深度学习-历史发展历程
背景
纵观深度学习的历史发展进程，有助于对其全方位的理解。本博客将从时间的角度，分享深度学习知识。
仔细查看现有的很多博客，发现大家都写的非常详细，所以本博客暂时决定不对外开放，仅用于笔记。
概述
总的来说，深度学习经历了两次低谷，三次增长。
历史成就
第一次起落
- 1943年的MCP人工神经元模型。
- 1958年Rosenblatt发明的感知器（perceptron）算法
- 1962年，该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮
- 1969年，Minsky，证明单层感知器只能处理线性分类问题
自评：可以理解为单层感知器（线性平面，可进行二分类），而且可以用梯度下降去进行参数训练，最终感知器模型收敛，获得最优参数。但是局限在线性特性，解决不了异或问题
以上异或数据不能通过线性进行分类，同样不能被感知器进行分类。
第二次起落
- 1986年发明了多层感知器BP算法，并采用Sigmoid进行非线性映射，实现了非线性分类（激活函数解决了第一代神经网络的核心问题）
- 1989年，Robert Hecht-Nielsen证明了MLP的万能逼近定理。即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习（这里阐述出来的问题，应该就是梯度弥散的意思，另外还有中说法叫做梯度爆炸。这两个名词只有在进一步了解sigmoid函数才能进一步说明）
- 1997年，LSTM模型被发明（长短记忆模型）
自评：多层感知 + sigmoid激活函数解决不能进行分线性分类的问题。不过又引入了新的问题，是sigmoid函数本身的（即梯度消失和梯度爆炸）
第三次大起
- 2006年，Hinton提出了梯度消失解决方案：无监督预训练对权值进行初始化+有监督训练微调
- 2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题（relu激活函数能解决梯度消失，在很多神经网络中使用）
- 2011年，微软首次将DL应用在语音识别上，取得了重大突破
- 2013,2014,2015年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步（这里是里程碑）
- 2015年，Hinton，LeCun，Bengio论证了局部极值问题对于DL的影响，结果是Loss的局部极值问题对于深层网络来说影响可以忽略（排除了深度神经网络局部最优解的疑惑）
- 2015-2019，不同种类的神经网络快速发展阶段
深度学习-历史发展历程相关推荐
- 深入浅出深度学习（一）深度学习的发展
人工智能.机器学习.深度学习的关系 1. 人工智能--机器推理 利用计算机构建具有人类智力特征的复杂机器,即为通用人工智能或强人工智能,即让机器拥有人类的所有感觉.所有理智.像人类一样思考.要实现真正 ...
- 深度学习的发展可能已达极限！
[编者按]回首 2018 年,身处技术圈的你是否曾反思过些什么--科技与非科技企业界限的日益模糊.技术的发展现状和前景.科技发展的正向助推到负面效应,乃至个人心态上的变化.人文.生态.社会--玩技术的 ...
- dncnn图像去噪_深度学习图像去噪发展概述
#深度学习图像去噪发展概述 由于深度学习,特别是卷积神经网络(CNN)在图像识别等领域取得了较好的成果,近年来,基于深度学习的图像去噪方法也被提出并得到了发展.2008年,Viren Jain等提出用 ...
- 深度学习计算机视觉发展简述
深度学习计算机视觉发展简述 1995年诞生的LeNet5网络是最早的卷积神经网络之一,也是现在很多深度神经网络架构的起点.LeNet5利用卷积.参数共享.池化等操作提取图像特征,再利用全连接神经网 ...
- 《深度学习实战》第1章 深度学习的发展介绍
参考书籍<深度学习实战>杨云.杜飞著 第1章 深度学习的发展介绍 介绍 python是一种非常简单易学的解释性语言.由于强大的开源库支持(numpy,scipy,matplotlib),其 ...
- 深度学习的发展与挑战
本文介绍深度神经网络在不同的分类问题和接近人类水平性能的应用领域上的显著成果.讨论深度学习作为未来科学的各种疑问,揭示深度神经网络在机器执行任务方面的隐藏能力. 简介 智能系统的要求: 1.识别和处理 ...
- 深度学习的发展历史是什么？
深度学习的历史可以追溯到1943年,当时Walter Pitts和Warren McCulloch建立了基于人脑神经网络的计算机模型.他们将算法和数学方法结合在一起,称之为"阈值逻辑&quo ...
- 深度学习的发展背景和历史
神经网络的发展背景和历史 一, 深度学习就是多层次的神经网络模型,神经网络的发展并不是一帆风顺的,它的发展经历了三起两落,而深度学习就是神经网络发展的第二次寒冬后兴起的产物. 十九世纪两个生物学者发现 ...
- 【深度学习与图神经网络核心技术实践应用高级研修班-Day1】深度学习的发展历史（完整版）
深度学习的常用模型及方法-深度学习发展历史 1. 深度学习发展历史 2. 深度学习的发展趋势 3. 人工神经网络 4. 模型与算法 4.1 前馈神经网络 4.2 前馈神经网络特点 4.3 前馈神经网络 ...
最新文章
- 5G NGC — 会话管理模型 — 边缘业务本地分流
- 你用过这种奇葩的C#注释吗？如何看待
- OneOfT1,…,Tn清新
- python *args和**kwargs以及序列解包
- java控制层创建websocket_用Java构建一个简单的WebSocket聊天室
- Java从入门到精通 第5章 数据类型
- JS处理支付宝H5支付
- Java 读取Doc/Docx 文档
- [并发并行]_[pthread]_[使用线程池并发复制文件]
- 芝麻信用行业关注名单风险标签对照表SQL---福利大家！
- C++11的模板类型判断——std::is_same和std::decay
- VS报错：当前页面的脚本发生错误
- php waf 搭建,如何构建属于自己的nginx waf防火墙 VeryNginx
- emoji表情符号编码大全
- sketch里的ios控件_Sketch效率实现飞跃般的提升？先收下这些Symbol技巧
- win10 休眠唤醒 电源_win10电脑休眠后无法唤醒解决方法(图文)
- COD测定仪小故障不及时处理,可能会演变成的大问题
- RTSP/GB28181/SDK/Ehome协议人脸识别/车牌识别视频智能分析系统EasyCVR获取播放地址和流地址方法介绍
- CALIPSO数据产品总结
- 请问Python零基础学会可以做哪些？python是不是很难学？