深度学习——第二次浪潮、寒冬与解冻

浪起原因：
多层神经网络解决了异或等线性不可分问题。
持续时间：
1986——1995
寒冬原因：
（1）SVM的挑战。
（2）计算机硬件计算能力不足
（3）数据量不够
（4）多层神经网络本身的缺陷
解冻：
深度学习耀眼的光芒，解冻了黑暗。

详情：
1986年之后多层神经网络解决异或等线性不可分问题后，第二次浪潮开启。
但接着由于SVM的极度威胁造成了第二次寒冬。
后来深度学习的出现——其他复杂的线性不可分问题可以采用更多的神经元或层次来解决，这就把SVM（支持向量机）打趴下了。
第二次寒冬融化并开启第三次浪潮。

深度学习——第二次浪潮、寒冬与解冻相关推荐

深入理解吴恩达老师深度学习课程（01神经网络和深度学习第二周）
深入理解吴恩达深度学习(01神经网络和深度学习第二周) 1引言 2.1 二分类(Binary Classification) 2.1.1 符号定义(视频给出的) 2.2 逻辑回归(Logistic ...
吴恩达深度学习第二周--logistic回归作业1
吴恩达深度学习第二周–logistic回归作业1 本系列为吴恩达老师深度学习作业的总结,其中参考了很多优秀的文章,本文为了方便日后的复习与巩固,更为详细的作业讲解参考目录吴恩达深度学习第二周--l ...
深度学习 - 第二章 - 机器学习基础
深度学习 - 第二章 - 机器学习基础第二章机器学习基础 2.1 各种常见算法图示 2.2 监督学习.非监督学习.半监督学习.弱监督学习? 2.3 监督学习有哪些步骤 2.4 多实例学习? 2.5 ...
TensorFlow 深度学习第二版：6~10
原文:Deep Learning with TensorFlow Second Edition 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译 ...
3.10 深度学习框架-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 训练一个 Softmax 分类器回到目录 3.11 TensorFlow 深度学习框架 (Deep Learning Frameworks) 你已经差不多从零开始学 ...
3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 Softmax 回归回到目录 3.10 深度学习框架训练一个 Softmax 分类器 (Training a Softmax Classifier) 上一个视频中 ...
3.5 将 Batch 拟合进神经网络-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.4 正则化网络的激活函数回到目录 3.6 Batch Norm 为什么奏效将 Batch 拟合进神经网络 (Fitting Batch Norm into a Neu ...
2.11 总结-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.10 局部最优的问题回到目录 3.1 调试处理总结习题第 51 题当输入从第8个mini-batch的第7个的例子的时候,你会用哪种符号表示第3层的激活? A. ...
2.10 局部最优的问题-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.9 学习率衰减回到目录 2.11 总结局部最优的问题 (The Problem of Local Optima) 在深度学习研究早期,人们总是担心优化算法会困在极差的 ...

深度学习——第二次浪潮、寒冬与解冻

深度学习——第二次浪潮、寒冬与解冻相关推荐

最新文章

热门文章