深度学习发展历程

1950s
提出了感知机perceptron，但是由于感知机不能解决异或问题，很快被学术界否认了。
之后不久便提出了多层感知机，多层感知机成功的解决了异或问题，并被认为可以在拟合任意形状的分类面，但是由于多层感知机本身面临难以训练的问题，也没有得到广泛的认可。

1980s
1980年提出了反向传播算法（back propagation），为多层感知机的训练提供了理论上的解决方案，但是多层感知机在计算的过程中依然面临梯度消失、不容易收敛、计算速度慢等问题。

2006s
Geoffrey Hinton 发表一篇论文《Deep Belief Nets 深度置信网络》,提出了用逐层预训练的方式来训练神经网络，被认为是神经网络第三次兴起的开端。

2010s
GPU加速训练神经网络
Nevida 提出了cuda计算框架，迅速占领了深度学习的市场。

在当前阶段神经网络依然面临很多问题：

神经网络难以解释
可控性差
缺乏足够的理论依据

神经网络的分类

数据流向分类

前馈网络
反馈网络
递归网络

网络中神经元的组织形式

全连接
部分链接

网络中神经元的行为

简单神经网络
卷积神经网络
循环神经网络（RNN Recurrent ）
卷积神经网络主要用于图像处理(具有大量的局部相关性)，而循环神经网络主要用于语音识别。网络的设计是依照数据本身的特性和组织方式的。

训练方式

监督学习
非监督学习
强化学习

深度学习相关的名词及翻译

感知器（perceptron）
输入（input）/ 输出（output） / 权重（weight） / 前馈运算（feed forward）
多层感知机
隐层（hidden layer） / sigmoid激活函数（activation function）/ 损失函数（loss function） / 梯度（gradient）/ 反向传播（back propagation）
深度神经网络（deep neural network）
新的激活函数（tanh， Relu）/ 正则化（regularization）/ 归一化（Normalization）/ 特征（feature）/局部链接（locally-connected）
卷积神经网络（convolutional neural network）
卷积（convolution）/ 池化（pooling） / 批归一化（batch normalization） / dropout / 动量优化（optimizer with momentum）/ 感受野（receptive field）
循环神经网络（RNN recurrent neural network）
随时间反向传播（BP through time）/ 长短期记忆网络（long short-term memory）

神经网络的发展

感知机perceptron

输入
权重
激活函数 step function
输出
缺陷：1.只能处理0/1输出的问题 2.只能解决线性问题，无法解决异或问题

多层感知机Multi-layer perceptron

隐层
全连接
反向传播
迭代求解

深度神经网络（Deep Neural Network）

逐层预训练
新的激活函数
工业训练技巧（dropout batchNormal ）
局部连接

卷积神经网络

权值共享
局部感受野
平移缩放不变性
更多的训练技巧

循环神经网络Recurrent Neural Network

权值共享
序列相关性

深度学习基础(综述及名词解释)相关推荐

【深度学习】综述 | 深度学习的最新进展
Recent Advances in Deep Learning:An Overview 来源:机器学习研习院本文我们将简要讨论近年来关于深度学习的最新进展. 摘要:深度学习是机器学习和人工智能研究 ...
应用于语义分割问题的深度学习技术综述（语义分割综述）
应用于语义分割问题的深度学习技术综述基本介绍摘要 1 .引言 2.术语及背景概念 2.1 常见的深度网络架构 2.1.1 AlexNet 2.1.2 VGG 2.1.3 GoogLeNet 2.1 ...
应用于语义分割问题的深度学习技术综述
论文地址:https://arxiv.org/abs/1704.06857 应用于语义分割问题的深度学习技术综述摘要计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣.越来越多的应用场景需要 ...
【深度学习论文翻译】应用于语义分割问题的深度学习技术综述01
目录一.前言二.摘要三.引言四.术语及背景概念 1. 常见的深度网络架构 2. 迁移学习 3. 数据预处理与数据增强五. 数据集及竞赛 1.2维数据集 2.2.5维数据集 3.3维数据集一 ...
独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
用于表检测和结构识别的深度学习：综述
摘要表格无处不在,从科学期刊.论文.网站和报纸,到我们在超市购买的物品.因此,检测它们对于自动理解文档内容至关重要.由于深度学习网络的快速发展,表格检测的性能显著提高.本次总结的目的是深入了解表格检 ...
图像去噪的深度学习最新综述论文，36页pdf，Deep Learning on Image Denoising
图像去噪是学术工业关注的问题.最近广东深圳哈工大分院的研究人员撰写了最新图像去噪深度学习的综述论文,非常值得学习! 关注文章公众号对话框回复"paper29"获取本篇论文地址: ...
深度学习基础 | 超详细逐步图解 Transformer
作者 | Chilia 整理 | NewBeeNLP 首先,请阅读先修知识: 深度学习基础 | 从Language Model到RNN 深度学习基础 | RNN家族全面解析深度学习基础 | Seq2 ...
第三章_深度学习基础
文章目录第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 3.1.2神经网络有哪些常用模型结构? 3.1.3如何选择深度学习开发平台? 3.1.4为什么使用深层表示? 3.1.5为 ...

深度学习基础(综述及名词解释)