深度学习介绍-深度学习是什么

title: 深度学习介绍(深度学习是什么?)
author: 戴挽舟（BbiHH）
tags:

AI大数据
categories:
深度学习专栏
date: 2019-10-17 20:59:00

↓↓恐怖慎入↓↓

深度学习 - What is this?

深度学习

深度学习（英语：Deep Learning）是机器学习的分支，是一种以 人工神经网络 为架构，对数据进行 表征学习 的算法。它基于一种算法，通过线性或非线性的转换，尝试使用多个处理层的深度图来对数据中的高级抽象经行建模。

深度学习 是 机器学习 的技术和研究领域之一，通过建立具有阶层结构的 人工神经网络（Artifitial Neural Networks, ANNs） ，在计算系统中实现人工智能。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有 表征学习（representation learning） 能力，可以实现端到端的 ·监督学习· 和 ·非监督学习· 。此外，深度学习也可参与构建 强化学习（reinforcement learning） 系统，形成深度强化学习。深度学习所使用的阶层 ANN 具有多种形态，其阶层的复杂度被通称为深度。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对 诸如文字，
图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习
能力，能够识别文字、图像和声音等数据。

表征学习

机器学习系统的性能主要取决于向系统提供的数据，这称为数据表征（表征是指信息记载或表达的方式，我们可以这样理解，表征是指可以指代某种东西的符号或信号）。与表征相关的所有信息成为数据的特征（特征是一个客体或一组客体特性的抽象结果）。

　　计算机通过数据表征进行处理来完成我们预设给他的任务。机器学习系统对数据表征的依赖对我们来说并非是未知的，大多数计算机理论都是基于数据表征而表现更好。

　　表征学习可以定义为：根据数据当前层的表征来推断下一层数据的表征。表征学习算法都有的优势：它 捕获隐藏的因素 ，而这一子集可能适用于每个特定的子任务。

例如:在对数字进行识别的MLP神经网络中，倒数第二层中就可认为是 捕获的隐藏的因素 – 各数字的可能组成部分。这些隐藏因素都有可能对应到输出层的各个数字(分类为哪个数字)。

深度学习模型

深度学习是机器学习的一个子领域。通过构建多层的表征或从一系列表征和特征中学习一个具有层次的结构的特征集，深度学习能解决表征学习的主要问题。

　　深度学习模型，例如：图片识别模型

　　在图片识别时，我们希望给出一个图片img，计算机能直接告诉我们图片的结果（例如读取图片分类出数字）。想象成通过图片像素点的数据，通过一个函数F(img),直接识别出图片。

　　F(img)是一个直接映射，但计算机几乎是不可能对这类映射直接训练的。
但为了应付这些类型的任务，深度学习会创建连接至期待输出的一系列映射子集，来解决这些问题。

当然，这里直接通过图片得出判断也可能是不可取的，但还能继续将任务分解。

深度神经网络模型 : 其通过对映射的一层层抽象出来，最终完成最终映射

映射的每个子集对应于模型的一个层，输入层(img的像素值)包含了可观察变量，处于可见层。而中间的子映射从输入中逐层提取数据的抽象特征，这些抽象的值在给定数据中是不可用或不可见的，所以这些层也被称为 隐藏层 。

神经网络

神经网络是很早的一个概念，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。深度学习其实就是一个具有阶层结构的人工神经网络，可以认为深度学习是神经网络的一个品牌。

　　其主要可以描述为：

神经网络主要为分为3个层级，输入层、隐含层、输出层，而每一层由多个神经元组成
神经元获取所有上一层神经元的输出统计计算后得到一个新的输出
每一个的神经元其实可以理解为一个函数实体，有多个输入值，而输出一个输出值
再这个函数中会对每一个输入乘以一个权重（0-1）再加/减一个阈值，整体求和后用一种规格化函数（激活函数）将输出进行整理到一个新的的输出值
以此类推得到最终的输出

当然这里描述的是常见的神经网络（neural networks）

深度前馈网络

神经网络可以是循环的或前馈的。简单来说，具有两层或者更多(隐藏)层的神经网络被定义为深度前馈网络，也叫作前馈神经网络或者多层感知机，是典型的深度学习模型。

　　深度前馈网络的原理是，随着深度的增加，网络可以执行跟多的顺序指令。顺序指令可以提供很大的威力，因为它们可以指向较早的指令。

　　前馈网络的目标是近似某个函数fff。例如，对于分类器，y=f(x)y = f(x)y=f(x)将输入xxx映射到一个类别yyy。前馈网络定义了一个映射y=f(x;θ)y = f(x; \theta)y=f(x;θ)，并且学习参数θ\thetaθ的值，使它能够得到最佳的函数近似。

　　这种模型被称为前向的，是因为信息流过xxx的函数，流经用于定义fff的中间计算过程，最终到达输出yyy。在模型的输出和模型本身之间没有反馈连接。当前馈神经网络被扩展成包含反馈连接时，它们被称为循环神经网络，在后面介绍。

其它相关术语

∇\nabla∇ 深度神经网络（Deep Neural Networks可以将深度神经网络定义为具有多个隐藏层的多层感知器。

∇\nabla∇ 循环神经网络（Recurrent Neural Networks) 是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）

∇\nabla∇ 深度信念网络（Deep Belief Networks） 可以定义为具有可见层和多个(隐藏)潜在变量层的概率生成模型。既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器来使用。DBN由若干层神经元构成，组成元件是受限玻尔兹曼机（RBM）。

∇\nabla∇ 玻尔兹曼机（Boltzmann Machine） 是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络属于反馈神经网络类型。其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为。其具有简单的学习算法，可以从训练数据集中发现代表复杂规律的许多有趣特征。

∇\nabla∇ 受限玻尔兹曼机（Restricted Boltzmann Machine） 是一种可通过输入数据集学习概率分布的随机生成神经网络。受限玻兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同，受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。

∇\nabla∇ 卷积神经网络（Convolutional Neural Networks） 是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络。

∇\nabla∇ 深度自动编码器（Deep Auto-encoder） 是一种具有多个隐藏层的自动编码器。自动编码器(autoencoder) 是神经网络的一种，该网络可以看作由两部分组成：一个编码器函数h = f(x) 和一个生成重构的解码器r = g(h)。传统上，自动编码器被用于降维或特征学习。

∇\nabla∇ 梯度下降（Gradient Descent） 梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一。

∇\nabla∇ 随机梯度下降（Stochastic Gradient Descent） 一种梯度下降的优化算法，能更快地使计算机获得想要的最优解。

关于提及的相关知识将再后面以专题出现。