深度学习（一）深度前馈网络（deep feedforward network）

深度前馈网络（deep feedforward network），也叫作 前馈神经网络（feedforward neural network）或者 多层感知机（multilayer perceptron, MLP）。
前馈网络的目标是近似某个函数。
前馈网络主要干两件事：定义一个映射 y = f(x; θ)；学习这个映射里的参数 θ 的值，使它能够得到最佳的函数近似。

这样的模型被称为是前向（feedforward）的，这是因为原始信息流过x的函数以及（用于定义）f的中间计算过程，最终到达输出 y。在模型的输出和模型本身之间没有反馈（feedback）连接。当前馈神经网络被扩展成包含反馈连接时，它们被称为 循环神经网络（recurrent neural network）。（简单来说前馈神经网络就是，学习从 x 到 y 的确定性映射并且没有反馈连接。）

前馈神经网络被称作网络（network）是因为它们通常用许多不同函数复合在一起来表示。例如：我们有三个函数 f(1), f(2) 和 f(3) 连接在一个链上以形成：f(x) = f(3)(f(2)(f(1)(x)))。
这些链式结构是神经网络中最常用的结构。在这种情况下，f(1) 被称为网络的 第一层（first layer），f(2) 被称为 第二层（second layer），以此类推。链的全长称为模型的深度(depth）。正是因为这个术语才出现了 ‘‘深度学习’’ 这个名字。前馈网络的最后一层被称为 输出层（output layer）。在神经网络训练的过程中，我们让 f(x) 去匹配 f ∗(x) 的值。

训练数据为我们提供了在不同训练点上取值的、含有噪声的 f ∗(x) 的近似实例。每个样本 x 都伴随着一个标签 y ≈ f ∗(x)。训练样本直接指明了输出层在每一点 x 上必须做什么；它必须产生一个接近 y 的值。但是训练数据并没有直接指明其他层应该怎么做。学习算法必须决定如何使用这些层来产生想要的输出，但是训练数据并没有说每个单独的层应该做什么。因此算法必须决定如何使用这些层来最好地实现 f ∗ 的近似。另外，训练数据并没有给出这些层中的每一层所需的输出，所以这些层被称为 隐藏层(hidden layer）。网络中的每个隐藏层通常都是向量值。这些隐藏层的维数决定了模型的宽度(width）。

我们可以从线性模型来理解前馈网络。 线性模型是非常迷人的，例如逻辑回归和线性回归，它们都能高效且可靠地对数据进行拟合。但是，它也有明显的缺陷，它无法理解任何两个输入变量间的相互作用。
为了解决这个问题，我们可以不把线性模型用于 x 本身，而是用在一个变换后的输入 ϕ(x) 上，这里 ϕ 是一个非线性变换。我们可以认为 ϕ 提供了一组描述 x 的特征，或者认为它提供了 x 的一个新的表示。

那么如何选择映射 ϕ呢？

使用一个通用的 ϕ，例如无限维的 ϕ。 如果 ϕ(x) 具有足够高的维数，我们总是有足够的能力来拟合训练集，但是对于测试集的泛化往往不佳。
手动地设计 ϕ。 在深度学习出现以前，这一直是主流的方法。
学习 ϕ。 （深度学习的策略）在这种方法中，我们的模型为：y = f(x; θ, w) =ϕ(x; θ)⊤w。该模型有两种参数：用于从一大类函数中学习 ϕ 的参数 θ，以及用于将 ϕ(x) 映射到所需的输出的参数 w。这种通过学习特征来改善模型的一般化原则不仅仅适用于前馈神经网络。它是深度学习中反复出现的主题，适用于所有种类的模型。

接下来，我们粗略介绍一下部署一个前馈网
络所需的每个设计决策：首先，训练一个前馈网络至少需要做和线性模型同样多的设计决策：选择一个优化模型、代价函数以及输出单元的形式。其次，我们需要去选择用于计算隐藏层值的 激活函数（activation function）。另外，我们还必须设计网络的结构，包括网络应该包含多少层、这些层应该如何连接，以及每一层包含多少单元。

深度学习（一）深度前馈网络（deep feedforward network）相关推荐

4.深度学习练习：Building your Deep Neural Network: Step by Step（强烈推荐）
本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...
综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
深度学习之生成对抗网络（4）GAN变种
深度学习之生成对抗网络(4)GAN变种 1. DCGAN 2. InfoGAN 3. CycleGAN 4. WGAN 5. Equal GAN 6. Self-Attention GAN 7. Bi ...
不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络！
文章转载自订阅号「夕小瑶的卖萌屋」中的文章<不要再纠结卷积的公式啦!0公式深度解析全连接前馈网络与卷积神经网络>. Hello~你们的小夕终于吐泡泡了-前几天小夕又加班赶project啦, ...
[转] 介绍深度学习和长期记忆网络
机器学习,深度学习 101 IBM Power Systems 入门 Beth Hoffman 和 Rupashree Bhattacharya 2017 年 7 月 04 日发布 WeiboGoog ...
#今日论文推荐# 爱丁堡大学等首篇《移动无线网络中的深度学习》综述论文，67页pdf涵盖570篇文献阐述深度学习在移动无线网络中的应用最佳实践
#今日论文推荐# 爱丁堡大学等首篇<移动无线网络中的深度学习>综述论文,67页pdf涵盖570篇文献阐述深度学习在移动无线网络中的应用最佳实践移动设备的迅速普及以及移动应用和服务的日益普 ...
【深度学习智能手机步态识别】Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解
[深度学习智能手机步态识别]Deep Learning-Based Gait Recognition Using Smartphones in the Wild 论文理解解决什么问题本文创新点/贡 ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
提升深度学习模型性能及网络调参
提升深度学习模型性能及网络调参 https://www.toutiao.com/a6637086018950398472/ 图像处理与机器视觉 2018-12-25 10:42:00 深度学习有很多的 ...

深度学习（一）深度前馈网络（deep feedforward network）

深度学习（一）深度前馈网络（deep feedforward network）

深度学习（一）深度前馈网络（deep feedforward network）相关推荐

最新文章

热门文章