深度学习端到端的概念

端到端模型就是将可以多步骤/模块解决的任务使用单个模型来建模解决，一般在深度学习中比较常见。使用多步骤、多模型解决一个复杂任务的时候，一个明显的弊端是各个模块训练目标不一致，某个模块的目标函数可能与系统的宏观目标有偏差，这样训练出来的系统最终很难达到最优的性能；另一个问题是误差的累积，前一模块产生的偏差可能影响后一个模块。

端到端优点

端到端模型仅使用一个模型、一个目标函数，就规避了前面的多模块固有的缺陷，这是它的优点之一；另一个优势是减少了工程的复杂度，一个网络解决所有步骤，也就是「炼丹」。
成也萧何败也萧何。

端到端缺点

端到端模型的一个劣势，就是贡献分配问题，这也是深度学习的一个弊病。在多模块解决方案中，我们可以比较清晰地看到/检测每一个模块的性能，也就是贡献；而在端到端模型中，我们很难确定模型中「组件」对最终目标的贡献是什么样的。换一句话说，模型变得更加「黑盒」了，也就降低了网络的可解释性。另外，端到端模型的灵活性也更低，比如原本的多个模块中数据的获取难度不一样的时候，可能不得不依靠额外的模型来协助训练。

同一网络结构的算法为啥可以用在很多问题上

一个神经网络起到信息过滤的作用，数据中包含的大量信息，经过层层过滤，对任务有用的部分被留下，无关的部分都滤掉，最终只留下标签信息。过滤哪些、留下哪些，就全靠训练了，只要模型结构能适应任务，那这个过程是可以进行的。需要多少数据又由模型的复杂度决定(请参考PAC学习理论)，数据不足的时候可以考虑增强等技巧。

深度学习端到端的优缺点和网络泛化性相关推荐

用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈
用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈深度学习已变得无处不在,不可或缺.这场革命的一部分是由可扩展的深度学习系统推动的,如滕索弗洛.MXNet.咖啡和皮托奇.大多数现有系统针对 ...
让深度学习进入移动端，蘑菇街在移动端的深度学习优化实践
http://777n.com/keji/50566.html http://777n.com/keji/50566.html http://777n.com/keji/50566.html 深度学习 ...
深度学习算法移动端部署设备--NVIDIA英伟达开发套件
深度学习算法移动端部署设备--NVIDIA英伟达开发套件简介 NVIDIA Jetson AGX Xavier CSI Camera USB or CSI 简介以下产品分模块(module)和开发 ...
【深度学习】超强优化器如何与网络有机结合
[深度学习]超强优化器如何与网络有机结合 1 Ranger优化器 2 一个例子(基于CNN和pytorch) 3 剪枝(减小优化器压力) 1 Ranger优化器 RAdam + Lookahead + ...
深度学习笔记（27）经典卷积网络
深度学习笔记(27) 经典卷积网络 1. 前言 2. LeNet-5 3. AlexNet 4. VGGNet 1. 前言讲了基本构建,比如卷积层.池化层以及全连接层这些组件事实上,过去几年计算机 ...
深度学习笔记（12） Batch归一化网络
深度学习笔记(12) Batch归一化网络 1. Batch归一化 2. 激活值归一化 3. 特殊情况不归一化 4. mini-batch上的Batch归一化 1. Batch归一化 Batch归一化 ...
花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
[深度学习论文笔记]医学图像分割U型网络大合集
[深度学习论文笔记]医学图像分割U型网络大合集 2015 U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI ...
Keras深度学习实战（22）——生成对抗网络详解与实现
Keras深度学习实战(22)--生成对抗网络详解与实现 0. 前言 1. 生成对抗网络原理 2. 模型分析 3. 利用生成对抗网络生成手写数字图像小结系列链接 0. 前言生成对抗网络 (Gen ...

深度学习端到端的优缺点和网络泛化性

文章目录

深度学习端到端的概念

端到端优点

端到端缺点

同一网络结构的算法为啥可以用在很多问题上

深度学习端到端的优缺点和网络泛化性相关推荐

最新文章

热门文章