模型加速--Slimmable neural networks

Slimmable neural networks
ICLR2019
Code and models will be released

可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务。
硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。同一个模型，设置一下参数就可以了

At runtime, the network can adjust its width on the fly according to on-device benchmarks and resource constraints, rather than downloading and offloading different models.

在 runtime 阶段，网络可以根据 on-device benchmarks and resource constraints 快速调整网络的宽度（ number of channels in a layer），不用重新下载不同的模型

同一个网络模型在不同的设备上运算时间也是不一样的。

反过来，对于不同的硬件设备及运行环境，我们能否快速的提供与之相适应的CNN网络模型来完成相关的任务了？

Given budgets of resources, how to instantly, adaptively and efficiently trade off between accuracy and latency for neural networks at runtime?

如何实现这个目的了？在训练的过程时，我们对不同的 switches 采用 independent batch normalization

Switchable Batch Normalization (S-BN), that employs independent batch normalization (Ioffe & Szegedy, 2015) for different switches in a slimmable network.

4分支网络和 8 分支网络性能对比

In general, slimmable neural networks perform better than those that are individually trained. The gain of performance is presumably due to implicit model distillation (Hintonet al., 2015; Romero et al., 2014) and richer supervision signals

模型加速--Slimmable neural networks相关推荐

轻量级网络 Slimmable Neural Networks
Slimmable Neural Networks 论文地址:https://arxiv.org/abs/1812.08928 Github: https://github.com/JiahuiYu/ ...
第五门课序列模型(Sequence Models) 第一周循环序列模型（Recurrent Neural Networks）
第五门课序列模型(Sequence Models) 第一周循环序列模型(Recurrent Neural Networks) 文章目录第五门课序列模型(Sequence Models) 第一周 ...
吴恩达deeplearning.ai系列课程笔记+编程作业(13)序列模型(Sequence Models)-第一周循环序列模型（Recurrent Neural Networks）
第五门课序列模型(Sequence Models) 第一周循环序列模型(Recurrent Neural Networks) 文章目录第五门课序列模型(Sequence Models) 第一周 ...
【论文整理】基于图神经网络的社交推荐模型整理Graph Neural Networks for Recommender Systems: Challenges, Methods, and Direct
社交推荐模型发展历程图形构造在具有社会意识的推荐系统中,用户的最终行为取决于朋友的社会影响和他/她自己的偏好.社交推荐面临的主要挑战之一是如何构建社交图来捕捉朋友的社交影响.一般来说,社交网络中的 ...
深度学习系列 -- 序列模型之循环序列模型（Recurrent Neural Networks）
目录 1 为什么选择序列模型?(Why Sequence Models?) 2 数学符号(Notation) 3 循环神经网络(Recurrent Neural Network Model) 4 语言 ...
Convolutional Neural Networks for Visual Recognition 1
Introduction 这是斯坦福计算机视觉大牛李菲菲最新开设的一门关于deep learning在计算机视觉领域的相关应用的课程.这个课程重点介绍了deep learning里的一种比较流行的模型 ...
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
<Deep Neural Networks for Learning Graph Representations>- (AAAI-16)-2016 文章目录一.模型 1.1解决了两个问题 ...
一文看懂推荐系统：Gate网络2：百度GemNN（Gating-Enhanced Multi-Task Neural Networks）
一文看懂推荐系统:Gate网络2:百度GemNN(Gating-Enhanced Multi-Task Neural Networks) 提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例, ...
[C5W1] Sequence Models - Recurrent Neural Networks
第一周循环序列模型(Recurrent Neural Networks) 为什么选择序列模型?(Why Sequence Models?) 在本课程中你将学会序列模型,它是深度学习中最令人激动的内容 ...

模型加速--Slimmable neural networks

模型加速--Slimmable neural networks相关推荐

最新文章

热门文章