CNN网络加速--Performance Guaranteed Network Acceleration via High-Order Residual Quantization
Performance Guaranteed Network Acceleration via High-Order Residual Quantization
ICCV2017
本文是对 XNOR-Networks 的改进,将CNN网络层的输入 进行高精度二值量化,从而实现高精度的二值网络计算,XNOR-Networks 也是对每个CNN网络层的权值和输入进行二值化,这样整个CNN计算都是二值化的,这样计算速度快,占内存小。
对CNN网络模型进行加速目前主要有三类方法:
1)Parameter Pruning 网络裁剪,去掉权值接近0的 连接 rounding off near-zero connections,再重新训练精简后的网络
2)Model Compression,网络结构稀疏逼近,这种技术对每个模型都是专家经验的设计, not a general plug-in solution, low-rank approximated
3)Network Quantization,网络参数量化,对模型的参数和网络层的输入进行二值化,如XNOR
本文就是在 XNOR-Networks 的基础上,对网络层的输入二值化进行改进,实现高精度二值量化。
我们首先来看看 XNOR-Networks
文献【21】提出了两个二值化网络:BWN and XNOR
BWN uses binary weights to speed up the computation. 网络层权值二值化
XNOR is based on BWN and realizes the binarization of input data in a convolutional layer. 网络层的 输入和 权值都二值化
对于一个网络的卷积层,假定其 输入时 I ,滤波器权值是 W,该卷积层需要进行的卷积运算可以表示为 I∗W
BWN 的思路是对 W 进行二值化
用二值权值训练一个L层的网络流程如下:
XNOR 在BWN 基础上,对网络层输入进行二值量化 input tensor X: X ≈ βH, H is binary filter
3.2. High-Order Residual Quantization
XNOR 的量化步骤如下所示:
那么这种量化的误差是多少了?
我们定义 first-order residual tensor
我们对 R1再进行二值量化
输入的二阶残差量化表达式为 Order-Two Residual Quantization
我们得到对应的量化结果:
对于 Order-K Residual Quantization
3.3. The HORQ Network
Tensor Reshape if we reshape the input tensor and weight tensor into two matrices respectively, the convolution operation can be considered as a matrix multiplication
怎么讲二值化的参数 变为矩阵形式
这个可以参考 opencv 中图像数据是怎么表示的,图像数据是怎么保存在内存中的
Convolution Using Order-Two Residual Quantization 二阶量化怎么卷积
Training HORQ Network
4 Experiments
MNIST
HORQ vs XNR on CIFAR-10
Model size comparison: Binary vs Float
speedup ratio
CNN网络加速--Performance Guaranteed Network Acceleration via High-Order Residual Quantization相关推荐
- 网络加速和压缩技术论文整理
从加速和压缩本身来说,两者不是同一件事,但通常情况下我们往往会同时做加速和压缩,两者都会给网络的计算带来收益,所以我们习惯将它们放在一起来讲. 低秩近似(low-rank Approximation) ...
- 数据科学家分享:AI之主流CNN网络的架构分析
1 绪论 20世纪60年代,Hubel等人通过对猫视觉皮层细胞的研究,提出了感受野这个概念,到80年代,Fukushima在感受野概念的基础之上提出了神经认知机的概念,可以看作是卷积神经网络的第一个实 ...
- 远场语音识别错误率降低30%,百度提基于复数CNN网络的新技术
[12月公开课预告],入群直接获取报名地址 12月11日晚8点直播主题:人工智能消化道病理辅助诊断平台--从方法到落地 12月12日晚8点直播:利用容器技术打造AI公司技术中台 12月17日晚8点直播 ...
- CNN网络优化加速开源代码汇总
BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 https: ...
- CNN网络优化加速汇总
网络裁剪加速 Learning Efficient Convolutional Networks through Network Slimming ICCV2017 https://github. ...
- 后端根据百度地图真实路径距离_远场语音识别错误率降低30%,百度提基于复数CNN网络的新技术...
[12月公开课预告],入群直接获取报名地址 12月11日晚8点直播主题:人工智能消化道病理辅助诊断平台--从方法到落地 12月12日晚8点直播:利用容器技术打造AI公司技术中台 12月17日晚8点直播 ...
- cnn stride and padding_经典CNN网络解析
NIN网络-Network In Networkblog.csdn.net 梦里寻梦:(四十二)通俗易懂理解--CNN网络框架演进:LeNet至DenseNetzhuanlan.zhihu.com ...
- 图卷积网络 GCN Graph Convolutional Network(谱域GCN)的理解和详细推导
文章目录 1. 为什么会出现图卷积神经网络? 2. 图卷积网络的两种理解方式 2.1 vertex domain(spatial domain):顶点域(空间域) 2.2 spectral domai ...
- 图像分类网络-经典CNN网络简介
在CNN网络结构的演化上,出现过许多优秀的CNN网络,CNN的经典结构始于1998年的LeNet,成于2012年历史性的AlexNet,从此大盛于图像相关领域,主要包括: 发展历史:Lenet --& ...
最新文章
- 只要7天 传统便利店就能免费升级无人超市
- java 线程池(2)
- 12、Grafan 4.3升级到Grafana 5.0
- 玩转Python大数据分析 《Python for Data Analysis》的读书笔记-第05页
- 深度学习(十三)caffe之训练数据格式
- margin负值布局(一)
- Fib数模n的循环节
- JS浏览器加载一个页面的过程
- android sdk 封装html5,Android平台以WebView方式集成HTML5+SDK方法
- 基于Hadoop的产品大数据分布式存储优化
- 全国网络教育统考计算机应用基础题目精选,全国网络教育统考计算机应用基础题目精选解析.doc...
- 前端怎么使用jsessionid_前端搞微前端 | 侑夕 - 如何落地微前端一体化运营工作台...
- Ubuntu18.04关闭docker开机自启动
- sqoop导入与导出总结
- 20个最常用的Windows命令行
- iperf简介与下载安装
- 安全架构--14--企业安全管理体系建设总结
- ArcCatalog导出数据
- 根据录入的计算公式计算_增值税含税怎么计算?
- 线程系列2---线程同步