4. Network and Hardware Co-Design

4.1 Network Optimization

对于网络算法的优化主要采用以下两种思路：

（1）减小计算精度和对参数进行低位宽量化：参数类型为定点数与浮点数的比较，数据位宽对精度的影响

（2）减少计算量和参数存储量：参数压缩(Compression)，网络裁剪（Pruning）

下图1所示为FP32, FP16, INT32, INT16, INT8五种数据类型，位宽表示含义，取值范围以及精度的表示。

图 1

下图2所示为操作数用不同位宽表示的情况下，进行单次不同类型的计算后，在能耗与运算硬件单元占用面积两个方面的对比。

图 2

4.2 Methods to Reduce Bits

（1）Quantization:对训练好的参数直接进行量化处理，用定点数来表示原浮点数参数，采用这种方法，会产生不可避免精度丢失的情况。

图 3

图3所示为在对原浮点参数进行量化时，对参数数据进行可视化处理，用定点数去尽可能的表示更多的浮点数。

（2）Dynamic Fixed Point: 在直接将浮点数量化处理成单一定点数的基础上，采用动态定点数的方式可以在一定程度上减小精度丢失。

（3）Fine-tuning(Retrain Weights):直接再训练的过程中，对参数进行量化处理，这样在对算法进行硬件平台移植时，不需要进行额外的量化操作，可以保证在训练后的精度不变的情况下，提高算法的执行速度。这里在训练过程中，使得权值参数值保持围绕在一个中心范围，需要加入Batch Normalization Layer，这里，从另一个角度理解了Batch Normalization Layer的重要性了。

（4）Impact on Accuracy

图 4

图4所示为采用静态定点数和动态定点数对权值参数进行量化处理后，Top-1 accuracy的变化折线图。可以直观的看出，采用动态定点数量化的方法能够保证更小的准确率的损失。

（5）Precision Varies from Layer to Layer

图 5

在采用动态定点数对权值参数进行量化处理策略的基础上，为进一步减小量化处理带来的准确率丢失的情况，可以采用更细粒度的优化策略，即对每一层运算层采用对应层最合适的数据位宽进行量化处理。如图5所示。

（6）Binary Nets

图 6

图 6所示为网络参数分别在不进行二值化，权值参数二值化，权值参数和特征数据二值化三种情况下，在计算方式，数据存储，前向计算时间，计算精度上的对比。可以看到，在对数据依次递增进行二值化处理后，数据存储在变小，单次前向计算时间有明显增加，但代价就是计算精度的损失。

（7）Reduce Number of Ops and Weights

1) Network Compression: Low Rank Approximation, Weight sharing and Vector Quantization

2) Pruning: Weights, Activations

3) Network Architectures

[PS:这部分的优化主要是针对算法设计，我目前知识有限，也是一知半解，可以参考相关的资料]

5. Benchmarking Metrics for DNN Hardware

基本的评价指标参数有：Accuracy, Power, Throughput, Cost;

额外的评价指标参数有：External memory bandwidth, Required on-chip storage, Utilization of cores(实际算力和理论算力的比较)

（1）DNN Algorithm的评价参数指标

1）计算准确度（Accuracy）

2）网络结构（网络层数，卷积核大小，卷积核层数，特征数据通道数）

3）权值参数存储大小

4）完成一次前向传播运算所需要进行的乘加（MAC）操作次数

表 1

表 2

表1和表2所示为AlexNet, VGG-16, GoogLeNet(v1), ResNet-50的评价参数指标的具体表示。

（2）DNN Hardware的评价参数指标

1）能耗参数指标，系统能耗比（单运算量下的能耗）

2）访存带宽，从片外DRAM中存取数据的速度

3）硬件理论算力，MAC运算单元的操作数的数据位宽和硬件运算单元的数目

4）面积（硬件资源的使用情况）

（3）ASIC Benchmark (Eyeriss)

表3和表4所示为基于ASIC硬件平台设计的硬件加速器的评价参数指标的具体表示。

表 3

表 4

（4）FPGA Benchmark

表5所示为基于ASIC硬件平台设计的硬件加速器的评价参数指标的具体表示。

表 5

DNN硬件加速器设计4 -- Co-Design and Benchmarking Metrics（MIT）相关推荐

mit数据集_MIT的DNN硬件加速器教程（二）流行的DNN和数据集
本slide主要介绍当前流行的一些DNN以及数据集 slide链接 https://www.rle.mit.edu/eems/wp-content/uploads/2019/06/Tutorial-o ...
基于FPGA的LSTM加速器设计（MNIST数据集为例）
摘要本文以MNIST手写数字识别任务为例,使用FPGA搭建了一个LSTM网络加速器,并选取MNIST数据集中的10张图片,通过vivado软件进行仿真验证.实验结果表明,本文设计的基于FPGA的LS ...
【基于zynq的卷积神经网络加速器设计】（一）熟悉vivado和fpga开发流程：使用Vivado硬件调试烧写hello-world led闪烁程序实现及vivado软件仿真
HIGHLIGHT: vivado设计流程: note: 分析与综合和约束输入可以调换顺序 [基于zynq的卷积神经网络加速器设计](一)熟悉vivado和fpga开发流程:使用Vivado硬件 ...
如何设计神经网络的硬件加速器
设计神经网络的硬件加速器的方法有很多种,具体的方法取决于你的应用场景以及你希望达到的性能目标.一些常用的方法包括: 使用专门设计的神经网络处理器,比如 Google 的 Tensor Processi ...
XC7VX690T板卡设计资料：VC709E 基于FMC接口的Virtex7 XC7VX690T PCIeX8 接口卡软件无线电处理平台图形图像硬件加速器 Net FPGA
VC709E 基于FMC接口的Virtex7 XC7VX690T PCIeX8 接口卡一.板卡概述本板卡基于Xilinx公司的FPGA XC7VX690T-FFG1761 芯片,支持PCIeX8. ...
基于pynq的数字识别神经网络加速器设计
文章目录基于pynq的数字识别神经网络加速器设计软件部分 1. 全连接神经网络: 2. 卷积神经网络搭建: 3. 文件格式转换: 硬件部分 1. MNIST的硬件实现思路 2. 代码编写与硬件综合 ...
【CV】RegNet：通用 CNN 网络设计空间（Design Spaces）设计范式
论文名称:Designing Network Design Spaces 论文下载:https://arxiv.org/abs/2003.13678 论文年份:2020 论文被引:446(2022/0 ...
实验项目5.1 深度学习算法与硬件加速器
实验对CPU的修改不多,如果完全按照RISC-V的要求设计CPU,将mul归类为R-Type的话,改动较多.但是我们可以单独设计一跟op_mul电线,然后单独设计乘法指令. 乘法指令的实现,直接使用其 ...
英特尔Intel® Arria® 10 FPGA加速器设计
英特尔Intel® Arria® 10 FPGA加速器设计 Introducing the Intel® Vision Accelerator Design with Intel® Arria® 10 ...
硬件加速器为人工智能应用服务
硬件加速器为人工智能应用服务 Hardware accelerators serve AI applications 硬件加速器(Hardware accelerators)是用于执行特定任务(如对对 ...

DNN硬件加速器设计4 -- Co-Design and Benchmarking Metrics（MIT）

4. Network and Hardware Co-Design

4.1 Network Optimization

4.2 Methods to Reduce Bits

5. Benchmarking Metrics for DNN Hardware

DNN硬件加速器设计4 -- Co-Design and Benchmarking Metrics（MIT）相关推荐

最新文章

热门文章