基于FPGA实现的MobileNet V1,FPGA深度学习加速器设计 CNN Accelerators based on FPGAs
Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs
最近arXiv上挂出来一篇文章,采用FPGA实现MobileNet V1,并且完全是不借助片外资源,用的是on-chip memory,没有利用off-chip RAM。整个模型在FPGA的内部有限资源上实现的。能够使得帧率在3000 FPS,这个是最近我看到的一个很快的实现速度了。整个网络采用了多精度实现,而且是软硬件结合的方式。整个实现流程如图所示。
文中也提到了常规算法,在FPGA上实现所采用的方式,即将计算展开,叫做roll-unroll, flatten。本文采用的flattened streaming cores来进行计算。整个卷积的计算采用的寄存器实现,能够高效的进行操作。这个工程量还是非常大的。下图展示了常规卷积的实现过程,一个周期cycle计算每一层output的c'个通道上的每一个点的值。采用移位或者乘法器的方式实现。第二个分图展示的是depthwise convolution的计算过程,对每一层单独使用一层filter。这个表示也是standard convolution和depthwise convolution的原理解释。
对于多精度,多bit数的执行,将activation的值,设置为8 bit 定点数,只是说定点量化的整数和小数,是可以varying from convolution layer。每一层各有不同,是 一个贪心搜索算法来搜索得到的。
同时,作者也单独把BN层来进行量化,这里是16位 定点数。
整体实现难度很大,需要仔细的去看实现细节。在真实实现过程中,问题还是很多。各种配置文件。c++写一些比较上层难以优化和实现的算法和代码。下端verilog写卷积的模板文件,以及可分离卷积,这些规则极强,大量for循环计算的模块,Verilog效率高。混合精度的实现,需要利用寄存器来发挥优势,而浮点数据的操作,就要消耗更多资源,这时候需要用上层一点的类似于HLS来实现。整个流水的设计,需要紧密的在每一层上做好时钟计算和设计,上一层的网络输出结果,以如何的方式,直接接入下一层的计算。整个流水排开之后,才能达到所叙述的3000fps。单独处理一张图片,应该是不能达到的。
具体实现过程还有很多细节,作者的最优权重搜索算法,如何对应不同的input size,模型大小,做扩展,而且是可配置的,这些在FPGA实现上,算是一个优点。因为其他的FPGA实现的方法,都是写完一个,就定死,不方便在重新改写模型的大小,因为里面涉及时序,涉及流水的对齐。这个软件定义模型,然后在硬件综合生成电路,再转换为bit流的方式,可以加快各种模型原型实现的速度。总体不错。如果想更仔细的看里面的各种细节,查看原文吧。
论文链接:Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs https://arxiv.org/pdf/1910.10075v1.pdf
**如果有用,记得点赞
基于FPGA实现的MobileNet V1,FPGA深度学习加速器设计 CNN Accelerators based on FPGAs相关推荐
- 基于自动图像分割算法和扩展数据集深度学习的经济作物病害识别
基于自动图像分割算法和扩展数据集深度学习的经济作物病害识别 1.作物病害识别出现的问题 实际应用中作物图像的复杂背景信息和训练数据不足会导致深度学习的错误识别. 2.研究内容 提出了一种基于自动图像分 ...
- AI大事件 | 谷歌的计算引擎鸟枪换炮用上了更快的GPU,基于Python的亚马逊AWS深度学习AMI
大数据文摘作品 编译 | 宁云州 呜啦啦啦啦啦大家好呀,又到了本周的AI大事件时间了.过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库 ...
- 基于Ubuntu 18.04机器人操作系统环境和深度学习环境配置
基于Ubuntu 18.04机器人操作系统环境和深度学习环境配置详解 CUDA+Cudnn+ROS+anaconda+ubuntu装机必备 笔记本双系统安装 U盘启动项安装ubuntu18.04.1 ...
- 基于python语言,使用爬虫和深度学习来预测双色球(二、模型训练与测试)
在上一篇博文中(基于python语言,使用爬虫和深度学习来预测双色球(一.数据的准备)),我们完成了数据的准备,通过爬虫的方式将2003年至今的每一期的中奖数据保存到了txt文件中,那么我们现在就开始 ...
- 使用RTX3080显卡搭建基于Pycharm+Python+Cuda+cuDNN+TensorFlow的深度学习开发环境
本文链接:https://blog.csdn.net/tjhyx2012/article/details/112955582 作为一名新手,也是出于兴趣,我通过查找有关资料,使用RTX3080显卡搭建 ...
- 第 12 章 基于块匹配的全景图像拼接--Matlab深度学习实战图像处理应用
第 12 章 基于块匹配的全景图像拼接–Matlab深度学习实战图像处理应用GUI实现 效果如图所示 完整案例 主函数文件 Gui_Main.m文件 function varargout = Gui_ ...
- 基于人脸的常见表情识别(1)——深度学习基础知识
基于人脸的常见表情识别(1)--深度学习基础知识 神经网络 1. 感知机 2. 多层感知机与反向传播 卷积神经网络 1. 全连接神经网络的2大缺陷 2. 卷积神经网络的崛起 卷积神经网络的基本网络层 ...
- 基于岭回归的数据增强与深度学习模型
作者:禅与计算机程序设计艺术 <基于岭回归的数据增强与深度学习模型>技术博客文章 <基于岭回归的数据增强与深度学习模型> 引言 随着深度学习技术的快速发展,模型压缩.数据增强成 ...
- VTA:深度学习加速器堆栈
VTA:深度学习加速器堆栈 多功能Tensor加速器(VTA)是一个开放的,通用的,可定制的深度学习加速器,具有完整的基于TVM的编译器堆栈.设计VTA来展示主流深度学习加速器的最显着和共同的特征.T ...
最新文章
- 马斯克超级计算机玩吃鸡,在50亿美元打造的计算机上运行《绝地求生大逃杀》会怎样?...
- write up::web 实战2-注入 --sqlmap注入版
- [ilink32 Error] Error: Unresolved external 'SendARP'
- 记录一次Oracle注入绕waf
- 【交往智慧】005.做一个愿意聆听的人
- 嵌入式linux led驱动有几种写法,嵌入式Linux字符驱动LED灯设计
- python字典长度可变吗_为什么Python中字典的key必须是不可变的?
- APP自动化测试-2. Appium录制测试用例
- 快速搭建自己的人脸识别系统
- 流利阅读 2019 1.6 What happened at Theranos is a dazzling story of deception
- Python爬虫系列之全国邮编区号爬取
- Python 实现英文新闻摘要自动提取 1
- 凭实力讲,运维工程师能不能做成预言家?
- nrf51822蓝牙学习笔记三
- lisp画弯箭头_在cad中直接画箭头
- sql语句练习题,答案
- Qt QVector 详解:从底层原理到高级用法
- 小白尝试c++编写飞机大战
- NullPointerException异常的原因及java异常
- 部分Discuz!论坛刷分方法总结