图像识别深度学习主流方案平台比较
嵌入式AI主要用于图像识别和语音识别,图像识别主要用于工业、自动化、医疗等行业。以医疗行业为例,由于医疗保健行业大量使用大数据及嵌入式人工智能,进而精准改善疾病诊断、医疗人员与患者之间人力的不平衡、降低医疗成本、促进跨行业合作关系。此外嵌入式人工智能还广泛应用于临床试验、大型医疗计划、医疗咨询与宣传推广和销售开发。嵌入式人工智能导入医疗保健行业从2016年到2022年维持很高成长,预计从2016年的6.671亿美元达到2022年的79.888亿美元年均复合增长率为52.68%。(嵌入式AI图像识别市场数据来源参考)
多家半导体厂商已经推出嵌入式AI平台,比如
- 华为海思今年4月份发布的Hi3559A,这个样品超过100美金/片
- 集成寒武纪AI核(遗憾不是最新的版本,因为最近寒武纪又发布最新的AI版本,同时还集成大名鼎鼎Cadence的 4核DSP);
- 赛灵思Xilinx的FPGA—— Zynq 7020,ZU2CG开发难度大,价格不菲,还有其他家的ARM+FPGA方案也不便宜,开发难度也不小;
- 英伟达的GPU——JETSON TX2,TX2核心板英伟达自己生产,价格太贵,不适合产品小型化生产;
- TI 的TDA2x系列和DAVINCI系列最新的DM505,以及后续的版本,专注辅助驾驶ADAS,他的64bit浮点DSP C66X+EYE也支持深度学习(不要小瞧EYE,深度学习一个EYE比2个C66X 浮点DSP还强),不过功耗太高,软件资源也不好搞到,海掏买美国D3公司DEMO板价格不菲,而且没技术支持开发周期过长,价格也不便宜。
- Intel的Movidius Myriad 2,在软件资源方面,Intel推出神经计算棒的免费NCSDK,这个软件资源让很多公司看到嵌入AI领域的希望,很多公司都在嵌入式开发板树莓派3上面加这个神经计算棒学习。
华为海思Hi3516A/D + VPU和Hi3519V101+VPU,因为海思Hi3516A/D和Hi3519V101支持H.264/H.265编解码,带有ISP,还带有一个IVE(智能视频分析算法加速器,确切的说是传统机器视觉算法加速器),然后再加上Intel Movidius 这个支持深度学习的VPU,就是上海速嵌智造的可深度定制开发的ARM+VPU深度学习平台。也就是说同时支持传统机器视觉算法+深度学习算法,而且还支持H.265编解码。
海思Hi3516A/D和Hi3519V101的IVE支持的功能太过技术细节,将另文讲述。
Movidius Myriad 2 VPU (Vision Processing Unit——视觉处理器)被称作为“第三次影像革命的开端”的芯片方案。Movidius 已经被Intel收购,Intel Movidius Myriad 2 VPU可在不同目标应用中提供低功耗、高性能的视觉处理解决方案,其中包括嵌入式深度神经网络、位姿估计、室内导航、3D深度感应、3D制图(3D扫描建模),视觉惯性测距,以及手势/眼部跟踪,基于深度学习的环境感知。
安防巨头海康和大华把Movidius Myriad 2(MA2450)视觉处理单元应用于视频监控摄像头,在完成监控和录制等传统任务外,提供人群密度监测、立体视觉、面部识别、人数统计、行为分析以及检测非法停放车辆等先进的视频分析功能。Myriad 2为大疆最近发布的首款迷你无人机Spark提供了视觉智能技术,大批量生产。
这颗芯片被一分为二,其中一部分有12个SHAVE 128位处理器,专为影像处理负载做优化,每颗都运作在600MHz的频率下,而且有超频潜能,第一代的180MHz显然是不够看的;与这些处理器相匹配的是Movidius称之SIPP过滤器(Streaming Inline Processing Pipeline filters)的硬件加速器——可完成一些预设的影像处理任务,比如将来自不同类型摄像头的数据融合到一起,或者将多个视频内容接合到一起;另外还有2个32位RISC处理器用于芯片管理,这就是LEON4(LEON是一款32位RISC处理器,支持SPARC V8指令集,由欧洲航天总局旗下的Gaisler Research开发、维护,目的是摆脱欧空局对美国航天级处理器的依赖。LEON的主要产品线包括LEON2、LEON3、LEON4)。SHAVE这一端对原始影像数据做计算处理,OEM厂商可以选择不同的方案;SIPP则可协力处理通常任务;集中型的寄存器结构令芯片两侧可同时对相同的数据做处理。这些对于降低延迟是相当有价值的。
鉴于这样的架构设计,Myriad 2 VPU芯片面积是6.5mm,厚度1mm,具体的性能则是可以48fps的帧率同时处理来自12个1300万像素摄像头的数据,以60fps拍摄4K视频自然也是毫无压力,功耗低于0.5W(台积电28nm HPC工艺)。按照El-Ouazzane的说法,相比能够提供同等效果的GPU,Myriad 2的功耗低了最少10倍。
深度学习框架方面,支持Caffe,Caffe的全称是Convolutional Architecture for Fast Feature Embedding,是一个清晰、高效的开源深度学习框架,核心语言是C++,支持命令行、Python和Matlab接口,既可以在CPU上运行也可以在GPU上运行。同时也支持Google的TensorFlow。所以C/C++、Python程序员可以快速切入深度学习的架构去工作。前面提到的Intel Movidius神经元棒,包括他们提供的免费NCSDK软件包,可以满足那些C/C++程序员、Python程序员轻松在WIN下直接开发AI软件,也可以在ubuntu下直接开发软件,很方便,而在嵌入式前端,同样也可以支持NCSDK软件包,熟悉Caffe和TensorFlow应该很快上手进行算法优化和设计。
而2017年推出的Movidius Myriad X(MA2485)将提供十倍于Myriad 2同样功率范围内深层神经网络(DNN)的性能。
嵌入式AI MA2485
Myriad X 有4个可C编程的128位VLIW矢量处理器和可配置的MIPI通道,并扩展了2.5 MB的芯片内存和更多的固定功能成像/视觉加速器。就像在Myriad X中发现的一样,Myriad X的矢量单位都是专有的SHAVE (流混合的架构矢量引擎)处理器,对计算机视觉工作负载进行了优化。Myriad X也支持最新的LPDDR4,MA2085变体只配置了外部存储器接口。
Myriad X的另一个新功能是4K硬件编码,4K在30Hz(H.264/H.265)和60 Hz(M/JPEG)支持。从接口上看,Myriad X带来了USB 3.1和PCIe 3.0支持,这两个都是Myriad VPU家族新支持的接口。与Myriad 2一样,所有这些都是在同一个小于2W的功率范围中完成的,更具体地说是在1W以内,使用台积电16nm FFC工艺。所以说,在如此低功耗下就能完成很多视频处理和深度学习,前面提到的几个平台根本无法做到。
从目前前端图像识别市场反馈的角度看,这个Myriad 2 VPU(MA2450) 和 Myriad X VPU(MA2485)芯片出货量比较大。在开发板-学习板方面,树莓派3+可以直接拿神经计算棒进行深度学习算法开发。如果是产品设计,速嵌智造推荐ARM + VPU方案可以快速定制开发出产品。我们在HI3516D+VPU和Hi3519V101+VPU板上测试:
图像识别深度学习主流方案平台比较相关推荐
- 【百家稷学】深度学习与嵌入式平台AI实践(北京交通大学实训)
继续咱们百家稷学专题,本次是有三AI在北京交通大学进行的暑期课程教学.百家稷学专题的目标,是走进100所高校和企业进行学习与分享. 分享主题 本次分享是在北京交通大学计算机与信息技术学院进行,主题是& ...
- 深度学习框架集成平台C++ Guide指南
深度学习框架集成平台C++ Guide指南 这个指南详细地介绍了神经网络C++的API,并介绍了许多不同的方法来处理模型. 提示 所有框架运行时接口都是相同的,因此本指南适用于所有受支持框架(包括Te ...
- 构建深度学习框架运行平台
构建深度学习框架运行平台 将为TensorFlow.PyTorch和TorchScript之外的元素构建一个简单的深度学习框架运行平台模型.将展示如何从Python和C++运行推理. 打包和推断接口还 ...
- 「智源论坛Live报名」清华大学董胤蓬:深度学习对抗攻防平台
直播时间: 2020年2月25日19:30-20:30 报名方式见文末 最新一期的智源论坛Live,我们请来了上个月刚刚获得了"百度奖学金"的董胤蓬同学: 嘉宾介绍 董胤蓬,清华大 ...
- 深度学习主流框架介绍(PyTorch、TensorFlow、Keras、Caffe、Theano、MXNET)
深度学习主流框架介绍(PyTorch.TensorFlow.Keras.Caffe.Theano.MXNET) 1.Theano Theano是最早的深度学习框架之一,由 Yoshua Bengio ...
- 基于PyTorch、易上手,细粒度图像识别深度学习工具库Hawkeye开源
转载自丨机器之心 鉴于当前领域内尚缺乏该方面的深度学习开源工具库,南京理工大学魏秀参教授团队用时近一年时间,开发.打磨.完成了 Hawkeye--细粒度图像识别深度学习开源工具库,供相关领域研究人员和 ...
- 面向医学图像分析的深度学习研究方案
面向医学图像分析的深度学习研究方案 这是一篇有关"深度学习在医学图像处理方面"的研究报告的第一节,主要包含研究对象,常用方法,深度学习简介,研究现状,研究重点. 在撰写报告时,我找 ...
- [深度学习主流框架解析一] Caffe
[深度学习主流框架解析一] Caffe 1.模型文件协议解析 重点解析caffe.proto模型文件中的内容,整体的模型文件可见下图. 模型结构相关特性: 含有训练和测试推理的开关和相关的必要参数 不 ...
- RGB-D Camera深度相机主流方案对比
RGB-D Camera深度相机主流方案对比 视觉方案 RGB双目 结构光 TOF 测距方式 被动式 主动式 主动式 工作原理 双目匹配,三角测量 激光散斑编码 发射与反射信号时间差 ...
- [深度学习主流框架解析一] Onnx
[深度学习主流框架解析一] Onnx 1.模型文件协议解析 Onnx同样也是采用了Protobuf协议进行模型文件的整体构建,与Caffe相比,Onnx使用了多proto文件描述模型.因此,解析Onn ...
最新文章
- 软件公司因女员工怀二胎拒绝与其续约
- php flock 超时,php flock失效问题
- 城步一中2021高考成绩查询,2017城步一中录取分数线(附高考成绩喜报)
- 消息队列 Kafka 的基本知识及 .NET Core 客户端
- [转]angular2之@Output() EventEmitter
- Perl 模块 Getopt::Std 和 Getopt::Long
- 基于JDBC从数据库中读取数据,在百度地图批量标注地点
- centos7下扩充swap空间
- Django新手图文教程
- 怎么用python编写个apk_python写apk
- STM32掌机教程8,背景音乐
- SQlException 对象名无效
- 程序员写个人技术博客的价值与意义
- 袋鼠云产品功能更新报告01期丨用诚心倾听您的需求
- php开发天气可视化,R语言天气可视化应用 | 粉丝日志
- 缓存的穿透、击穿、雪崩分别是什么,有什么解决方法
- 【CAD】多段线的合并与闭合的操作与测试
- 【看好了】如何使用fiddler实现手机抓包,Filters过滤器!
- 基于Spring Boot应用Apache CXF发布Web Services服务
- 【CCF】ISBN号码
热门文章
- 网上关于豆瓣的思考搜集
- eclipse安卓开发环境配置全流程
- Flutter videoplayer
- GPU架构(Fermi Kepler)
- 学计算机买小米air可以么,Mi 小米 Air13.3 笔记本电脑 三个月使用体验
- vscode占用C盘空间迁移到其他盘
- java quartz配置_Quartz 定时任务(Quartz 的配置文件)
- Android 完美高仿的微信源码(转载)
- 如何用计算机给机顶盒刷机,如何利用sd卡刷机 电视盒子通用刷机方法
- [轉]快速理解VirtualBox的四种网络连接方式