机器学习与计算机视觉（计算机视觉的嵌入式平台）
【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】
嵌入式设备的性能大部分来自于嵌入式芯片，也就是soc。soc中最重要的部分就是cpu，用什么内核、频率多少、几个核，这都是有讲究的。但是如果涉及到深度学习或者计算机视觉，那么使用一般的soc就会非常吃力。cpu本身既要参与运算，还要负责任务之间的切换，能不能处理得过来，还要打一个大大的问号。针对这一情况，目前市场上的解决方案有这么几种，
1、多核芯片
这种soc还是传统的多核芯片，比如nxp公司的i.mx8，本身包含了2个a72、4个a53、2个m4f，算力可见一斑。还有一个范例，就是瑞萨半导体的R-Car H3，这是比较平衡的芯片，既有8个a53，也有相关的cnn加速芯片，值得一看。此外，高通公司的820a芯片也值得一看，除了正常的算力之外，通信是它很明显的一个优势。这种情况基本就是利用cpu本身对ai进行实时处理，没有其他ic的帮助。
2、cpu + dsp
这种芯片大多数来自于TI公司，主要的芯片有 Jacinto 6 & Jacinto 7，它的优势就是同时使用arm cpu和dsp，在性能上达到最佳。
3、cpu + fpga
目前使用fpga或者cpld比较多的公司主要就是xilinx和altera。而在此基础之上，xilinx公司推出了zynq系列soc，创造性地将arm和fpga合并在一个soc里面，可以通过fpga实现一些定制性的算法，提升系统的整体性能。
4、cpu + gpu（or cuda）
目前gpu使用的比较多，特别是用来进行深度学习的训练。在gpu使用上，nvidia公司是走在前列的。从低端一点的jetson系列平台，到高端的px2平台、Xavier芯片，基本上nvdia公司提供了全部的工作平台，你要做的就是将自己的工作port到对应的平台上就可以。
5、cpu + pc（or server）
中低端的cpu多使用arm a7、arm a9，要想在这个cpu上运行算法或进行深度学习预测，这方面还是比较困难的。所以，通常用情况下，这列嵌入式开发板多是负责数据的采集工作，等到拿到数据后，进行一下简单的处理，或者直接发送给pc主机，或者上传到服务器。全志a20、树莓派、nxp的i.mx6系列、三星4412等soc基本上都是属于这一类。跑一跑简单的算法或者进行IO操作没问题，但是如果是复杂的图像算法，基本没有可能。
6、cpu + npu
比如瑞芯微的rk3399 pro，就是使用了这种模式。这也是为数不多的、市场上可以买到的带npu的soc。这种开发板目前可以在各大电商网站买到，有兴趣的同学可以试一试。目前，华为的Hikey970开发板也可以在市场上买到，它的npu也支持多种模型，值得一试。
7、低阶soc + intel 神经计算棒
如果希望在mcu上运行ai算法，基本上只有intel神经运算棒这一种方法了。目前intel神经计算棒已经进化到第二代，可以在公开市场买到。
比51单片机、MCU复杂，但是性能弱于或者接近pc，这类嵌入式soc还是有自己特点的。对于这类soc，只了解linux、cpu是远远不够的，必须时刻考虑到如何把算法移植到工程上面，并且优化好。这才是重中之重。
根本目前的发展趋势，多核cpu、cpu+ti、cpu+fpga都只是暂时的方案。比较实用的解决方法还是cpu+pc，或者cpu+gpu、cpu+npu。前者交互太慢、实时性不够，后者价格太高、短时间无法量产，所以都需要一个时间来慢慢解决。长期来看，soc中都会有专门的ip来解决这一类的问题，类似于ISP、encode、decode、GPU、MIPI、HDMI这种，这也是从高端到低端不断演进和发展的一个过程。现在很多芯片都集成了CNN IP就说明了这一点。
不管什么嵌入式芯片，它的性能都不能和pc、server相提并论，我们所要做的就是怎么在性能和成本之间寻求一个平衡。
机器学习与计算机视觉（计算机视觉的嵌入式平台）相关推荐
- AI：一个20年程序猿的学习资料大全—人工智能之AI/机器学习/深度学习/计算机视觉/Matlab大赛——只有你不想要的，没有你找不到的
AI:一个20年程序猿的学习资料大全-人工智能之AI/机器学习/深度学习/计算机视觉/Matlab大赛--只有你不想要的,没有你找不到的 目录 (有偿提供,替朋友转载,扫描下方二维码提问,或者向博主扫 ...
- 【百家稷学】深度学习与嵌入式平台AI实践（北京交通大学实训）
继续咱们百家稷学专题,本次是有三AI在北京交通大学进行的暑期课程教学.百家稷学专题的目标,是走进100所高校和企业进行学习与分享. 分享主题 本次分享是在北京交通大学计算机与信息技术学院进行,主题是& ...
- uefi 嵌入式Linux,面向嵌入式平台的高级UEFI开发环境.PDF
面向嵌入式平台的高级UEFI开发环境 面向嵌入式平台的高级 UEFI 开发环境 晋磊, 技术市场工程师, 英特尔 周鹏程, 开发经理, 百敖软件* 姜波, 首席技术官, 盛博科技* PTAS003 议 ...
- 自动驾驶 | MINet：嵌入式平台上的实时Lidar点云数据分割算法，速度可达 20-80 FPS！...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现.主要的创新点有两点:一是利用多路分支采用不 ...
- linux mkfs 源码,mkfs工具怎么移植到嵌入式平台下面
找到了e2fsprogs-1.41.3的源码,怎么修改编译后才能移植到嵌入式平台? 有交叉编译工具.但是不知道怎么修改Makefile文件 刚开始e2fsprogs的源码里没有Makefile文件 但 ...
- Qt Creator嵌入式平台
Qt Creator嵌入式平台 嵌入式平台 Bare Metal裸机 Boot2Qt 通用远程Linux 微控制器单元(MCU) QNX 嵌入式平台 您可以为以下嵌入式平台开发应用程序: Bare M ...
- 深度学习自学（二十二）：人脸检测人脸识别-嵌入式平台方案汇总
整理的人脸系列学习经验:包括人脸检测.人脸关键点检测.人脸优选.人脸对齐.人脸特征提取等过程总结,有需要的可以参考,仅供学习,请勿盗用.https://blog.csdn.net/TheDayIn_C ...
- 嵌入式linux编码器,基于嵌入式平台的视频编码器的实现-嵌入式系统-与非网
引言 H.264是由ISO(国际标准化组织)/IEC(国际电工协会)和ITU(国际电信标准化部门)合作制定的新一代视频编码标准,目前正处于应用开发阶段.与以往的视频编码标准相比,h.264具有更高的压 ...
- 移植 SOEM 到嵌入式平台 STM32F767
STM32H743 SOEM EtherCAT基于STM32H743芯片和SOEM的EtherCAT主站源码 提供配套CUBE工程. SOEM协议栈使用1.3.1版本. 可配套NUCLEO-H743Z ...
- 嵌入式平台的VGA接口设计及VGA接口时序波形图
大多数嵌入式产品的显示终端都选择LCD,但在某些需要大屏幕显示的应用中,工业级LCD的价格比较昂贵,且现有的大屏幕显示器(包括CRT显示器和LCD显示器)一般都采用统一的15针VGA显示接口.三星公司 ...
最新文章
- 力邀安卓为鸿蒙效力,期末阅读题答题秘籍2
- 处理南通一客户：Fortigate 310B Firmware丢失
- 猫头鹰的深夜翻译：API网关的重要性
- 清华计算机知识工程怎么样,张民（muslv）清华大学计算机系知识工程组 硕士清华大学.ppt...
- 和smi_nvidia-smi 报错：无法与 nvidia driver 通信
- 仿windows造字程序的 ASP.NET图片组合生成控件
- 最新2019 蚂蚁金服4面(Java)面试题
- mysql错误总结-ERROR 1067 (42000): Invalid default value for TIMESTAMP
- 解剖C语言---数据类型转换与数据运算集锦
- 专技天下河北省2016年专业技术人员继续教育公需科目题库答案（答题器）
- py-faster-rcnn标注FDDB人脸便于其在FDDB上进行测试
- html flag属性,纯CSS实现文章左上角Flag标签
- MIDIPLUS/迷笛studio m pro 2 valve声卡安装调试教程
- ios app 通过扫码下载ipa自动安装应用
- 设备管理器出现“未知USB设备”同时蓝牙不可用的解决方法
- Matlab粒子群聚类程序
- cannot open file /storage/emulated/0/DCIM/Camera/yinpin.mp4 (Permission denied)
- Fiddler抓手机app的包
- 需要类型转换时请为模板定义非成员函数——条款46
- 【LOJ3055】「HNOI2019」JOJO