隆重介绍恩智浦MCU机器学习教育套件—

各位看官新年好，小编在这里祝各位童鞋在2021年里

GOOD GOOD STUDY DAY DAY UP ！

经常关注恩智浦MCU加油站的童鞋应该熟悉，在过去的一年里，加油站陆陆续续发布了很多篇关于AI机器学习的文章。里面有介绍神经网络基础知识的，模型设计原理的，还有一些人脸识别，图像分类的示例。

很多童鞋看了心痒痒，想要验证一番。奈何没有配套软硬件，无法施展。是不是有种空有屠龙技，没有风火轮，混天绫的遗憾啊！

在这里小编向大家隆重推出，基于MCU平台的AI机器学习开发套件：OpenART。

智能车参赛的童鞋可能已经听说过了。没错，OpenART的首发亮相就是今年智能车竞赛，AI视觉组里的图像识别模块。

OpenART的软件是由NXP研发。原型开发使用的硬件平台是i.MX RT1060 EVK，最近又乔迁到了逐飞(SeekFree)公司的SeekFree ART开发板上。野火公司也很快会推出一款Fire ART开发板。这三款开发板使用的都是i.MX RT1060系列高性能跨界处理器。但OpenART项目不止限于高性能的AI应用，后面，我们还打算移植到与逐飞合作的一款基于LPC55xx的IoT开发板。

^{▲ NXP i.MX TR1060-EVK}

^{▲ OpenART野火版}

^{▲ OpenART逐飞}

OpenART的硬件采取模块化设计，有两排扩展口，其中一排兼容树莓派的通信接口，支持多种数据采集运算。高度集成设计，尺寸与名片大小相仿，可以方便集成到各种使用场景。

输入端口:

OMV4 Camera
板载支持2个I2S麦克风，可扩展8个I2S麦克风阵列
板载支持加速传感器，陀螺仪，压力，温湿度，光线传感器
支持8路ADC数据采集
支持SPI高速WIFI模块

输出控制端口:

一只贴片喇叭或者3.5毫米耳机接口，由MQS.LEFT通过D类功放来驱动
RGB LED和一个独立LED
USB device口，模拟出虚拟串口
TF卡接口，存储脚本和数据
SPI LCD显示
IO扩展8080
云台载具(PTV)扩展口

看到这些这些明星阵容，各位童鞋有没有怦然心动啊？没错，就是这么大方。
OpenART的BSP主要实现如下功能：

⊙ 基于神经网络的机器学习和深度学习
比如：

图像处理，图像分类，人脸识别
语音触发，音源定位
多媒体数据的机器学习(异常检测，姿态识别，智能控制策略)
智能可运动物体（模仿+强化学习）-机电联动：云台载具
模型验证，人工智能教育

⊙ OpenART里包含了3个各有千秋的神经网络推理引擎
分别是NN, NNCU, 和TF。

NN 这是OpenMV在3年前最早实现的简易引擎，是开山之石般的存在，也启迪了我们的工作。
虽然现在看上去比较单薄了，但可以运行OpenMV早期提供的一些例子(.network文件)，包括识别手写数字的lenet.network。它需要Caffe来训练模型，并且使用OpenMV提供的2个脚本来量化，只支持线性拓扑。不建议为它训练新模型。
NNCU，去年了解过电磁AI的同学可能对它已经有印象了。
NNCU是我们基于CMSIS-NN和自己的扩展制作的一套完整的工具，使用CMSIS-NN传统API，可以达到最高的性能。尤其是在搭配了我们特色的权重缓存功能，在大型模型上的性能提升可达2-5倍！不过，由于量化机制比较简单，只支持2的方幂的放大倍数，在 8位量化精度在大型模型上稍有下降。

NNCU使用Keras来训练模型，它的工具可以从https://pan.baidu.com/s/1eQADEHg8UVhTsZWT_lRRgw来下载。

TF，这是OpenMV最新基于TensorFlow lite micro制作的引擎，使用CMSIS-NN的新一代”_s8” API，量化系数不再有2的方幂的限制，并且每个通道有自己的量化系数，可以达到最高的8位量化精度，但牺牲了少量性能。它甚至可以支持浮点模型，当然这也是以牺牲性能为代价的。
TF可以导入.tflite文件，一般使用TensorFlow来训练模型。

下面的小表总结了这3个引擎各自的特色。

由于NNCU和TF都可以使用Keras API，我们建议使用Keras或tf.keras训练模型。如果模型不大（小于10层主运算）先使用NNCU上量化，否则先用TF量化，在精度与性能间权衡。

★ 机器视觉处理：OpenART项目包含了OpenMV软件在i.MX RT1060上的移植，可以使用OpenMV的功能和示例。

★ MCU教育。基于MicroPython，实现了python对基础外设的控制。并且独创了管脚动态管理模块CMM，通过CMM动态配置管脚，不用更改烧录固件既可以切换管脚不同的功能。
从图中可以看出，OpenART集成了现在最火爆的RTOS：RT-Thread。基于RTOS，各位童鞋可以愉快地添加自己的应用而不影响其它模块。而且通过RT-Thread的开发环境，可以集成RT-Thread Online packages。

试想一下机器学习+Cloud，是不是很炫酷呢！

^{▲ OpenART工具架构}

小编在这里透露一下，OpenART预计第一季度，也就是三月份与大家见面。代码计划在GitHub开源。未来可能会允许有想法，有能力的童鞋提交一些比较好的应用代码，软件模块。是不是特别的期待呢？？

隆重介绍恩智浦MCU机器学习教育套件——OpenART相关推荐

乐高教育的发展史：揭秘历代乐高教育套件
能边玩边学习,可谓是我们每个已经步入社会中的人儿时梦想,如今,随着科技的高速发展,寓教于乐已不再是难题.1980年,乐高集团成立乐高教育,并推出用于支持学校教学的乐高教育套装. 关于乐高的历史,我们都 ...
美国三院院士、加州大学伯克利分校统计系主任Michael I. Jordan介绍[推荐的机器学习书单等] (公号可下载PDF)
美国三院院士.加州大学伯克利分校统计系主任Michael I. Jordan介绍[推荐的机器学习书单等] (公号可下载PDF) 原创: 秦陇纪科学Sciences 今天科学Sciences导读:论 ...
痞子衡嵌入式：恩智浦MCU安全加密启动一站式工具nxpSecBoot用户指南
痞子衡嵌入式:恩智浦MCU安全加密启动一站式工具nxpSecBoot用户指南 nxpSecBoot 1 软件概览 1.1 介绍 nxpSecBoot是一个专为NXP MCU安全加密启动而设计的工具,其 ...
《隆重介绍思源黑体：一款Pan-CJK 开源字体》
关于思源黑体思源黑体是谷歌与 Adobe 联合开发,支持简体中文.繁体中文.日文.韩文以及英文:支持 ExtraLight.Light.Normal.Regular.Medium.Bold 和 He ...
痞子衡嵌入式：恩智浦MCU安全加密启动一站式工具NXP-MCUBootUtility用户指南
NXP MCU Boot Utility English | 中文对于MCUBootUtility,RT-Flash工具,有任何使用上的问题,可以在<痞子衡嵌入式>博客下留言,也可以扫码 ...
Google更新机器学习开发套件ML Kit，新增支持自动回复与语言识别
https://www.toutiao.com/a6677743830109782539/ Google拓展了机器学习套件ML Kit的可应用情境,现在不仅提供图像辨识功能,开始加入自然语言处理,提供 ...
【综述】介绍这些常用机器学习算法的优缺点
视学算法来源:数据派THU.七月在线目录正则化算法(Regularization Algorithms) 集成算法(Ensemble Algorithms) 决策树算法(Decision Tre ...
隆重介绍！一款新型基于姿势的人像实例分割框架
全文共2493字,预计学习时长15分钟或更长拍摄:Jezael Melgoza 来源:Unsplash 近年来,由于现实应用需求大,在计算机视觉领域有关"人"的研究层出不穷,实体 ...
从变量到封装：一文带你为机器学习打下坚实的Python基础 By 机器之心2017年10月13日 10:43 本文整体梳理了 Python 的基本语法与使用方法，并重点介绍了对机器学习十分重要的且常
首先,什么是 Python?根据 Python 创建者 Guido van Rossum 所言,Python 是一个:高级编程语言,其设计的核心理念是代码的易读性,以及允许编程者通过若干行代码轻松表达 ...

隆重介绍恩智浦MCU机器学习教育套件——OpenART

隆重介绍恩智浦MCU机器学习教育套件——OpenART相关推荐

最新文章

热门文章