Tengine 一个注重性能和兼容性的AI框架

https://www.toutiao.com/a6643578312285225479/

2019-01-07 17:01:00

前段时间，Tensorflow官方提供的本地编译的方式在Arm嵌入式设备运行Tensorflow Lite，我在11月中旬，使用本地编译的方式编译二进制的Label_image, 对RK3288 以及树莓派上做了性能的测试。

A17与A53 MobilenNet V1(fp) 性能对比

从性能测试的结果来看，物美价平的树莓派其实性能并不弱。但是今天我想介绍一个我新发现并让我眼前一亮的框架Tengine.

Tengine 显著的优点是性能和兼容性，使用Tengine框架后运行性能可以得到大幅度的提升。

下图为MobileNet V1_1.0_224 浮点型模型单张图片分类在单核A53的性能对比。我们可以看到Tengine 有显著的优势。

MobileNet V1_1.0_224 浮点型模型单张图片分类在单核A53的性能对比

Tengine 框架有着非常好的模型兼容性，支持直接加载caffe/mxnet/tensorflow模型文件，而不需要事先转换，而且用户仅需编译就可以利用Tengine的加速Caffe和Tensorflow性能。

Tengine 不仅可以让分类网络的性能大大提升，连大家众所周知的MobileNet-SSD 网络也能提升它的性能。很多人都觉得树莓派的性能不足以hold住检测网络，但是如果用Tengine框架就可以做到。

即使是开源版是每一帧的检测耗时仅为 286.136ms，足以看出Tengine的性能非常强大。

开源版上每一帧的检测耗时仅为 286.136ms

GPU用半浮点精度float16的检测结果准确无误

有兴趣的朋友可以看一下Tengine GitHub的主页，最近还推出了跑MobileNet分类网络的Android App，手机端就可以使用AI 程序。

https://github.com/OAID/Tengine/?tt010701

https://github.com/OAID/Tengine-app/?tt010701

关于OPEN AI LAB

OPEN AI LAB（开放智能实验室）于2016年12月成立，由Arm中国联合产业伙伴发起，致力于推动芯片、硬件、算法软件整个产业链的深度合作，加速人工智能产业化应用部署和应用场景边界拓展，为最终实现万物智能贡献力量。

Tengine 一个注重性能和兼容性的AI框架相关推荐

演讲实录：百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
【转载】演讲实录：百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
【PaddlePaddle+OpenVINO】打造一个指哪读哪的AI“点读机”
转自AI Studio,原文链接:[PaddlePaddle+OpenVINO]打造一个指哪读哪的AI"点读机" - 飞桨AI Studio 0 背景介绍现下,随着各种流行APP ...
FSR-Unity-URP 1.0 的性能和兼容性问题
1)FSR-Unity-URP 1.0 的性能和兼容性问题 2)计算大文件MD5耗时问题 3)如何监听Unity即将Reload Script 4)如何对Unity游戏的Android崩溃和ANR问 ...
一个SQL性能问题的优化探索（二）(r11笔记第38天)
继续前几天的一个案例一个SQL性能问题的优化探索(一)(r11笔记第33天) 如下的SQL语句存在索引字段CARD_NO,但是执行的时候却走了全表扫描,因为这是一个核心表,数据量很大,导致数据库负载很 ...
华为鸿蒙ai字幕,EMUI11一个值得吹爆的功能？AI字幕，支持翻译英日韩
在昨天华为的HDC开发者大会上,华为不仅带来了自研鸿蒙系统的最新消息,表示年底华为手机将开始适配鸿蒙系统,明年华为手机则将全面支持鸿蒙系统,而且还发布了全新的EMUI11.EMUI11相比上一代EMU ...
记录一个android性能优化宝藏级总结
发现一个android性能优化文章宝藏级总结,太赞了,感谢大佬的无私奉献总结,防止丢失,在此记录一下传送门复制一些目录,增加一些篇幅{嘻嘻} 优化心得和经验抖音 Android 性能优化系列:启 ...
浏览器性能和兼容性测试
闲来无事,测试了一下现在主流浏览器对JavaScript,DOM,CSS的性能和兼容性的支持,数据如下: [b]JavaScript执行的速度[/b] [img]http://farm3.static ...
ML-Agents与训练达不到目的AI的斗争史-如何用unity训练一个类吸血鬼幸存者自动躲避AI(探讨，暂时非成功经验)1.0
问题:如何用unity训练一个类吸血鬼幸存者自动躲避AI. 我的想法: 应该抓住问题的根源解决:类吸血鬼幸存者游戏的躲避的目的是使血量维持一个健康值,所以我的逻辑是对训练的AI所有奖励(AddRewa ...

Tengine 一个注重性能和兼容性的AI框架

Tengine 一个注重性能和兼容性的AI框架相关推荐

最新文章

热门文章