深度学习端上部署工具
深度学习端上部署工具
| 模型 | 公司 | 通用性别 | 说明 |
| tf-lite | tensorflow，开源 |
通用性最强，与 tensorflow 适配完美，不过性能一般 支持CPU和GPU |
roadmap 中预计年底将实现对全系列rnn以及control flow的支持，值得期待！ |
| TensorRT | nvidia，闭源 | 支持CPU和GPU | 仅支持nvidia gpu系列产品推理，平台的限定使得无法推广到一般的移动端设备使用 |
| OpenCV | |||
| mnn | 阿里巴巴，开源 | 踩在巨人的肩膀上进行研发，起点高，端上性能强悍，据说性能强于ncnn |
吸取了最近两年开源的移动端推理框架的各种优秀成果
硬件支持：
|
| TNN | 腾讯，开源 | 支持CPU和GPU | |
| ncnn | 腾讯，开源 |
大量手写汇编级别优化，移动端性能强悍 支持CPU和GPU |
|
| bolt | 华为，开源 | 支持CPU和GPU | 官方数据中给出了端设备上bert的推理性能数据 |
| mace | 小米，开源 | ||
| paddle-lite | 百度，开源 | ||
| pytorch-mobile | facebook，开源 | ||
| caffe2 | facebook，开源 | ||
| tvm | 陈天奇团队，开源 |
深度学习端上部署工具相关推荐
- 当深度学习遇上异构并行计算
当深度学习遇上异构并行计算 近几年来,以深度神经网络(DNN)为代表的深度学习如火如荼,深度学习的研究领域从开始的图像识别(如imagenet比赛)到现在的自然语言处理,几乎有席卷一切机器学习研究领域 ...
- 阿里开源！轻量级深度学习端侧推理引擎 MNN
AI科学家贾扬清如此评价道:"与 Tensorflow.Caffe2 等同时覆盖训练和推理的通用框架相比,MNN 更注重在推理时的加速和优化,解决在模型部署的阶段的效率问题,从而在移动端更高 ...
- 淘宝开源深度学习端侧推理引擎 MNN
本文由淘宝技术授权,转载请联系原作者 与 Tensorflow.Caffe2 等同时覆盖训练和推理的通用框架相比,MNN 更注重在推理时的加速和优化,解决在模型部署的阶段的效率问题,从而在移动端更高效 ...
- 【超分辨率】从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程
此文转自 知乎专栏 棉花糖的工坊 作者 棉花糖 (侵删) 一直在学习图像超分辨率和深度学习,看到此文写得很好,故此转载分享.如有侵权,私信联系我,我将作删除. 超分辨率技术(Super-Resolut ...
- TensorRT深度学习训练和部署图示
TensorRT深度学习训练和部署 NVIDIA TensorRT是用于生产环境的高性能深度学习推理库.功率效率和响应速度是部署的深度学习应用程序的两个关键指标,因为它们直接影响用户体验和所提供服务的 ...
- 深度学习端到端的优缺点和网络泛化性
文章目录 深度学习端到端的概念 端到端优点 端到端缺点 同一网络结构的算法为啥可以用在很多问题上 深度学习端到端的概念 端到端模型就是将可以多步骤/模块解决的任务使用单个模型来建模解决,一般在深度学习 ...
- 长文干货！走近人脸检测：从VJ到深度学习（上）（下）
长文干货!走近人脸检测:从VJ到深度学习(下) http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650324508&idx= ...
- 深度学习史上最全总结
1.概述 深度学习(Deep Learning),这是一个在近几年火遍各个领域的词汇,似乎所有的算法只要跟它扯上关系,瞬间就显得高大上起来.但其实,从2006年Hinton在Science上的论文算起 ...
- PaddlePaddle开发者福利：深度学习环境一键部署+基础入门指导书
2019独角兽企业重金招聘Python工程师标准>>> 由河北科技大学许云峰老师团队打造和分享,线下深度学习实验环境镜像(PaddlePaddle Fluid 1.1.0版+Pyth ...
最新文章
- ICLR2018论文投稿抢先看：Ian Goodfellow由衷赞赏的训练稳定方法SN-GANs
- java initcause_initCause()是什么意思
- Intel daal4py demo运行过程
- HTTP Strict Transport Security (HSTS) in ASP.NET Core
- YbtOJ#912-神秘语言【结论,欧拉定理】
- 阿里巴巴成立云原生技术委员会，云原生升级为阿里技术新战略！
- 统计字符串中某字符出现次数
- iPhone Application Programming Guide, Ch4
- php源码 学校版 cms,S-CMS学校建站系统PHP源码(含小程序) v5.0 bulid20201126
- seaweedFS基本使用
- 计算机桌面声音图标,win7桌面右下角的小喇叭音量图标不见了怎么办?
- qt打开xls文件_Qt读取excel文件的两种方法
- 移动终端基带芯片的基本架构介绍之一（arm框架的软硬件组合）
- 51单片机课设--篮球计分器
- 【cocos2dx】记录解决csb创建font字体造成的内存泄漏问题
- 【二次元的CSS】—— 用 DIV + CSS3 画咸蛋超人（详解步骤）
- golang学习（三）—— 数组、切片、map
- 小程序报错 TypeError: Cannot read property getPreloadAdUnitIds ?
- Web开发项目 # 2048小游戏
- httpclient请求webservice接口