文章目录

  • Paddle-Lite
  • Paddle2ONNX
  • 其它经验

Paddle-Lite

from: https://github.com/PaddlePaddle/Paddle-Lite

Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架定位于支持包括移动端、嵌入式以及边缘端在内的多种硬件平台

当前 Paddle Lite 不仅在百度内部业务中得到全面应用,也成功支持了众多外部用户和企业的生产任务。

快速入门

使用 Paddle Lite,只需几个简单的步骤,就可以把模型部署到多种终端设备中,运行高性能的推理任务,使用流程如下所示:

一. 准备模型

Paddle Lite 框架直接支持模型结构为 PaddlePaddle 深度学习框架产出的模型格式。目前 PaddlePaddle 用于推理的模型是通过 save_inference_model 这个 API 保存下来的。 如果您手中的模型是由诸如 Caffe、Tensorflow、PyTorch 等框架产出的,那么您可以使用 X2Paddle 工具将模型转换为 PaddlePaddle 格式。

二. 模型优化

Paddle Lite 框架拥有优秀的加速、优化策略及实现,包含量化、子图融合、Kernel 优选等优化手段。优化后的模型更轻量级,耗费资源更少,并且执行速度也更快。 这些优化通过 Paddle Lite 提供的 opt 工具实现。opt 工具还可以统计并打印出模型中的算子信息,并判断不同硬件平台下 Paddle Lite 的支持情况。您获取 PaddlePaddle 格式的模型之后,一般需要通该 opt 工具做模型优化。opt 工具的下载和使用,请参考模型优化方法。

三. 下载或编译

Paddle Lite 提供了 Android/iOS/X86/macOS 平台的官方 Release 预测库下载,我们优先推荐您直接下载 Paddle Lite 预编译库。

Paddle Lite 已支持多种环境下的源码编译,为了避免复杂、繁琐的环境搭建过程,我们建议您使用 Docker 开发环境 进行编译。当然,您也可以根据宿主机和目标设备的 CPU 架构和操作系统,在源码编译方法中找到相应的环境搭建及编译指南,自行完成编译环境的搭建。

四. 预测示例


Paddle2ONNX

from: https://github.com/PaddlePaddle/Paddle2ONNX/

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署,包括 TensorRT/OpenVINO/MNN/TNN/NCNN,以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。

安装

pip install paddle2onnx

使用

其它经验

官方issue:https://github.com/PaddlePaddle/PaddleOCR/issues

PaddleOCR存在奇奇怪怪的问题,好像2.5版本 比较稳定

【强推】PaddleOCR系列博客: https://blog.csdn.net/juluwangriyue/category_10782661.html

【PaddleOCR】Paddle-Lite, Paddle2ONNX介绍, 学习教程...相关推荐

  1. Blender中的Python脚本介绍学习教程

    Blender中的Python脚本介绍学习教程 MP4 |视频:h264,1280×720 |音频:AAC,48000 Hz 语言:英语+中英文字幕(根据原英文字幕机译更准确)|大小解压后:1.63 ...

  2. 深度学习平台——Paddle核心框架介绍

    摘要 本博文将最后的讲解和学习有关于的Paddle的核心框架的分享.并且有关于的Paddle的学习就暂时告一段落.后期本人将更多的在与深度学习的原理和利用Paddle开发自己的深度学习模型作为分享.飞 ...

  3. 少儿编程Scratch学习教程--Scratch介绍及参赛相关

    之前写了几篇关于Scratch的使用文章.忽然想起,忘记介绍下Scratch了. Scratch是一款由麻省理工学院(MIT) 设计开发的少儿编程工具.官方网址是麻省理工学院网站的一个分支.这个软件的 ...

  4. 乐行学院RabbitMQ学习教程 第一章 RabbitMQ介绍(可供技术选型时使用)

    乐行学院RabbitMQ学习教程 第一章 RabbitMQ介绍 RabbitMQ介绍 1.RabbitMQ技术简介 2.RabbitMQ其他扩展插件 2.1监控工具rabbitmq-managemen ...

  5. EDEM入门学习教程—界面介绍

    大家好,这个假期比较无聊,以EDEM2022为例,码一篇EDEM入门学习的教程.先介绍EDEM界面. 打开EDEM,上面这一块是标题栏,右面是图形界面,左边是模型树. 先看标题栏,主要介绍中间这一条, ...

  6. Paddle Lite端侧部署

    Paddle Lite端侧部署 端侧推理引擎的由来 随着深度学习的快速发展.特别是小型网络模型的不断成熟,原本应用到云端的深度学习推理,就可以放到终端上来做,比如手机.手表.摄像头.传感器.音响,也就 ...

  7. 国产AI框架再进化!百度Paddle Lite发布:率先支持华为NPU在线编译,全新架构更多硬件支持...

    乾明 边策 发自 凹非寺  量子位 报道 | 公众号 QbitAI 国产AI框架飞桨刚刚带来新进化:Paddle Lite正式发布! 高扩展.高性能.轻量化,还是首个支持华为NPU在线编译的深度学习端 ...

  8. 模型压缩高达75%,推理速度提升超20%,百度Paddle Lite v2.3正式发布

    如今,诸如计算机视觉.智能语音交互等基于深度学习的AI技术,在满足日常应用层面上已经非常成熟.比如,人脸识别闸机在机场.地铁.办公楼.学校等地方随处可见.什么都不用带,只要刷个脸就行,方便快捷又省事! ...

  9. caffe不支持relu6_国产AI框架再进化!百度Paddle Lite发布:率先支持华为NPU在线编译,全新架构更多硬件支持...

    乾明 边策 发自 凹非寺  量子位 报道 | 公众号 QbitAI 国产AI框架飞桨刚刚带来新进化:Paddle Lite正式发布! 高扩展.高性能.轻量化,还是首个支持华为NPU在线编译的深度学习端 ...

最新文章

  1. python源文件保存在哪里_python数据爬下来保存在哪里
  2. linux游戏欢迎界面,制作Linux登录欢迎界面
  3. http网址捆綁代理php_PHP获取IP,HTTP代理问题
  4. Light-Head R-CNN
  5. 【Java代码】使用双冒号 :: 简洁代码及方法引用(静态方法+构造方法+实例方法+函数式编程举例)
  6. linux sudo命令全称,linux sudo命令的概念与使用
  7. pointer-events:none解决重叠元素不能感应鼠标事件的问题
  8. Silverlight C# 游戏开发:关于精灵for Silverlight容器
  9. 数据库流行度10月排行榜:Oracle 王者归来和 Redis 青云直上
  10. Alibaba Druid 源码阅读(四) 数据库连接池中连接获取探索
  11. 数据库---连接查询,数据表之间的并交集关系
  12. Linux 启动 Apache 时报错:(98)Address already in use: make_sock: could not bind to add
  13. java映射理解_Java反射的理解
  14. vscode之添加到右键快捷方式
  15. FR的控件CSS样式
  16. Linux 实现与宿主机共享文件夹 Centos7
  17. 突然决定要记笔记,于是就来到了博客园,希望自己能够坚持下去
  18. 蓝牙耳机连接电脑没有声音解决办法
  19. adb shell循环命令_Android adb 命令使用总结
  20. 开发者百宝箱——DevToys

热门文章

  1. c语言里op,57-赋值语句中的op=形式
  2. 用R进行多元线性回归分析建模
  3. JQuery插件:遮罩+数据加载中。。。(特点:遮你想遮,罩你想罩)
  4. JS中删除数组中的元素
  5. 模拟退火算法全解(Simulated Annealing)文末有源码
  6. 图片转DATA:URI工具
  7. 通过session实现用户的登录与登出功能
  8. 远程调试工具之weinre
  9. 如何自学Axure(0基础入门教程)
  10. 【Python】正则表达式re库