全场景、简单易用、极致高效!新一代AI部署工具FastDeploy来了!
人工智能产业应用发展的越来越快,开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言,为AI开发者项目落地带来极大的挑战。
为了解决AI部署落地难题,我们发布了新一代面向产业实践的推理部署工具FastDeploy。FastDeploy旨在为AI开发者提供模型部署最优解,具备全场景、简单易用、极致高效三大特点(下文将详细解读)。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。
抢先看看硬件合作伙伴和AI部署工程师眼中的FastDeploy。(上下滑动查看)
12月12日-12月30日,《产业级AI模型部署全攻略》系列直播课程,FastDeploy联合10家硬件公司与大家直播见面。欢迎大家扫码报名获取直播链接,加入交流群与行业精英共同探讨AI部署话题。
扫码报名,获取直播链接
FastDeploy开源项目地址
https://github.com/PaddlePaddle/FastDeploy
接下来让我们详细了解FastDeploy的简单易用、全场景、高性能3大特性。
简单易用
多语言统一部署API,3行代码搞定模型部署
FastDeploy精心的完成了API设计,确保使用不同编程语言的开发者能够享受到统一的API体验。并且,无论使用哪一种编程语言,都只需要3行核心代码就可以实现预置模型的高性能推理。
FastDeploy不同语言统一部署API
一键体验预置150+热门模型,覆盖20多主流产业应用场景
FastDeploy覆盖20多主流场景,提供了150多个SOTA产业模型的端到端示例,模型类型覆盖CV、NLP、Speech和跨模态等领域,让开发者可以从场景入手,通过预置模型,使用FastDeploy快速部署起来。
FastDeploy 预置150多个产业SOTA模型
10多个端到端的部署工程Demo,助力快速集成
FastDeploy配套了10多个基于EasyEdge的端到端的部署工程Demo,可以更便捷地在端上设备体验到AI模型的效果,满足开发者产业实践中快速集成的需求。
FastDeploy多个端到端部署工程Demo
全场景
统一多端部署API,一行代码,灵活切换多推理引擎后端
统一多端部署API,一行代码,灵活切换多推理引擎后端
FastDeploy统一多端部署API,只需要一行代码,便可灵活切换多个推理引擎后端。可以非常方便地从服务端部署的代码切换到移动边缘端部署。
FastDeploy切换推理引擎后端
多框架支持,一行命令实现模型协议互转
接下来看看多框架支持的功能,FastDeploy中内置了X2Paddle和Paddle2ONNX模型转换工具。只需要一行命令便可完成其他深度学习框架到飞桨以及ONNX的相互转换,让其他框架的开发者也能通过FastDeploy体验到飞桨模型压缩与推理引擎的端到端优化效果。
FastDeploy一行代码切换多端部署
多硬件适配,快速实现多硬件跨平台部署
FastDeploy硬件适配基于飞桨硬件适配统一方案进行扩展,最大化AI模型的部署通路。目前在FastDeploy的版本中也和Intel、NVIDA、瑞芯微、芯原、Graphcore、昆仑芯、飞腾、算能、昇腾等硬件厂商完成了硬件适配,也期待与更多硬件生态伙伴共同在FastDeploy上开发更多的端到端推理部署方案。
FastDeploy快速实现跨硬件部署
极致高效
软硬联合自动压缩优化,减少部署资源消耗
性能方面,FastDeploy集成了飞桨压缩与推理的特色,联动自动压缩与推理引擎深度优化,实现了更高效的量化推理部署。利用PaddleSlim ACT自动压缩技术带来的无损压缩体验,以PP-LCNetV2和ERNIE 3.0-Medium模型为例,通过ACT自动压缩技术,操作简易度可以比拟传统离线量化,实现近乎无损的模型压缩效果。
FastDeploy一键自动压缩,减少硬件资源消耗
端到端前后预处理优化,减少部署资源消耗
FastDeploy在各模型的部署中,重点关注端到端到的部署体验和性能。在服务端对预处理过程进行融合,降低内存创建开销和计算量。在移动端集成百度视觉技术部自研高性能图像处理库FlyCV。结合FastDeploy多后端支持的优势,相较原有部署代码,所有模型端到端性能大幅提升。
FastDeploy前后预处理优化,减少硬件资源消耗
目前FastDeploy已经支持包括X86 CPU、NVIDIA GPU、Jetson、飞腾 CPU、昆仑 XPU、Graphcore IPU、华为昇腾 NPU、ARM CPU(联发科、瑞芯微、树莓派、高通、麒麟等ARM CPU硬件)、瑞芯微 NPU、晶晨 NPU、恩智浦 NPU等十多类AI硬件。开发者可以通过FastDeploy这款产品,满足全场景的高性能部署需求,大幅提升AI产业部署的开发效率。
直播预告
本次部署直播月历时3周,将联合10家硬件公司全面讲解云边端硬件部署,手把手云边端实战,体验“开箱即用”的软硬解决方案落地。
欢迎大家扫码报名获取直播链接,加入交流群与行业精英深度共同探讨AI部署落地话题。
全场景、简单易用、极致高效!新一代AI部署工具FastDeploy来了!相关推荐
- C# 编写简单易用的 Windows 截屏增强工具
前言 半年前我开源了 DreamScene2 一个小而快并且功能强大的 Windows 动态桌面软件.具体看查看<C# 编写小巧快速的 Windows 动态桌面软件>有很多的人喜欢,这使我 ...
- java 快速框架下载_Aria:简单易用、高效的下载框架(Java)
Aria Aria项目源于15年工作中遇到的一个文件下载管理的需求,当时被下载折磨的痛不欲生,从那时起便萌生了编写一个简单易用,稳当高效的下载框架,aria经历了1.0到3.0的开发,算是越来越接近当 ...
- python人像录制加声音_简单易用的录制屏幕与摄像头工具
EaseUS RecExperts 是一款简单易用的 Windows 录制屏幕工具,支持同时录制屏幕.摄像头和麦克风,支持网络摄像头,4K 游戏模式,并且可以对视频进行编辑. EaseUS RecEx ...
- 超简单易用,一款MySQL管理工具:Sequel Pro
Sequel Pro 是一个 Mac 系统上简单易用的 MySQL 和 MariaDB 数据库管理系统. 服务器和本地都是Mysql数据库 使用的工具:Sequel Pro(专门管理Mysql的工具) ...
- 论文配图美化,简单易用的SCI论文配图风格化工具教程
在使用Matplotlib的时候,一开始并不懂得美化,修改style,设置dpi-都是小打小闹,发现绘制的曲线图跟论文中的相差很远.Word.PPT.Visio.Origin.SigmaPlot都能做 ...
- 有哪些简单易用的高效办公工具?
推荐10个非常实用的办公软件和网站. 1.PDF派 PDF派是CleverPDF品牌专为中国地区用户而建立的网站,是一个20合1的好工具,页数少的时候是免费使用! 2.智办事 智办事是第一个提出以&q ...
- 基于 electron 实现简单易用的抓包、mock 工具
背景 经常我们要去看一些页面所发出的请求时,经常会用到 Charles 做为抓包工具来进行接口抓取,但一方面市面是很多抓包工具都是收费或者无法二次开发的.当前我们团队大多数用的也都是 Charles, ...
- tablueau地图标记圆形_多点钉图标记-简单易用的地图位置标记标注工具
我有个朋友是一名业务员,大江南北到处跑客户,以前都是用的百度地图的地点收藏功能,把客户的位置收藏在地图上,由于百度地图的收藏点功能过于简单,不能自定义名称,更没法添加自己的备注,也无法进行批量管理. ...
- 魔影工厂 – 免费简单易用的全能视频格式转换工具
随着手机.PSP.iPad.iPhone等各种各样的数码设备性能和屏幕越来越强大,不少人都希望将一些视频或者电影转换成它们的格式以便随时随地观看.网上视频格式转换软件非常非常的多,之前我们也介绍过格式 ...
最新文章
- python os.system重定向stdout到变量 ,同时获取返回值
- vue——组件之elementTable组件再封装
- 2020-11-11(对话框简单总结)
- python format
- ASP.NET Core 基于JWT的认证(二)
- 涨姿势,简单易懂带你玩转二叉树(图码并茂)
- IPLAT62--弹窗
- 中介者模式(Mediator)
- VS2017社区版离线下载办法
- 计算机枚举法教案,简单枚举算法教案.ppt
- 编程开发必须用到的工具书MSDN中文版
- matlab模糊pid控制教程,基于Matlab的自适应模糊PID控制器的设计
- 【SpringMVC注解篇】SpringMVC 注解驱动开发(二)JSON数据交互相关注解
- androidmmi可以卸载吗_删除Android自带的系统软件注意事项
- 本科学计算机大学学金融工程,2020年金融工程专业排名
- 【蓝凌系统】公式定义:根据某值控制审核人员会审
- Imagination利用精简操作集计算(ROSC)技术实现灵活、高性能的神经网络推理
- 单点登录 SSO 解决方案选型指南|身份云研究院
- QtCreator生成标准多行函数或者类详细注释
- CPU GPU 扫盲帖