AI 开发神器来了!支持 CPU 加速优化!!
AI开发现状
从过去AlphaGo在职业围棋中击败世界冠军,到现在大火的自动驾驶,人工智能(AI)在过去几年中取得了许多成就。其中人工智能的成功离不开三要素:数据、算法和算力。其中对于算力,除了训练(train),AI实际需要运行在硬件上,也需要推理(inference),这些都需要强大算力的支撑。
AI训练硬件平台:GPU、CPU、TPU
常见的模型训练硬件平台主要有:GPU、CPU和TPU。
CPU(Central Processing Unit) 具有最佳的可编程性,因此,它们为CNN实现了最高的FLOPS利用率,并且由于内存容量大而支持最大的模型;
GPU( Graphical Processing Unit ) 对于不规则计算(例如小批量和nonMatMul计算)显示出更好的灵活性和可编程性;
TPU(Tensor Processing Unit) 已针对大型批次和CNN进行了高度优化,并且具有最高的训练能力。
截止目前为止,GPU是AI模型训练的硬件主力军,特别是以NVIDIA家的GPU为主。
AI推理引擎/部署工具:OpenVINO、TensorRT、Mediapipe
当模型训练结束后,需要对算法模型进行上线部署。这个过程可能会遇到各种问题,比如,模型性能(大小、精度、速度)是否满足上线要求,这些问题都决定着投入产出比。
OpenVINO介绍
OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库,包含推理库,模型优化等等一系列与深度学习模型部署相关的功能。
OpenVINO是一个Pipeline工具集,同时可以兼容各种开源框架训练好的模型,拥有算法模型上线部署的各种能力,只要掌握了该工具,你可以轻松的将预训练模型在Intel的CPU、VPU等设备上快速部署起来。
TensorRT介绍
TensorRT是一个高性能的深度学习推理优化器,可以为深度学习应用提供低延迟,高吞吐率的部署推理。TensorRT可用于对超大规模数据中心,嵌入式平台或自动驾驶平台进行推理加速。
MediaPipe介绍
MediaPipe是个基于图形的跨平台框架,用于构建多模态应用的机器学习pipiline。MediaPipe可在移动设备,工作站和服务器上跨平台运行,并支持移动GPU加速。使用MediaPipe,可以将应用的机器学习pipeline构建为模块化组件的图形。
上述中,只有OpenVINO具有专属为CPU优化的特质,提供的Demo和Samples都很充足,上手比较容易,可以用来快速部署开发,在英特尔的硬件平台上性能超过了大部分开源库,因此本文将重点对OpenVINO进行介绍。
OpenVINO
官网:
https://docs.openvinotoolkit.org
OpenVINO 概述
OpenVINO(Open Visual Inference & Neural Network Optimization,开放视觉推理及神经网络优化)是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,支持各种英特尔平台的硬件加速器上进行深度学习,并且允许直接异构执行。支持在Windows、Linux、macOS系统上运行,也支持Python/C/C++语言。
OpenVINO™ 工具套件:
在边缘设备上启用基于卷积神经网络的深度学习推理;
支持跨英特尔® CPU、英特尔® 集成显卡、英特尔® 神经计算棒 2 和搭载英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design 的异构执行;
通过一套易用的计算机视觉功能库和预优化内核库来加速上线时间;
包括了针对计算机视觉标准进行优化的调用,包括 OpenCV 和 OpenCL。
以下图表显示了典型的 OpenVINO™ 工作流程:
模型准备,转换和优化
你可以使用你选择的框架来准备和训练深度学习模型,或者从 Open Model Zoo 下载预训练模型。Open Model Zoo 包含针对各种视觉问题的深度学习解决方案,如物体识别、姿态估计、文本检测和动作识别等。
OpenVINO™ 工具套件的一个核心组件是模型优化器(Model Optimizer),它是一个跨平台命令行工具,可将经过训练的神经网络从源框架转换为与 nGraph 兼容的开源中间表示 (IR),用于推理运算。
模型优化器导入在 PyTorch、Caffe、TensorFlow、MXNet和 ONNX 等常用框架中经过训练的模型,并执行几项优化,以尽可能删除过多的层和群运算,从而更简单、更快速地形成神经网络计算图。
推理运行和调优推理
OpenVINO™ 的另一个核心组件是推理引擎(Inference Engine),它管理经过优化的神经网络模型的加载和编译,在输入数据上运行推理运算,并输出结果。推理引擎可以同步或异步执行,其插件架构管理用于在多个英特尔® 设备上执行的适当编译,包括主力 CPU 以及专用显卡和视频处理平台。
你可以将 OpenVINO™ 调优实用程序与推理引擎一起使用,在模型上试用和测试推理。基准测试应用程序使用输入模型运行迭代测试,以检测吞吐量或延迟,交叉检查应用程序对配置不同的推理的性能进行比较。训练后优化工具集成了一套基于量化和精度校准的工具,以进一步提升性能。
封装和部署
英特尔® Distribution of OpenVINO™ 工具套件为以下设备输出经过优化的推理运行时:
英特尔® CPU
英特尔® Processor Graphics
英特尔® 神经计算棒 2
采用英特尔® Movidius™ 视觉处理器的英特尔® Vision Accelerator Design
Open Model Zoo
官网:
https://github.com/openvinotoolkit/open_model_zoo
Open Model Zoo包括丰富的优化后的上百种深度学习模型和一系列演示,有助于加快高性能深度学习推理应用程序的开发。使用这些免费的预训练模型,可以加快开发和生产部署过程。
官方提供的预训练模型包含:目标检测、物体识别、重识别、语义分割、实例分割、人体姿态估计、文本检测、文本识别、行为识别、图像检索、机器翻译等任务。其中目标检测模型:Faster R-CNN、YOLOv2、YOLOv3、SSD等。
目标检测Demo演示:
实例分割Demo演示:
行人跟踪Demo演示:
3D 人体姿态估计Demo演示:
OpenVINO行业应用
OpenVINO一经推出就得到行业内的普遍认可和支持,目前在工业、医疗、零售等领域广泛应用。
工业(2D、3D视觉)
创建安全工作空间:通过将推理和深度学习功能扩展到边缘来帮助预防工作场所的危害和传染病的传播。
制造业的视觉审查:借助英特尔®OpenVINO™工具包优化的自动缺陷检测,并在面向边缘的英特尔®DevCloud上进行了测试。
医疗(成像、分类、分割)
COVID-19 胸部X射线肺炎检测:DarwinAI开发了由AI驱动的解决方案COVID-Net CT,以快速,准确地检测患者的COVID-19,并使用OpenVINO进行了推理优化。
三星自动化超声测量以改善临床工作流程:通过OpenVINO™优化的胎儿和产妇检测。
新零售
解决零售困境:实时的购物者流量映射可以帮助零售商在瞬息万变的市场中竞争。
如果你想了解更多关于Intel OpenVINO的生态和应用,可以点击观看下面视频,主题是"破局AI开发,释放边缘算力" AI开发者圆桌访谈,干货满满!
未来展望
OpenVINO是一个比较成熟而且仍在快速发展的推理库, 将计算机视觉等方向与AI模型推理更好地融合在一起,加快赋能产业,助力AI开发者来设计具有实际应用价值的解决方案。
如果你还没用过OpenVINO,赶快来尝试吧!
AI 开发神器来了!支持 CPU 加速优化!!相关推荐
- AI开发神器来了!支持CPU加速优化!!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 AI开发现状 从过去AlphaGo在职业围棋中击败世界冠军,到现在大火的自动驾驶,人工智能(AI)在过去几年 ...
- 很好很强大,这款AI开发神器的图像标注吊打labelme
AI的发展有三大内核:数据.算法.算力.现如今,算法和算力在市面上的差距显然已经没有那么大,能够给AI提供充足弹药支持的当属数据了.深度学习算法精度的提升严重依赖于数据,谁的数据既多又准,谁的算法精度 ...
- 带你了解『百度智能云发布云智一体的AI开发全栈模式』
在"云智一体"的独家优势下,百度智能云为企业的 AI 开发打开了更多可能. 3月27日,百度智能云2021云智技术论坛首场活动在京举行,重磅发布"云智一体的 AI 开发全 ...
- 百度智能云发布云智一体的AI开发全栈模式
在"云智一体"的独家优势下,百度智能云为企业的 AI 开发打开了更多可能. 3月27日,百度智能云2021云智技术论坛首场活动在京举行,重磅发布"云智一体的 AI 开发全 ...
- BML CodeLab重磅更新:在Windows上可原生Linux AI开发
自从微软发布 WSL2(Windows Subsystem for Linux 2)之后,机器学习开发者.数据科学家就可以在 Windows 上做原生 Linux 开发了. 但想正常的使用,其实并不简 ...
- 新至强训练推理增效十倍,英特尔CPU加速AI更上一层楼
数据智能产业创新服务媒体 --聚焦数智 · 改变商业 人工智能技术改变了我们的生活,而说到 AI 背后的算力,人们经常会先想到 GPU.从 2019 年英特尔为其第二代至强可扩展处理器增添了内置的深 ...
- 探秘AI开发「神器」ModelArts,解读IoT 智能设备,华为云教你玩转 AI开发!
11 月 14 日,DevRun 开发者沙龙华为云即将登陆上海.华为云技术大咖将带领开发者玩转 ModelArts,并解读华为云 IoT 服务与 AI 如何实现互通:聚焦华为云 ModelArts 和 ...
- PaddleWeekly | 支持GPU加速!这款硬字幕提取神器超好用
点击左上方蓝字关注我们 开源发展至今,越来越多的开发者使用开源代码的同时,也开始将自己的项目和代码大方骄傲地分享出来,在开源当中找到了成就和价值.更多的开发者得益于开源的优势,从加入使用,到共同开发. ...
- 大学生在线“打假”,火速开发了一款拆穿 AI 的神器
整理 | 屠敏 出品 | CSDN(ID:CSDNnews) ChatGPT 的爆火,几家欢喜几家愁. 喜的是,它的确为各行各业带来了极大的便利:愁的是,它的滥用,在学术界影响尤为恶劣,以至于当代大学 ...
最新文章
- 【直播】张晋:心跳信号分类模型融合
- 倒计时1天 | 专属技术人的盛会,为你而来!
- Linux服务器init 5启动图形界面,报错Retrigger failed udev events的解决方法
- 《Android/OPhone 开发完全讲义》样章和目录下载
- fly a kite
- 打开vs2010,提示无效的许可证数据,需要重新安装
- 计算机学院李世杰,有关办理2016级转专业学生相关手续通知
- Bailian3717 移动路线【组合】
- java InputStream读取数据问题【转】http://cuisuqiang.iteye.com/blog/1434416
- 使用URLOS在linux系统中极速部署NFS共享存储服务
- ong拼音汉字_儿童拼音汉字入门
- 常见对称加密、解密、破解
- python3 爬取网页表格例子
- bixby怎么编程_三星Galaxy S20:如何完全禁用Bixby
- 优格筑家 引领高档家装!
- 流程图的制作技巧分享,手把手教你如何绘制流程图
- leetcode 16 -- 3Sum Closest
- 基于JAVA大连环保公益网计算机毕业设计源码+系统+lw文档+部署
- 上网行为管理功能概述及实现
- 总结|pycharm2020 激活激活方法