带你了解CANN的目标检测与识别一站式方案
摘要: 了解通用目标检测与识别一站式方案的功能与特性,还有实现流程,以及可定制点。
本文分享自华为云社区《玩转CANN目标检测与识别一站式方案》,作者: Tianyi_Li。
背景介绍
目标检测与识别是计算机视觉领域中的关键技术,随着深度学习技术的发展,目标检测与识别的应用场景也越来越广泛。当前, 主要有以下几个应用场景:
安全领域:指纹识别、物体识别等。
交通领域:车牌号识别、无人驾驶、交通标志识别等。
医疗领域:心电图、B超、健康管理、营养学等。
生活领域:智能家居、智能购物、智能测肤等。
但当前人工智能应用开发面临着开发周期长、AI软件栈理解成本高、算法模型与业务结合难度高、对开发人员技能要求高等门槛。为了降低AI应用开发的门槛,昇腾CANN开源了高性能的通用目标检测与识别一站式方案,通过其强大的可定制、可扩展性,旨在为AI开发者们提供更好的编程选择。
特别提示,如果您具有以下知识储备,将有助于学习:
- 具有C&C++编程经验。
- 了解异构计算架构CANN在昇腾AI全栈中的位置和作用。
- 了解应用编程框架AscendCL的关键特性,并能够基于AscendCL接口开发简单的AI应用。
目标
- 了解通用目标检测与识别一站式方案的功能与特性
- 了解ACLlite的背景及接口使用方法
- 深入了解通用目标检测与识别一站式方案的实现流程
- 能够基于此方案定制自己的AI应用
目标检测与识别一站式方案介绍
方案特性
点此detect_and_classify,可查看方案源代码。
方案整体特性概括如下:
1.支持多格式输入和输出
通用目标检测和识别一站式方案支持图片、离线视频、RTSP视频流等多输入格式,开发者可基于此方案实现对图片和视频等不同格式的目标进行识别。另外在结果展示方面,支持图片、离线视频、Web前端等多形式展现,开发者可根据业务场景灵活呈现识别结果。
2.支持轻松替换和串接模型
该方案当前选用的是YoloV3图片检测模型与CNN颜色分类模型的串接,可实现基本的车辆检测和车辆颜色识别,开发者可轻松修改程序代码,自行替换/增加/删除AI模型,实现更多AI功能。
3.支持高效数据预处理
图片、视频等各类数据是进行目标检测和识别的原料,在把数据投入AI算法或模型前,我们需要对数据进行预加工,才能达到更加高效和准确的计算。该样例采用独立数据预处理模块,支持开发者按需定制,高效实现解码、抠图、缩放、色域转换等各种常见数据处理功能。
4.支持图片数、分辨率可变场景定制
在目标检测和识别领域,开发者们除了需要应对输入数据格式等方面差异,还会经常遇到图片数量、分辨率不确定的场景,这也是格外头疼的问题之一。比如,在目标检测和识别过程中,由于检测出的目标个数不固定,导致程序要等到图片攒到固定数量再进行AI计算,浪费了大量宝贵的AI计算资源。该样例开放了便捷的定制入口,支持设置多种数据量Batch档位、多种分辨率档位,在推理时根据实际输入情况灵活匹配,不仅扩宽了业务场景,更有效节省计算资源,大大提升AI计算效率。
5.支持多路多线程高性能编程
为了进一步提高编程的灵活性,满足开发者实现高性能AI应用,该样例支持通过极为友好和便捷的方式调整线程数和设备路数,极大降低学习成本,提升设备资源利用率。
6.高效后处理计算
除此之外,该样例后续还会将原本需要在CPU上进行处理的功能推送到昇腾AI处理器上执行,利用昇腾AI处理器强大的算力实现后处理的加速,进一步提升整个AI应用的计算效率。
实现流程
该样例使用了图片检测模型与颜色分类模型,基于CANN AI应用编程接口,对数据预处理、模型推理、模型后处理等AI核心计算逻辑进行模块化组装,实现了车辆检测和车身颜色识别基础功能,以输入图片是JPEG压缩图片为例,该样例功能流程如下所示:
- 首先输入图片送入Device的DVPP进行数据预处理,因为模型的输入要求是非压缩的、指定编码格式的图片,所以首先使用DVPP进行图片的解码操作,解码后格式为YUV420SP_U8。
- 由于图片的大小与模型要求的大小不一致,解码后我们使用DVPP的VPC功能进行大小的调整。
- 经过前面的一系列处理后,输入到模型的编码格式YUV420SP_U8仍与模型要求不一致,此时我们可以在模型转换时通过AIPP的色域转换功能实现格式转换,将YUV420SP_U8格式转换为模型要求的BGR格式,这里的色域转换功能其实就相当于在模型中添加了一个色域转换算子,直接在模型推理前实现了编码格式的转换,而无需代码层面的修改。
- 检测模型推理后的结果就可以送入模型后处理模块,后处理模块根据业务流程需要,进行检测坐标点的存储。
- 下一步,就是将检测坐标点以及前面预处理后的YUV图片,一起送入分类模型的预处理模块,首先根据检测结果的坐标点信息对输入的图片进行抠图,然后再将其缩放为分类模型要求的大小。
- 由于颜色分类模型要求的图片编码格式是RGB,同前面的检测模型一样,需要使用AIPP的色域转换功能,在模型推理前将YUV转换为RGB。
- 最后对分类模型推理后的结果进行处理,在图片上进行画框,标注结果,并根据用户的输出要求进行存储或者在线展示。
快速体验
下面介绍让样例快速跑起来,了解通用目标检测与识别一站式方案的总体编译运行流程,主要是:
- 输入/输出数据都为图片,其中输入数据请选择jpeg格式的图片
- 使用1个Device运行
准备环境
这里不做过多介绍,使用的是ECS + 官方推送的镜像,很简单就能搞定了,需要注意的是环境准备好后,请以HwHiAiUser用户体验如下任务。HwHiAiUser用户下已经配置好了环境变量,安装好了应用所需基本依赖。
编译运行样例
因为镜像已经做好了配置,可以直接下载样例,模型与数据,直接编译运行即可。详细步骤如下:
步骤 1 :下载samples源码仓。
此处已将samples仓下载到$HOME路径下为例, 可以使用以下两种方式下载,请选择其中一种即可
【命令行下载】
cd ${HOME}
git clone https://gitee.com/ascend/samples.git
【压缩包下载】
a. 在samples仓右上角选择【克隆/下载】下拉框,并选择【下载ZIP】。
b. 将ZIP包以HwHiAiUser用户上传到开发环境的普通用户家目录中。
例如:${HOME}/ascend-samples-master.zip
c. 执行以下命令,解压缩zip包。
cd ${HOME}
unzip ascend-samples-master.zip
步骤 2 : 准备模型及数据。
请参见README中的模型及数据准备章节。
步骤 3 : 样例编译运行。
请参见README中的样例编译运行章节。
【说明】
- 输入/输出数据都要求为图片,其中输入数据请选择jpeg格式的图片
- 使用1个Device运行
结果输出
如下图所示,左图为运行的打印输出,右图为输出的推理结果图片:
此外,还支持多种输入输出模式:
根据官方的测试,单device最多支持22路,在输入分辨率1280 * 720的视频下,单帧图像处理耗时20ms,每秒最大处理帧数为50帧。
结语
本次的CANN目标检测与识别一站式方案总体流程图如下图所示,
方案中大量使用了线程,多路线程分别进行数据流转和协同合作,以单device为例,线程关系如下图所示:
此外,还支持定制开发,开发者可根据需要,自行添加包括但不限于如下功能:
详细的操作位置如下图所示,具体可参考本方案代码库的README:
好了,最后奉上本方案代码库的获取方式,如下图所示,当然,也可以点击在前文中咱们提供的链接。
点击关注,第一时间了解华为云新鲜技术~
带你了解CANN的目标检测与识别一站式方案相关推荐
- 玩转CANN目标检测与识别一站式方案【介绍篇】
背景介绍 目标检测与识别是计算机视觉领域中的关键技术,随着深度学习技术的发展,目标检测与识别的应用场景也越来越广泛.当前, 主要有以下几个应用场景: 安全领域:指纹识别.物体识别等. 交通领域:车牌号 ...
- 基于昇腾AI异构计算架构CANN的通用目标检测与识别一站式方案初体验
前言 强大的社会粘性不断催温数字化发展,目标检测与识别作为计算机视觉领域的一项关键技术,应用场景广泛,前景十分广阔,从城市治理.楼宇园区.互联网等领域,延伸至智能家居.金融.医疗影像等更多创新领域.随 ...
- 基于华为云ECS的目标检测与识别的昇腾AI开发体验【华为云至简致远】
[摘要] 基于华为云弹性云服务器ECS,搭配共享镜像,快速搭建环境,进行目标检测与识别的昇腾AI开发体验,开箱即用,打破时间和空间限制,随时随地进行开发,适合个人开发和团队协作,体验流畅丝滑. 前言 ...
- 图像处理 手写体英文字母的目标检测与识别 实验报告
获取本实验的项目代码和实验报告,请>=点击此处=< [0] 摘要 近年来,随着python的迅速崛起,人工智能.图像识别.计算机视觉等新兴学科变得火热起来.Python的发展也伴随着它 ...
- (好文)基于HOG的目标检测与识别
其实在深度学习中我们已经介绍了目标检测和目标识别的概念.为了照顾一些没有学过深度学习的童鞋,这里我重新说明一次:目标检测是用来确定图像上某个区域是否有我们要识别的对象,目标识别是用来判断图片上这个对象 ...
- 图像处理之目标检测与识别
区别:目标检测是用来确定图像的某个区域是否含有要识别的对象,识别通常只处理已检测到对象的区域. 在计算机视觉中有很多目标检测和识别的技术: 梯度直方图(Histogram of Oriented Gr ...
- python目标检测与识别_Python 使用Opencv实现目标检测与识别的示例代码
在上章节讲述到图像特征检测与匹配 ,本章节是讲述目标检测与识别.后者是在前者的基础上进一步完善. 在本章中,我们使用HOG算法,HOG和SIFT.SURF同属一种类型的描述符.功能代码如下: impo ...
- pythonopencv目标检测_Python 使用Opencv实现目标检测与识别的示例代码
本章节是讲述目标检测与识别.后者是在前者的基础上进一步完善. 在本章中,我们使用HOG算法,HOG和SIFT.SURF同属一种类型的描述符.功能代码如下: import cv2 def is_insi ...
- MSTAR数据库结合深度学习(SAR图像目标检测与识别)
MSTAR数据库作为SAR图像自动目标识别(SAR ATR)研究的一个通用库,被很多学者广泛采用.从现有的SAR ATR系统处理流程来看,目标检测作为该系统的前端,很大程度上影响系统后续识别性能,在较 ...
最新文章
- Node.js连接MySQL
- Node.jsNPM的安装与配置(转)
- Makefile中 变量赋值含义
- 前端学习(1035):bootstrap-js插件1
- 微软设计套装 Expression Studio 4 (Ultimate+Web Pro+Encoder Pro) 最新版下载
- Python使用numpy滤除图像中的低频信号
- Android仿探探卡片拖拽,[转]仿探探拖拽卡片效果Vue3实现
- Mysql对字段进行分段统计
- linux 磁盘 ntfs修复,Linux下NTFS分区的修复和恢复
- AD 原理图导出引脚和对应网络标号操作
- vue脚手架 编译速度慢95% emitting CopyPlugin
- zcmu Problem C: kirito's 星爆气流斩(背包+二进制优化)
- android倒计时dialog,倒计时 Dialog
- C语言基础入门——保姆式教程(2022版最全最新整理)
- Arouter 跳转失败activityResumeTrigger: not whiteListed
- ddos流量攻击有多少G_攻击流量超过300G,遭遇DDoS时我们能做些什么?
- 重读微积分(六):差商与牛顿插值
- java字符串是日期yyxx_Mysql 优化方案
- 16 张图带你搞懂 Java 数据结构,从此想不飘都难!
- 关于月球自转周期的一些猜想
热门文章
- 潮鞋购物网站,html5+css3+js,实现基本的添加购物车,自动计算金额等功能
- 视频教程-2019年人工智能热门案例精讲之基于Azure热门案例-C/C++
- 从随机过程的熵率和马尔科夫稳态过程引出的一些思考 - 人生逃不过一场马尔科夫稳态...
- android小闹钟课程设计,小闹钟的教学设计
- 微信登录 errcode:40163,errmsg:code been used
- 仿天猫 java web_JAVA WEB项目教程-模仿天猫J2EE版
- 【gdx ashley】入门
- RUN 文件安装PostgreSQL(Linux)
- 使用Python进行数据分析——方差分析
- Time Series Classification时间序列分类 (一)