DeepStream插件Gstreamer(一):概述
一、插件概述
DeepStream SDK基于GStreamer框架。本手册介绍了DeepStream GStreamer插件以及DeepStream的输入,输出和控制参数。在包含NVIDIA®Jetson™模块或NVIDIA dGPU适配器1的系统上支持DeepStream SDK 。本手册适用于希望使用DeepStream SDK开发DeepStream应用程序或其他插件的工程师。它还包含有关SDK中使用的元数据的信息。开发人员也可以添加自定义元数据。该手册介绍了SDK中定义的用于使用IPlugin实现自定义推理层的方法NVIDIA®TensorRT™的界面。您可以在使用本手册时参考SDK随附的示例示例,以熟悉DeepStream应用程序和插件开发。
二、DeepStream SDK中的元数据
Gst Buffer是GStreamer中数据传输的基本单位。每个Gst缓冲区都有关联的元数据。DeepStream SDK附加了DeepStream元数据对象NvDsBatchMeta,如以下各节所述。
NvDsBatchMeta:基本元数据结构
DeepStream对元数据使用可扩展的标准结构。基本元数据结构NvDsBatchMeta以在Gst-nvstreammux插件内部创建的批处理级元数据开始。辅助元数据结构包含框架,对象,分类器和标签数据。DeepStream还提供了一种在批处理,框架或对象级别添加用户特定的元数据的机制。DeepStream通过附加NvDsBatchMeta结构并将Gst-nvstreammux插件中的GstNvDsMetaType.meta_type设置为NVDS_BATCH_GST_META,将元数据附加到Gst缓冲区。当您的应用处理Gst缓冲区时,它可以遍历附加的元数据以找到NVDS_BATCH_GST_META。函数gst_buffer_get_nvds_batch_meta()从Gst缓冲区提取NvDsBatchMeta。(请参阅sources / include / gstnvdsmeta.h中的声明。)有关此功能用法的示例,请参见deepstream-test1示例应用程序
三、NvDsBatchMeta内部的用户/自定义元数据添加
要在NvDsBatchMeta内的批次,帧或对象级别上附加特定于用户的元数据,必须通过调用nvds_acquire_user_meta_from_pool()从用户元池中获取NvDsUserMeta的实例。(有关详细信息,请参见sources / includes / nvdsmeta.h。)然后,您必须初始化NvDsUserMeta。您必须设置的成员是user_meta_data,meta_type,copy_func和release_func。有关更多详细信息,请参阅sources / apps / sample_apps / deepstream-user-metadata-test / deepstream_user_metadata_app.c中的示例应用程序源代码。
在Gst-nvstreammux上游的Gst插件中添加自定义元
DeepStream SDK在Gst-nvstreammux插件中创建批处理级别的元数据。它在批处理,批处理中的帧以及帧中的对象的层次结构中保存NvDsBatchMeta元数据。
在Gst-nvstreammux之前向插件添加元数据
此过程在Gst-nvstreammux之前的插件处将元数据引入DeepStream管道。
设置插件的NvDsMeta结构的以下成员:
复制¬_func
free_func
meta_type
gst_to_nvds_meta_transform_func
gst_to_nvds_meta_release_func
通过调用附加元数据,
gst_buffer_add_nvds_meta()
并在返回的NvDsMeta实例中设置meta_typegst_buffer_add_nvds_meta()
。Gst-nvstreammux插件将在步骤2中创建的输入gst-meta从Gst缓冲区转换为与相应NvDsFrameMeta对象关联的NvDsUserMeta对象。它将此对象添加到
frame_user_data
列表中。在NvDsFrameMeta对象中的frame_user_meta列表中搜索在步骤2中设置的meta_type,然后访问附加的元数据。
有关sources/apps/sample_apps/deepstream-gst-metadata-test/deepstream_gst_metadata.c
更多详细信息,请参见中的示例应用程序源代码。如果gst meta不附带gst_buffer_add_nvds_meta()
,则不会将其转换为DeepStream元数据。Gst缓冲区中仍然可用。
新的元数据字段
注意本节中的信息仅适用于DeepStream 5.0及更高版本。
在DeepStream 5.0 GA发行之前,边界框(或bbox)坐标首先由检测器组件生成,并且如果管道中有跟踪器组件,则跟踪器组件会使用更新/修订的bbox坐标覆盖它们。但是,“置信度”字段的值将检测器置信度值保留在元数据中,即使存在跟踪器组件,也将丢弃跟踪器置信度值。这是因为IOU和KLT跟踪器未提供任何置信度值。DeepStream 4.0中引入的NvDCF跟踪器可以提供可靠的跟踪器置信度值。这导致DeepStream 5.0 GA版本中将bbox坐标和置信度值存储在元数据(即NvDsObjectMeta)中的重大变化。DeepStream 5.0 GA版本中的NvDsObjectMeta结构具有三个bbox信息和两个置信度值:
detector_bbox_info-当检测器检测到对象时,保留对象的边界框参数。
tracker_bbox_info-由跟踪器处理时,保存对象的边界框参数。
rect_params-保留由在管道中更新对象的最后一个组件处理的对象的边界框坐标。这些边界框坐标被裁剪,以使它们不会落在框架边界之外。
这些边界框参数用于覆盖:
置信度-持有对象的置信度值,由推理组件设置。
tracker_confidence-保留由NvDCF设置的对象的置信度值。对于IOU和KLT跟踪器,将为-0.1。
如上所述,来自检测器和跟踪器的bbox坐标分别存储在新引入的detector_bbox_info
和中tracker_bbox_info
。bbox info rect_params像以前的DeepStream版本中一样继续保存bbox info,以实现向后兼容。请注意,在将来的版本中将不建议使用rect_params。预先存在的置信度参数将保留检测器的置信度值,而新引入的tracker_confidence参数将保留跟踪器的置信度值。
DeepStream插件Gstreamer(一):概述相关推荐
- DeepStream插件Gstreamer(一):插件汇总
一.Gst-nvinfer Gst-nvinfer插件使用NVIDIA®TensorRT™对输入数据进行推断.该插件从上游接受批处理的NV12 / RGBA缓冲区.NvDsBatchMeta结构必须已 ...
- QIIME 2用户文档. 2插件工作流程概述(2019.7)
前情提要 Nature Biotechnology:QIIME 2可重复.交互和扩展的微生物组数据分析平台 1简介和安装Introduction&Install QIIME 2插件工作流程概述 ...
- WordPress插件制作教程概述
接下来的一段时间里,开始为大家讲解WordPress插件制作系列教程,这篇主要是对WordPress插件的一些介绍和说明,还有一些我们需要注意的地方,以及需要掌握的知识. WordPress插件允许你 ...
- NVIDIA Jetson: GStreamer 和 openMAX(gst-omx) 插件
Nvidia 的 GPU 产品的开发工具包叫做 DeepStream,是基于 GStreamer 开发.因此,掌握 DeepStream,必须从 GStreamer 入手.先看看这货如何安装的吧! 1 ...
- GStreamer插件实列rockchipmpp
尽管这些年arm发展取得了不少的进步,不过对于音视频的编解码仍然心有余力不足,好在芯片厂家在SOC里面提供了硬件加速能力.善于发挥出芯片的能力,才能打造出完美的应用.今天我们一起来探索一下rk3568 ...
- NVIDIA DeepStream 5.0构建智能视频分析应用程序
NVIDIA DeepStream 5.0构建智能视频分析应用程序 无论是要平衡产品分配和优化流量的仓库,工厂流水线检查还是医院管理,要确保员工和护理人员在照顾病人的同时使用个人保护设备(PPE),就 ...
- NVIDIA相关资料(一)——Deepstream相关知识
来源于官网翻译资料Welcome to the DeepStream Documentation - DeepStream 5.1 Release documentation 1.DeepStream ...
- Transfer Learning Toolkit (TLT) + DeepStream (DS)快速部署深度学习模型(以口罩检测为例)
文章目录 简介 TLT DS 基于TLT进行迁移学习 环境准备 模型训练 基于DS的模型部署 总结 最近在做一个深度学习的横向,被实时性搞的很头疼,遂打算研究研究新的技术路线,做点技术储备.TLT+D ...
- Deepstream 资料阅读记录
文章目录 0. 前言 1 DeepStream: Next-Generation Video Analytics for Smart Cities 2 DeepStream SDK 3. DeepSt ...
最新文章
- 20150726 填坑日记
- 产品设计体会(1011)少做就是多做
- 9种不同的方法帮助你提高国内访问Github的速度!
- android shape的使用
- 【开发环境】Windows 安装 PyCharm 开发环境 ( 下载 PyCharm | 安装 PyCharm | 在 PyCharm 中创建 Python 工程 )
- Java 基础之 Random类和Math.random()方法
- XML的序列化和反序列化 详细介绍
- Mysql数据库函数(数字,字符串,日期时间)
- [渝粤教育] 西南科技大学 单片机原理与应用 在线考试复习资料(2)
- jQueryEasyUI框架 - panel 选项卡高度自适应
- python安装sql模块_在Python安装MySQL支持模块的方法
- c语言完整版 pdf,(完整版)C语言技术与应用.pdf
- [CF1110E]Magic Stones
- 团队的远程管理_管理远程团队的4种方法
- linux基础指令及文件说明(附实例题目 非常详细)
- 智能网联汽车信息安全研究报告
- 计算机科学导论第五章计算机组成 学习笔记+习题答案
- 联合国粮农组织推荐的人类五大健康食品
- 友盟多渠道打包+混淆+腾讯云直播的推/拉流
- c语言中转向的指针,C语言指针碎碎念
热门文章
- Python 添加类型标注 | 散发着自由松散气息的代码
- 替代密码的c语言程序,替代密码及置换密码的C语言实现.doc
- java redis pipeline,巧用 Redis pipeline 命令,解决真实的生产问题
- hyperledger部署java_Hyperledger Fabric(超级账本) Java 开发区块链 部署运行智能合约
- (转)SqlServer基础之(触发器)(清晰易懂)
- Java线程专栏文章汇总(转)
- Linux 用户(User)查询篇
- arduino接收hmi屏幕_汽车HMI设计中交互设计的发展趋势
- java中常见的数据结构分类
- ArcGIS水文分析实战教程(13)流域提取流程