Deepstream 资料阅读记录

文章目录

0. 前言
1 DeepStream: Next-Generation Video Analytics for Smart Cities
2 DeepStream SDK
3. DeepStream Getting Started
4. NVIDIA DeepStream SDK Developer Guide

0. 前言

官方文档
- DeepStream: Next-Generation Video Analytics for Smart Cities，对应翻译
- DeepStream Getting Started
- NVIDIA DeepStream SDK Developer Guide
其他参考资料
- DeepStream初步学习
后续会跑一个例子，看了解下细节
一句话总结：Deepstream 提供了智能视频分析系统的端到端解决方案。
如何理解“端到端”：
- 包含了视频分析系统的所有功能
- 包括读取数据源、视频解码、图像预处理、模型推理、预测结果可视化、结果后处理，以及云端与边缘端的可靠通信。
主要做了什么工作：提高系统的吞吐量。
- 上面每一步操作都尽量使用 GPU 资源并行计算，提高资源利用率。
- Deepstream 的主要优势体现在多路视频、多传感器输入的情况下，提高资源利用率。
开发流程：提供了许多C++/Python apps，基本上就是在原有的项目中进行增减。这一部分还没有具体调研，需要后续用实例来证明。
主要缺点：闭源，只能用在Jetson、Tesla设备上。

1 DeepStream: Next-Generation Video Analytics for Smart Cities

链接，翻译
内容概述：介绍性质的BLOG
Deepstreeam 提供了基于深度学习的视频分析解决方案。
- 是 NVIDIA Metropolis 的一部分
- 主要优化方向是：视频解码速度、模型推理速度、低功耗。
- 主要解决的问题是 scale（同时处理多路视频），在于如何通过经济高效的方式扩展已有的应用。

The key to realizing the potential of video analytics is building applications that scale in a cost-effective manner.

Deepstream提供的Workflop
- 总体流程就是或去数据源数据、视频解码、预处理、模型推理、其他更多操作。
- 视频解码使用了 NVIDIA Video Codec SDK
- 数据预处理主要就是色彩转换、resize等，通过custom CUDA kernels and NVIDIA Performance Primitives实现
- 模型推理通过 TensorRT 实现

目标检测实例

2 DeepStream SDK

链接
基本内容：整体介绍了Deepstream
DeepStream 是为了构建、部署视频智能分析应用与服务，提供跨平台、可扩展的部署框架。

Build and deploy AI-powered Intelligent Video Analytics apps and services. DeepStream offers a multi-platform scalable framework with TLS security to deploy on the edge and connect to any cloud.

Deepstream 在整体系统中的定位如下图所示
- 整合NVidia的各类工具（如Cuda/TensorRT/Triton/视频解码等），提高英伟达设备（Jetson、Tesla）的资源利用率。

性能如何
- 这里是 end-to-end 的性能，包括了视频解码等。
- 输入视频是 1080p + 30fps
- batch size 是 FPS/30
- Nano和TX2是FP16

Deepstream 的优势
- Seamless Development：无缝部署，不知道想表达什么意思
- Managed IVA Apps & Services：管理、控制视频监控系统，
- Powerful End-to-End AI Solutions：可以较快上手，而且是部署相关全套的工具都有
FAQ
- Deepstream 是闭源的，但开源了部分插件
- 主要应用于多路视频、多传感器数据分析，如零售场景、停车管理等。
- 可通过Triton 直接运行TF/PyTorch模型。
- 内置了一些常用模型，如SSD/YOLO等。

3. DeepStream Getting Started

链接
主要内容：罗列了 Deepstream 相关官方资料
罗列的内容包括
- SDK下载链接
- 各种官方app（相关Github链接）
- 文档、论坛地址

4. NVIDIA DeepStream SDK Developer Guide

链接
这应该是后续学习deepstream的主要资料。
主要内容可分为
- DeepStream Getting Started：包括简介、下载与安装、Docker容器等相关信息
- DeepStream Samples：总结了官方源码资料
- TLT Integration with DeepStream：迁移学习相关，TLT就是 Transfoer learning toolkit
- Tutorials and How-to’s：NvDCF（跟踪算法）参数微调教程，自定义 yolo 教程（只支持yolov3）
- DeepStream Performance：性能概述
- DeepStream Custom Model：如何使用自定义模型（而不是内置的）
- DeepStream Key Features：
  - Smart Video Record
  - IoT 中的通信问题
  - 在线模型升级
  - 为每一帧设置 NTP Timestamp
- DeepStream Application Migration：从DS4.x迁移到DS5.x的方法
- Plugins Development Guide：介绍了一堆插件

Deepstream 资料阅读记录相关推荐

菜鸟能学python编程,菜鸟学Python编程文章阅读记录一
菜鸟学Python编程文章阅读记录看的懵懵懂懂,感觉就是要把代码看懂到,这个代码块做了什么功能,了解到建了属性,定义了方法,这些方法与属性的关系今天是js逆向专题,这个帖子,回头再好好看回头再找 ...
原版英文书籍《Linux命令行》阅读记录5 | 使用命令
背景: 阅读英文原作只为了更好地理解书中的精髓,当然也是为了更好地掌握书中的技巧.我们会坚持阅读全书,并记录书中的精髓. 在前面的章节里,我们学到的都是一些神秘的命令,我们不知道他们怎么来的,不过接下 ...
实战 | 一键导出微信阅读记录和笔记
点击上方"逆锋起笔",关注领取视频教程 ☞ 程序员进阶必备资源免费送「各种技术!」 ☜ 作者:云外孤鸟出处:https://www.cnblogs.com/cloudbird/p ...
【读书】2020年阅读记录及心得
[读书]2020年阅读记录及心得主要记录个人今年的阅读情况,以及部分带有强烈主观思想的读书笔记输出(按大致的时间顺序). 阅读工具:微信读书(真的很方便).Kindle(有些书微信阅读上没资源,补充 ...
abuse file struct 阅读记录
搞file struct angleboy大佬的博客阅读记录,下次看的时候不至于懵笔 fread比read更高层,read是最接近kernel的函数 _IO_FILE 大致分成三个部分 flags s ...
支持历史阅读记录的PDF阅读工具
一直使用Adobe Reader 阅读工具来阅读一些PDF文档,时间长了发现一个细节点(定义书签)特别影响阅读,特别是阅读一本500页左右的电子书籍的时候,让人头痛的问题来了,每次打开文档,就是不停的 ...
AT24C64-EEPROM阅读记录
AT24C64-EEPROM阅读记录从机地址介绍: 1 0 1 0 A2 A1 A0 R/W 1 0 1 0 0 ...
Life Long Learning论文阅读记录之LwF
Life Long Learning论文阅读记录之LwF 写在前面获取原文问题难点目标符号说明现有方法不使用旧数据集的方法 Learning without Forgetting(LwF ...
x264阅读记录-1
x264阅读记录-1 x264阅读记录-1 采用x264版本是x264-snapshot-20060316-2245. 1. main函数 x264的main函数位于x264.c中,下面是main函数 ...

Deepstream 资料阅读记录

文章目录

0. 前言

1 DeepStream: Next-Generation Video Analytics for Smart Cities

2 DeepStream SDK

3. DeepStream Getting Started

4. NVIDIA DeepStream SDK Developer Guide

Deepstream 资料阅读记录相关推荐

最新文章

热门文章