基于PP-Human V2的闯入人员检测
1 背景
近年来,以智能安防产业为代表的数字经济的成功实践及诸多新业态的涌现表明,以数字化和智能化为特征的第四次工业革命的发生和发展及其与中国经济转型的共生融合,是中国创新型国家建设的历史机遇。在新的经济发展机遇面前,如何继“世界工厂”之后成长为具有全球影响力的科技创新中心,是新时代中国国家战略的核心取向。[1]
闯入人员检测主要针对出现在视频画面中特定区域的人员进行检测,为已有视频监测赋能,检测高危区域、特定区域的人员误入行为。检测能够有效避免财产损失、安全事故等事件的发生,减小人力监管误差,减少人力监管成本。人员闯入检测大多与流量计数、行为识别和人体属性识别等任务相互集成,通常面向各种复杂场景,PP-Human 是一套综合了目标检测、跟踪、关键点检测等核心能力的产业级开源实时行人分析工具,本次实践将使用PP-Human在服务器端进行推理部署。
PaddleDetection深入探索核心行业的高频场景,提供了行人、车辆场景的开箱即用分析工具,支持图片/单镜头视频/多镜头视频/在线视频流多种输入方式,广泛应用于智慧交通、智慧城市、工业巡检等领域。[2] PP-Human支持四大产业级功能:五大异常行为识别、26种人体属性分析、实时人流计数、跨镜头(ReID)跟踪。
2 方案介绍
本次实践主要使用目标跟踪相关技术,先来看几个基本概念
多目标跟踪(Multi-Object Tracking, MOT)是对给定视频或图片序列,定位出多个感兴趣的目标,并在连续帧之间维持个体的ID信息和记录其轨迹。 当前主流的做法是Tracking By Detecting方式,算法主要由两部分组成:Detection + Embedding。
- Detection部分即针对视频,检测出每一帧中的潜在目标。
- Embedding部分则将检出的目标分配和更新到已有的对应轨迹上(即ReID重识别任务),进行物体间的长时序关联。
根据这两部分实现的不同,又可以划分为SDE
系列和JDE
系列算法:
SDE
(Separate Detection and Embedding)这类算法完全分离Detection和Embedding两个环节,最具代表性的是DeepSORT[7]算法。这样的设计可以使系统无差别的适配各类检测器,可以针对两个部分分别调优,但是流程上由于串联会导致速度慢耗时长。也有算法如ByteTrack
[3]算法为了降低耗时,不使用Embedding特征来计算外观相似度,前提是检测器的精度足够高。JDE
(Joint Detection and Embedding)这类算法完是在一个共享神经网络中同时学习Detection和Embedding,使用一个多任务学习的思路设置损失函数。代表性的算法有JDE[5]和其升级版本FairMOT[6]。这样的设计兼顾精度和速度,可以实现高精度的实时多目标跟踪。
本文即将使用的ByteTrack
算法就是SDE
类,ByteTrack
是发表在 ECCV2022 上的工作,在指标MOTA
、FPS
和IDF1
上均超越了之前的跟踪器,如下图所示,横纵轴分别为FPS
和 MOTA
,半径为IDF1
.
本次实践方案如下图所示:
- PPHuman V2 使用目标检测PP-YOLOE模型来获取图片/视频输入中的行人检测框,详细文档参考PP-YOLOE。
- PPHuman V2 多目标跟踪模型方案采用ByteTrack 或 OC-SORT,采用PP-YOLOE替换原文的YOLOX作为检测器,采用BYTETracker 或 OCSORTTracker作为跟踪器,详细文档参考ByteTrack和OC-SORT。
3 实践教程
3.1 环境配置
3.1.1 环境配置环境要求
PaddlePaddle >= 2.2.2
PaddleDetection Develop版本
更多关于Paddle GPU版本的安装内容,请参考:
https://www.paddlepaddle.org.cn/install/quick
3.1.2 代码准备
本案例在work下已存放 Develop版本(commitID: 80b262) PaddleDetection 压缩文件,首先需要解压(需在命令行执行)
%cd /home/aistudio/work
!tar -zxvf PaddleDetection.tar.gz
当然也可自行git下来:
cd work
# git clone https://github.com/PaddlePaddle/PaddleDetection.git
# https://github.91chi.fun/ 是一个github国内加速通道
git clone https://github.91chi.fun/https://github.com/PaddlePaddle/PaddleDetection.gitcd PaddleDetection
git branch -a # 查看远程分支
git branch # 查看本地分支
git checkout -b develop origin/develop # 将本地分支切换到 develop 分支
git branch # 再次查看本地分支验证
关于git的使用,可以查看这篇:https://blog.csdn.net/YJG7D314/article/details/104551896
(当然,这不是本文的重点)
3.1.3 安装依赖
%cd /home/aistudio/work/PaddleDetection
!pip install --upgrade pip # 更新 pip
!pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple # AIStuido上无需添加百度源
3.1.4 PaddleDetection环境配置
这样即可安装ppdet:
%cd /home/aistudio/work/PaddleDetection
!python setup.py install
接下来只需要跳转 3.1.5 PaddleDetection环境验证 即可
而如果你不想安装,只想从源码运行,也可以将 PaddleDetection
添加到环境变量PYTHONPATH
中(这样操作方便单步调试)
export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleDetection # 在当前终端临时添加环境变量, 每开一个新终端要重新执行一次# 也可以这样持续添加,之后刷新一下环境变量即可
echo "export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleDetection" >> ~/.bashrc
source ~/.bashrc
3.1.5 PaddleDetection环境验证
安装后确认测试通过:
%cd /home/aistudio/work/PaddleDetection
!python ppdet/modeling/tests/test_architectures.py
测试通过后会提示如下信息:
.......
----------------------------------------------------------------------
Ran 7 tests in 1.859sOK
如果你通过源码运行,则最上方会出现这样一行 warning:
Warning: import ppdet from source directory without installing, run 'python setup.py install' to install ppdet firstly
3.2 推理
3.2.1 推理命令
我们先用 pphuman 训练好的模型看看效果,用/home/aistudio/work
目录下的视频 test_video.mp4
来做实验
将配置文件 /home/aistudio/work/PaddleDetection/deploy/pipeline/config/infer_cfg_pphuman.yml
打开,修改MOT
的enable
键, 改为 True
这一步很重要,否则输出视频将没有任何标注
MOT:model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.ziptracker_config: deploy/pipeline/config/tracker_config.ymlbatch_size: 1skip_frame_num: -1 # preferably no more than 3enable: True # <------ 这里改成 True
之后在终端执行:
%cd /home/aistudio/work/PaddleDetection
!python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \--video_file=../test_video.mp4 \--device=gpu \--draw_center_traj \--do_break_in_counting \--region_type=custom \--region_polygon 500 200 700 200 700 700 500 700
初次执行,会下载几个权重文件放在 /home/aistudio/.cache/paddle/infer_weights
位置
执行完毕,即可在 /home/aistudio/work/PaddleDetection/output/test_video.mp4
路径看到输出文件
此外,配置文件中的内容可以通过-o
命令行参数修改,如修改属性的模型目录,则可通过-o ATTR.model_dir="DIR_PATH"
进行设置。
3.2.2 参数含义
接下来简单说说上面命令行参数的含义:
--video_file
推理视频路径--device
指定预测设备是 gpu 还是 cpu--draw_center_traj
表示是否绘制跟踪轨迹,不设置即默认为False。注意绘制跟踪轨迹的测试视频最好是静止摄像头拍摄的。--do_break_in_counting
表示是否进行区域出入后计数,不设置即默认为False。--region_type
表示流量计数的区域,当设置--do_break_in_counting
时仅可选择custom,默认是custom,表示以用户自定义区域为出入口,同一物体框的下边界中点坐标在相邻两秒内从区域外到区域内,即完成计数加一。--region_polygon
表示用户自定义区域的多边形的点坐标序列,每两个为一对点坐标(x,y)
,按顺时针顺序连成一个封闭区域,至少需要3对点也即6个整数,默认值是[],需要用户自行设置点坐标,如是四边形区域,坐标顺序是左上xy、右上xy、右下xy、左下xy。用户可以运行此段代码获取所测视频的分辨率帧数,以及可以自定义画出自己想要的多边形区域的可视化并自己调整。 自定义多边形区域的可视化代码运行如下:cd ~/work/PaddleDetection/deploy/pipeline/tools python get_video_info.py --video_file=demo.mp4 --region_polygon 200 200 400 200 300 400 100 400 # 执行完毕后,可在该路径看到一张可视化代码图
更多详细内容,可以参考:
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/deploy/pipeline/docs/tutorials/pphuman_mot.md
3.2.3 测试效果
测试效果如下:
- 每个行人 BBox 上方有行人实例标识和置信度score,并使用不同的颜色以区分不同的行人实例
- 红色半透明区域为“闯入区域”,行人若进入,则视为闯入
- 左上角还有帧率,当前帧人数等信息
Break_in count
为走进闯入区域的累计总人数
3.2.4 配置文件
我们简单来看看 infer_cfg_pphuman.yml
配置文件
DET:# model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zipmodel_dir: output_inferencebatch_size: 1MOT:# model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zipmodel_dir: output_inferencetracker_config: deploy/pipeline/config/tracker_config.ymlbatch_size: 1skip_frame_num: -1 # preferably no more than 3enable: True
默认情况下都是 https://bj.bcebos.com 开头的链接, PaddleDetection套件会自动下载预训练模型,然而当我们自己训练模型并导出为静态图模型时, 该怎么用呢?
对,只需指定 model_dir
参数, PaddleDetection 推荐将静态图模型文件放在 work/PaddleDetection/output_inference
下,实际上放在哪里都可,只要这里指定正确
output_inference
目录下的文件是:
├─output_inference
│ infer_cfg.yml
│ model.pdiparams
│ model.pdiparams.info
│ model.pdmodel
.pdmodel
文件是模型结构文件,.pdiparams
文件是模型参数文件
之后在模型训练完毕之后,也将这样操作,使PaddleDetection用我们自己训练的模型进行推理
再来看看多目标追踪的配置:
MOT:tracker_config: deploy/pipeline/config/tracker_config.yml
其配置指向相同目录的 tracker_config.yml
文件,打开看看:
# config of tracker for MOT SDE Detector, use 'JDETracker' as default.
# The tracker of MOT JDE Detector (such as FairMOT) is exported together with the model.
# Here 'min_box_area' and 'vertical_ratio' are set for pedestrian, you can modify for other objects tracking.type: OCSORTTracker # choose one tracker in ['JDETracker', 'OCSORTTracker']# BYTETracker
JDETracker:use_byte: Truedet_thresh: 0.3conf_thres: 0.6low_conf_thres: 0.1match_thres: 0.9min_box_area: 0vertical_ratio: 0 # 1.6 for pedestrianOCSORTTracker:det_thresh: 0.4max_age: 30min_hits: 3iou_threshold: 0.3delta_t: 3inertia: 0.2vertical_ratio: 0min_box_area: 0use_byte: False
之前也介绍过了,PaddleDetecion多目标跟踪模型方案采用ByteTrack
或 OC-SORT
,与该文件的 JDETracker
和 OCSORTTracker
对应
在 PPHuman 这里默认使用OC-SORT
,只需要将 type
改为 JDETracker
, 即可使用 ByteTrack
算法
PPHuman v2的推理功能已经足够满足一些简单的业务需求,更多应用场景与案例,请参阅Github文档:
https://github.com/PaddlePaddle/PaddleDetection/tree/develop/deploy/pipeline
然而,面对各种复杂多变的场景,也有重新训练的需求,下面的小节将继续介绍 PPHuman 人员闯入的训练过程,实际上也是多目标跟踪的训练过程
3.3 数据准备
根据模型选型,MOT数据集可以分为两类:
- 一类纯检测框标注的数据集,仅SDE系列可以使用;
- 另一类是同时有检测和ReID标注的数据集,SDE系列和JDE系列都可以使用。
PaddleDetection团队提供了众多公开数据集或整理后数据集的下载链接,参考数据集下载汇总,用户可以自行下载使用:
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/mot/DataDownload.md
SDE数据集是纯目标检测的数据集,用户自定义数据集可以参照目标检测数据准备文档准备,如常用的VOC
和 COCO
格式等,PaddleDetection也提供了文档,供用户参考:
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/docs/tutorials/data/PrepareDetDataSet.md
本文也以SDE数据集为例,JDE系列仅做简单说明
3.3.1 SDE数据集准备
以 MOT17
数据集为例,下载并解压放在PaddleDetection/dataset/mot
目录下(约2.2G):
# 可以自行下载,本次实践为了速度,直接使用已经下载好的 `data/data172969/MOT17.zip` 文件# !wget -P /home/aistudio/work/PaddleDetection/dataset/mot https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip # -P 参数指定输出目录
# %cd /home/aistudio/work/PaddleDetection/dataset/mot
# !unzip -o MOT17.zip!cp /home/aistudio/data/data172969/MOT17.zip /home/aistudio/work/PaddleDetection/dataset/mot
%cd /home/aistudio/work/PaddleDetection/dataset/mot
!unzip -o MOT17.zip
PaddleDetection已经帮我们将Mot的标注格式转化为COCO格式,数据集目录为:
dataset/mot|——————MOT17|——————annotations|——————images
同时我们config中数据集部分的配置文件修改如下:
(关于哪一个config文件,我们将在之后的小节进行说明, 这里先挖一个坑)
num_classes: 1TrainDataset:!COCODataSetdataset_dir: dataset/mot/MOT17anno_path: annotations/train_half.jsonimage_dir: images/traindata_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']EvalDataset:!COCODataSetdataset_dir: dataset/mot/MOT17anno_path: annotations/val_half.jsonimage_dir: images/trainTestDataset:!ImageFolderdataset_dir: dataset/mot/MOT17anno_path: annotations/val_half.json
此处做一些说明,SDE系列数据集准备与一般目标检测数据集无异,所以VOC格式与COCO格式都可以,只需要准备对应格式的数据集且修改对应的config项即可
关于准备检测数据集,可以参考PaddleDetection的这篇文档:
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/docs/tutorials/data/PrepareDetDataSet.md
关于MOT格式转COCO或VOC格式,可以参考以下链接:
- https://github.com/ifzhang/ByteTrack#data-preparation
- https://github.com/PanXF-HUST/mot2voc
3.3.2 JDE数据集准备
(本小节仅供用户参考,此次范例暂时用不到)
JDE数据集是同时有检测和 ReID 标注 的数据集,首先按照以下命令 image_lists.zip
并解压放在 PaddleDetection/dataset/mot
目录下:
cd PaddleDetection/dataset/mot
wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip && unzip image_lists.zip
然后按照以下命令可以快速下载各个公开数据集,也解压放在 PaddleDetection/dataset/mot
目录下:
cd PaddleDetection/dataset/mot# 以下数据也可称作“MIX数据集”,同JDE,FairMOT论文使用的数据集
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip && unzip MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip && unzip Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip && unzip CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip && unzip PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip && unzip Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip && unzip ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip && unzip MOT16.zip
数据集目录为:
dataset/mot|——————image_lists|——————caltech.all |——————citypersons.train |——————cuhksysu.train |——————eth.train |——————mot16.train |——————mot17.train |——————prw.train |——————Caltech|——————Cityscapes|——————CUHKSYSU|——————ETHZ|——————MOT16|——————MOT17|——————PRW
3.3.3 JDE数据集的格式
(本小节仅供用户参考,此次范例暂时用不到)
这几个相关数据集都遵循以下结构:
MOT17|——————images| └——————train| └——————test└——————labels_with_ids└——————train
所有数据集的标注是以统一数据格式提供的。各个数据集中每张图片都有相应的标注文本。给定一个图像路径,可以通过将字符串 images
替换为 labels_with_ids
并将 .jpg
替换为.txt
来生成标注文本路径。在标注文本中,每行都描述一个边界框,格式如下:
[class] [identity] [x_center] [y_center] [width] [height]
class
为类别id,支持单类别和多类别,从0开始计,单类别即为0。identity
是从1
到num_identities
的整数(num_identities
是数据集中所有视频或图片序列的不同物体实例的总数),如果此框没有identity标注,则为-1
。[x_center] [y_center] [width] [height]
是中心点坐标和宽高,注意他们的值是由图片的宽度/高度标准化的,因此它们是从0到1的浮点数, 也就是YOLO格式
注意:
- MIX数据集是JDE和FairMOT原论文使用的数据集,包括Caltech Pedestrian, CityPersons, CUHK-SYSU, PRW, ETHZ, MOT17和MOT16。使用前6者作为联合数据集参与训练,MOT16作为评测数据集。如果您想使用这些数据集,请遵循他们的License。
- MIX数据集以及其子数据集都是单类别的行人跟踪数据集,可认为相比于行人检测数据集多了id号的标注。
准备好数据集之后,我们只需要这样修改数据配置:
metric: MOT
num_classes: 1# for MOT training
TrainDataset:!MOTDataSetdataset_dir: dataset/motimage_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']# for MOT evaluation
# If you want to change the MOT evaluation dataset, please modify 'data_root'
EvalMOTDataset:!MOTImageFolderdataset_dir: dataset/motdata_root: MOT16/images/trainkeep_ori_im: False # set True if save visualization images or video, or used in DeepSORT# for MOT video inference
TestMOTDataset:!MOTImageFolderdataset_dir: dataset/motkeep_ori_im: True # set True if save visualization images or video
事实上,除了以上数据配置的修改,也要修改DataReader
的配置,本文不对JDE系列做详细介绍,具体内容可以参考:
- jde: https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/mot/jde/README_cn.md
- fairmot: https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/mot/fairmot/README_cn.md
- mcfairmot: https://github.com/PaddlePaddle/PaddleDetection/blob/develop/configs/mot/mcfairmot/README_cn.md
3.4 模型训练
3.4.1 修改配置
训练SDE系列跟踪模型,一般情况下是训练其中的目标检测模型,接下来我们仅用纯检测标注数据集来训练PPYOLOE
,之后修改对应的 PPHuman 的配置
我们找到 PPYOLOE
的配置configs/ppyoloe/ppyoloe_crn_l_300e_coco.yml
, 在最下方添加这几行配置代码,是的,这里回收在数据准备部分的坑
num_classes: 1TrainDataset:!COCODataSetdataset_dir: dataset/mot/MOT17anno_path: annotations/train_half.jsonimage_dir: images/traindata_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']EvalDataset:!COCODataSetdataset_dir: dataset/mot/MOT17anno_path: annotations/val_half.jsonimage_dir: images/trainTestDataset:!ImageFolderdataset_dir: dataset/mot/MOT17anno_path: annotations/val_half.json
这几行配置会覆盖 _base_
中的数据配置
_BASE_: ['../datasets/coco_detection.yml', # <------ 覆盖原始coco数据集的配置'../runtime.yml','./_base_/optimizer_300e.yml','./_base_/ppyoloe_crn.yml','./_base_/ppyoloe_reader.yml',
]
修改完毕保存之后,就可以训练了
3.4.2 开启训练
%cd /home/aistudio/work/PaddleDetection
!python -m paddle.distributed.launch --gpus 0 tools/train.py -c configs/ppyoloe/ppyoloe_crn_l_300e_coco.yml --eval --amp
多卡训练只需要将 --gpus 0
改为--gpus 0,1,2,3,4,5,6,7
--amp
是自动混合精度训练,目前依旧存在不稳定的问题,偶尔会有NaN或Inf,可用可不用
3.4.3 模型导出
训练完毕之后,会在work/PaddleDetection/output/ppyoloe_crn_l_300e_coco
目录看到训练保存的文件,一般来说选择 best_model.pdparams
即可
├── ppyoloe_crn_l_300e_coco
│ ├── 9.pdema
│ ├── 9.pdopt
│ ├── 9.pdparams
│ ├── ......
│ ├── best_model.pdema
│ ├── best_model.pdopt
│ └── best_model.pdparams
这样导出即可
%cd /home/aistudio/work/PaddleDetection
!python tools/export_model.py \-c configs/ppyoloe/ppyoloe_crn_l_300e_coco.yml \-o weights=output/ppyoloe_crn_l_300e_coco/best_model.pdparams
会在output_inference/ppyoloe_crn_l_300e_coco
路径下看到导出静态图结果:
├── ppyoloe_crn_l_300e_coco
│ ├── infer_cfg.yml
│ ├── model.pdiparams
│ ├── model.pdiparams.info
│ └── model.pdmodel
3.4.4 修改推理配置
打开 yml 配置文件work/PaddleDetection/deploy/pipeline/config/infer_cfg_pphuman.yml
将MOT下的model_dir
改为刚刚的导出静态图模型路径output_inference/ppyoloe_crn_l_300e_coco
就好
MOT:# model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zipmodel_dir: output_inference/ppyoloe_crn_l_300e_cocotracker_config: deploy/pipeline/config/tracker_config.ymlbatch_size: 1skip_frame_num: -1 # preferably no more than 3enable: True
接下来只需要按照 3.2推理 的步骤进行验证即可:
%cd /home/aistudio/PaddleDetection
!python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \--video_file=../test_video.mp4 \--device=gpu \--draw_center_traj \--do_break_in_counting \--region_type=custom \--region_polygon 500 200 700 200 700 700 500 700
3.5 更换检测器
3.5.1 模型导出
由于PaddleDetection的便利性,仅通过简单修改配置,就轻松让模型跑起来,诸位开发者一定不过瘾。在本小结,将使用最新的PP-YOLOE+
代替 PP-YOLOE
来看一下 PP-YOLOE+
的基本资料
PP-YOLOE+_l在COCO test-dev2017达到了53.3的mAP, 同时其速度在Tesla V100上达到了78.1 FPS。
PP-YOLOE+_s/m/x同样具有卓越的精度速度性价比, 其精度速度可以在模型库中找到。
假设我们已经训练好了模型,并且得到了对应的参数文件,这里我们以PaddleDetection训练好的模型为例子,导出静态图模型:
%cd /home/aistudio/work/PaddleDetection
!python tools/export_model.py \-c configs/ppyoloe/ppyoloe_plus_crn_l_80e_coco.yml \-o weights=https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_l_80e_coco.pdparams
将-c
参数改为你训练时的配置文件, -o weights=
参数指向你得到的参数文件即可
之后会在work/PaddleDetection/output_inference
目录下得到你的静态图模型:
output_inference
└── ppyoloe_plus_crn_l_80e_coco├── infer_cfg.yml├── model.pdiparams├── model.pdiparams.info└── model.pdmodel
看到这个目录结构之后,是不是很熟悉呢? 接下来只需要将该模型路径写入 PPHuman 的配置文件即可
3.5.2 修改配置
打开 yml 配置文件work/PaddleDetection/deploy/pipeline/config/infer_cfg_pphuman.yml
将MOT下的model_dir
改为刚刚的导出静态图模型路径output_inference/ppyoloe_plus_crn_l_80e_coco
就好
MOT:# model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zipmodel_dir: output_inference/ppyoloe_plus_crn_l_80e_cocotracker_config: deploy/pipeline/config/tracker_config.ymlbatch_size: 1skip_frame_num: -1 # preferably no more than 3enable: True
修改完毕后直接运行推理就好:
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \--video_file=../test_video.mp4 \--device=gpu \--draw_center_traj \--do_break_in_counting \--region_type=custom \--region_polygon 500 200 700 200 700 700 500 700
当然,也可以不修改配置文件,在命令行中添加修改项也可以:
-o MOT.model_dir=output_inference/ppyoloe_plus_crn_l_80e_coco
即:
%cd /home/aistudio/work/PaddleDetection
!python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \--video_file=../test_video.mp4 \--device=gpu \--draw_center_traj \--do_break_in_counting \--region_type=custom \--region_polygon 500 200 700 200 700 700 500 700 \-o MOT.model_dir=output_inference/ppyoloe_plus_crn_l_80e_coco
这样又开始了愉快地推理!通过查看结果以及推理log, 可以看到PPYOLOE+的效果更快更好
这里做一个简要的说明,有小伙伴可能会觉得很奇怪,上述ppyoloe+
参数文件是使用COCO数据集训练的,共有80类,而我们PPHuman中仅有人一类,为什么这里直接导出静态图模型后,能直接在多目标追踪模型运行呢?
是的,就是因为COCO数据集的第0类,就是人,所以这个模型可以与咱们的多目标跟踪模型无缝衔接,换句话说,一般情况下,若训练用的数据集第0类时人,则可直接对接到这里
4. 总结与展望
- 本案例使用
PPHuman V2
进行了人员闯入检测分析,在使用过程中体会到了PaddleDetection的便捷性,仅需简单修改配置就可一键启动。 - 本案例使用SDE系列多目标跟踪算法进行实践,检测模型方案为PP-YOLOE,采用BYTETracker 或 OCSORTTracker作为跟踪器,开发者也可以自己尝试更换其他检测模型和跟踪模型
5. 技术交流
如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。
欢迎加入PaddleDetection 微信用户群(扫码填写问卷即可入群)
入群福利
基于PP-Human V2的闯入人员检测相关推荐
- 目标检测论文解读复现之八:基于YOLOv5s的滑雪人员检测研究
前言 此前出了目标改进算法专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读最新目标检测 ...
- 值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(上)
作者 | 黄浴 转载自知乎专栏自动驾驶的挑战和发展 [导读]上周,我们在激光雷达,马斯克看不上,却又无可替代?>一文中对自动驾驶中广泛使用的激光雷达进行了简单的科普,今天,这篇文章将各大公司和机 ...
- 原创 | 基于AI的智能急性颅内出血类型检测
作者:杨毅远 本文约6400字,建议阅读10分钟 本文介绍了通过AI技术检测急性颅内出血类型方面的知识. 颅内出血(颅骨内出血)是医疗领域严重的健康问题,需要快速且经常进行密集的医学治疗.在美国,颅内 ...
- 基于深度学习的日志数据异常检测
基于深度学习的日志数据异常检测 数据对象 智能运维(AIOps)是通过机器学习等算法分析来自于多种运维工具和设备的大规模数据.智能运维的分析数据对象多源运维数据包括系统运行时数据和历史记录数据,历史记 ...
- 基于AI的智能急性颅内出血类型检测-2019
基于AI的智能急性颅内出血类型检测 颅内出血(颅骨内出血)是医疗领域严重的健康问题,需要快速且经常进行密集的医学治疗.在美国,颅内出血约占中风的10%,其中中风是导致死亡的第五大原因.在医学界,识别任 ...
- 在智能家庭用OpenCV实现人员检测
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 OpenCV计算机视觉库概述 OpenCV是一组计算机视觉(CV) ...
- 背景差分法android代码,【学术论文】基于背景差分法的尾气烟度检测系统设计...
摘要随着机动车尾气的大量排放,为减少大气污染,对尾气进行相关的检测也越来越重要.为自动检测机动车尾气黑度,设计并实现了一种对尾气图片使用图像处理的方法进行林格曼级数检测的系统.通过对汽车尾气进行拍照处 ...
- 边缘设备上的实时AI人员检测:入门
下载数据-19.3 MB 下载模型-43.5 MB 下载结果-36.66 MB 得益于深度学习(DL),实时视频流中的人的实时检测几年前就已经解决了.但是,在边缘和物联网设备上并不总是那么容易,因为它 ...
- kettle spoon判断增量更新_【论文推荐】张斌等:基于改进 SOINN 算法的恶意软件增量检测方法...
基于改进SOINN算法的恶意软件增量检测方法 张斌1,2, 李立勋1,2, 董书琴1,2 1 信息工程大学,河南 郑州 450001 2 河南省信息安全重点实验室,河南 郑州 450001 摘要:针对 ...
最新文章
- Java 内部类及其原理
- javascript创建对象
- 深智云 让企业在物联网时代实现数据价值
- jsp:setProperty
- stack示例_C.示例中的Stack.CopyTo()方法
- ATL offsetofclass 的工作原理
- Centos8 搭建linux集群
- 目录下内容的递归复制Linux,linux下递归复制文件及目录
- OpenResity + nginx + mysq配置
- win7注册表无法修改计算机名称,win7注册表无法修改怎么办 win7注册表不能更改怎么办...
- LapSRN 超分辨率
- SuperMap iDesktop常见问题解答集锦 (二)
- 2021全球程序员收入报告出炉!
- Web安全-浅析网页暗链与挂马攻击
- xp无法连接win10计算机,win10共享的打印机xp无法连接
- adb 查看固件版本
- Android TV开发 焦点返回ListView时, 返回到离开时的位置
- 李开复给大学生的第3封信:成功、自信、快乐
- Educational Codeforces Round 132 div.2 A-F题解
- 南大通用8a产品工具orato8a
热门文章
- 目标检测论文解读复现之八:基于YOLOv5s的滑雪人员检测研究