动作识别0-02:mmaction2(SlowFast)-官方数据训练测试-ucf101
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解,如有错误欢迎大家指出,我会第一时间纠正。有兴趣的朋友可以加微信:17575010159 相互讨论技术。若是帮助到了你什么,一定要记得点赞!因为这是对我最大的鼓励。文末附带\color{blue}{文末附带}文末附带公众号−\color{blue}{公众号 -}公众号−海量资源。\color{blue}{ 海量资源}。海量资源。
动作识别0-00:mmaction2(SlowFast)-目录-史上最新无死角讲解
极度推荐的商业级项目:\color{red}{极度推荐的商业级项目:}极度推荐的商业级项目:这是本人落地的行为分析项目,主要包含(1.行人检测,2.行人追踪,3.行为识别三大模块):行为分析(商用级别)00-目录-史上最新无死角讲解
注意,本人编写该博客的时间为2020/07/28,也就是说,你现在下载的作者代码或许和\color{red}{注意,本人编写该博客的时间为2020/07/28,也就是说,你现在下载的作者代码或许和}注意,本人编写该博客的时间为2020/07/28,也就是说,你现在下载的作者代码或许和
本人的代码不一样(如果作者有更新过)还有就是,本人调试该代码为ubuntu18.04系统\color{red}{本人的代码不一样(如果作者有更新过)还有就是,本人调试该代码为ubuntu18.04系统}本人的代码不一样(如果作者有更新过)还有就是,本人调试该代码为ubuntu18.04系统
即下面的报错使用ubuntu18.04报错的过程,以及解决办法\color{red}{即下面的报错使用ubuntu18.04报错的过程,以及解决办法}即下面的报错使用ubuntu18.04报错的过程,以及解决办法
anconda环境搭建
# $MMACTION2表示项目(从githubu下载)的根目录
cd $MMACTION2
conda create -n mmaction2-pytorch1.5-py3.6 -y python=3.6
conda activate mmaction2-pytorch1.5-py3.6
pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
pip install -r requirements/build.txt
python setup.py develop
pip install decord -i https://pypi.douban.com/simple
数据摆放
上一篇博客已经给出数据的下载链接,并且告示了需要的内容,下载下来之后本人摆放如下(没有的目录请自行创建):
进入到第二个红箭头标识的Dataset/ucf101目录,请自行解压两个文件,获得目录如下:
重命名UCF-101为videos,重命名ucfTrainTestlist为annotations。本人显示如下:
数据制作
本人的数据制作流程主要参考如下链接(有兴趣的朋友可以自行探索):
https://github.com/open-mmlab/mmaction2/blob/master/docs/getting_started.md#training-setting
执行如下指令
# $MMACTION2表示项目的根目录
cd $MMACTION2
# 创建软连接。注意/work/2.ChiPeak/5.OpenMMLab/1.mmaction2/Dataset需要替换成你本人Dataset路径
ln -s /work/2.ChiPeak/5.OpenMMLab/1.mmaction2/Dataset data
cd tools/data/
python build_rawframes.py ../../data/ucf101/videos/ ../../data/ucf101/rawframes/ --task rgb --level 2 --ext avi --use-opencv --new-short 0 --new-width 320 --new-height 240
cd ucf101
bash generate_rawframes_filelist.sh
bash generate_videos_filelist.sh
执行完成之后,本人的目录分布如下:
模型训练
视频切割帧进行训练
首先执行如下指令,在项目的根目录$MMACTION2:
cp configs/recognition/slowfast/slowfast_r50_4x16x1_256e_kinetics400_rgb.py configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py
然后修改configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py文件如下(灰色字体表示本人注释的源码):
test_cfg = dict(average_clips=None)
#dataset_type = 'RawframeDataset'
#data_root = 'data/kinetics400/rawframes_train'
#data_root_val = 'data/kinetics400/rawframes_val'
#ann_file_train = 'data/kinetics400/kinetics400_train_list_rawframes.txt'
#ann_file_val = 'data/kinetics400/kinetics400_val_list_rawframes.txt'
#ann_file_test = 'data/kinetics400/kinetics400_val_list_rawframes.txt'dataset_type = 'RawframeDataset'
data_root = 'data/ucf101/rawframes'
data_root_val = 'data/ucf101/rawframes'
ann_file_train = 'data/ucf101/ucf101_train_split_1_rawframes.txt'
ann_file_val = 'data/ucf101/ucf101_val_split_1_rawframes.txt'
ann_file_test = 'data/ucf101/ucf101_val_split_1_rawframes.txt'
然后执行
python tools/train.py configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py --work-dir work_dirs/my_slowfast_r50_4x16x1_256e_ucf101_rgb --validate --seed 0 --deterministic
报错一:
File "/my_app/anaconda3/envs/test/lib/python3.6/site-packages/mmcv-1.0.4-py3.6-linux-x86_64.egg/mmcv/runner/base_runner.py", line 339, in register_lr_hookhook = mmcv.build_from_cfg(lr_config, HOOKS)File "/my_app/anaconda3/envs/test/lib/python3.6/site-packages/mmcv-1.0.4-py3.6-linux-x86_64.egg/mmcv/utils/registry.py", line 157, in build_from_cfgf'{obj_type} is not in the {registry.name} registry')
KeyError: 'CosineAnealingLrUpdaterHook is not in the hook registry'
修改configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py如下:
#lr_config = dict(policy='CosineAnealing', min_lr=0)
lr_config = dict(policy='step', step=[40,60])
本人对于这里表示很奇怪,为什么不能使用CosineAnealing,暂且不去理会,我们后续慢慢去分析。
报错二:
File "/work/2.ChiPeak/5.OpenMMLab/1.mmaction2/1.mmaction2/1.mmaction2-init-master/mmaction/models/backbones/resnet3d.py", line 279, in _inner_forwardout = out + identity
RuntimeError: CUDA out of memory. Tried to allocate 26.00 MiB (GPU 0; 5.81 GiB total capacity; 4.99 GiB already allocated; 6.62 MiB free; 5.06 GiB reserved in total by PyTorch)
(test) root@ebe12713b2cb:/work/2.ChiPeak/5.OpenMMLab/1.mmaction2/1.mmaction2/1.mmaction2-init-master#
这里是显存不够了,修改configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py如下:
train_pipeline = [#dict(type='SampleFrames', clip_len=32, frame_interval=2, num_clips=1),dict(type='SampleFrames', clip_len=16, frame_interval=2, num_clips=1),#checkpoint_config = dict(interval=4)
checkpoint_config = dict(interval=1)#num_classes=400,num_classes=101,
这里表示每次次采样16帧,这样占用的显存就比较小了。设置interval=1,是为了在训练个 epoch 之后保存一次模型,方便后续的模型测试
正常运行
再次执行:
python tools/train.py configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py --work-dir work_dirs/my_slowfast_r50_4x16x1_256e_ucf101_rgb --validate --seed 0 --deterministic
本人显示如下:
本人在训练一个epoch之后就停止了,然后进行后面的模型测试。
源视频数据进行训练:
修改my_slowfast_r50_4x16x1_256e_ucf101_rgb.py文件如下:
test_cfg = dict(average_clips=None)
#dataset_type = 'RawframeDataset'
#data_root = 'data/kinetics400/rawframes_train'
#data_root_val = 'data/kinetics400/rawframes_val'
#ann_file_train = 'data/kinetics400/kinetics400_train_list_rawframes.txt'
#ann_file_val = 'data/kinetics400/kinetics400_val_list_rawframes.txt'
#ann_file_test = 'data/kinetics400/kinetics400_val_list_rawframes.txt'dataset_type = 'VideoDataset'
data_root = 'data/ucf101/videos'
data_root_val = 'data/ucf101/videos'
ann_file_train = 'data/ucf101/ucf101_train_split_1_videos.txt'
ann_file_val = 'data/ucf101/ucf101_val_split_1_videos.txt'
ann_file_test = 'data/ucf101/ucf101_val_split_1_videos.txt'train_pipeline = [dict(type='DecordInit'),#dict(type='SampleFrames', clip_len=32, frame_interval=2, num_clips=1),dict(type='SampleFrames', clip_len=16, frame_interval=2, num_clips=1),#dict(type='FrameSelector'),dict(type='DecordDecode'),dict(type='Resize', scale=(-1, 256)),val_pipeline = [dict(type='DecordInit'),#dict(type='SampleFrames',clip_len=32,frame_interval=2,num_clips=1,test_mode=True),dict(type='SampleFrames', clip_len=16, frame_interval=2, num_clips=1, test_mode=True),#dict(type='FrameSelector'),dict(type='DecordDecode'),dict(type='Resize', scale=(-1, 256)),test_pipeline = [dict(type='DecordInit'),#dict(type='SampleFrames',clip_len=32,frame_interval=2,num_clips=1,test_mode=True),dict(type='SampleFrames', clip_len=16, frame_interval=2, num_clips=1, test_mode=True),#dict(type='FrameSelector'),dict(type='DecordDecode'),dict(type='Resize', scale=(-1, 256)),
同样还是执行(本人感觉直接加载视频,比加载切割之后视频帧训练速度更快):
python tools/train.py configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py --work-dir work_dirs/my_slowfast_r50_4x16x1_256e_ucf101_rgb --validate --seed 0 --deterministic
模型测试
执行指令:
python tools/test.py configs/recognition/slowfast/my_slowfast_r50_4x16x1_256e_ucf101_rgb.py work_dirs/my_slowfast_r50_4x16x1_256e_ucf101_rgb/epoch_1.pth --eval top_k_accuracy mean_class_accuracy --out result.json --average-clips=prob
本人显示如下:
由于时间太长,本人就直接停止没有等待了。
结语
后续我会对mmaction2架构进行讲解,SlowFast论文翻译以及SlowFast网络结构解析。下篇博客见,老铁!
动作识别0-02:mmaction2(SlowFast)-官方数据训练测试-ucf101相关推荐
- 动作识别0-10:mmaction2(SlowFast)-源码无死角解析(6)-模型构建总览
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解,如有错误欢迎大家指出,我会第一时间纠正.有兴趣的朋友可以加微信:17575010159 相互讨论技术.若是帮助到了你什么, ...
- 目标检测00-02:mmdetection(Foveabox为例)-官方数据训练测试-COCO
以下链接是个人关于mmdetection(Foveabox-目标检测框架)所有见解,如有错误欢迎大家指出,我会第一时间纠正.有兴趣的朋友可以加微信:17575010159 相互讨论技术.若是帮助到了你 ...
- 姿态估计1-02:HR-Net(人体姿态估算)-官方模型训练测试-报错解决
以下链接是个人关于HR-Net(人体姿态估算)所有见解,如有错误欢迎大家指出,我会第一时间纠正.有兴趣的朋友可以加微信:17575010159 相互讨论技术.若是帮助到了你什么,一定要记得点赞!因为这 ...
- 利用opencv带你玩转人脸识别-下篇(人脸录入,数据训练,人脸识别小案例快速入门)
- MMAction2 学习笔记 (一)——骨骼动作识别模型相关内容
MMAction2 学习笔记 (一)--骨骼动作识别模型相关内容 0- 写在前面 好久不用CSDN发东西了,近期研究可以说有进展却又没什么进展,达到方向切换到了动作识别,目前正在实习,具体的内容方向是 ...
- 使用kinect2.0做动作识别和动作计数
利用kinect2结构光相机进行运动动作识别和运动计数,不仅可以测量运动人员的卡路里,也可以测出运动速度和做功,并对于运动的动作做出科学规范的指导. 这里我们选用kinect2和windows系统作为 ...
- 基于骨骼关键点的动作识别(OpenMMlab学习笔记,附PYSKL相关代码演示)
一.骨骼动作识别 骨骼动作识别是视频理解领域的一项任务 1.1 视频数据的多种模态 RGB:使用最广,包含信息最多,从RGB可以得到Flow.Skeleton.但是处理需要较大的计算量 Flow:光流 ...
- 推荐一些动作识别数据集
↑↑↑↑↑点击上方蓝色字关注我们! 『运筹OR帷幄』原创 作者:周岩 编者按:动作识别的研究主要基于对视频数据的识别,其中主要包含动作识别(如手势识别,运动识别等),目标识别和姿态预测几个子方向.所有 ...
- 基于IndRNN的手机传感器动作识别
近日,来自山东大学和电子科技大学的研究者提出了基于 IndRNN 模型利用手机传感器实现动作识别的网络,该模型解决了现有 RNN 模型的梯度消失和梯度爆炸问题,一定程度上实现了动作识别的用户独立性,同 ...
- 基于骨骼的动作识别:DD-Net
Make Skeleton-based Action Recognition Model Smaller, Faster and Better论文解读 概述 1. 简介 2. related work ...
最新文章
- Delphi 与 DirectX 之 DelphiX(52): TDIB.DoSaturation();
- 手表可测血压,耳机支持颈椎保护……这届电子设备越来越“养生”了
- ServiceMix中部署:OSGi Bundle和Feature
- js中json的创建和解析
- python 第三课 第一个python程序
- python 核心编程第5章(习题)
- [笔记]极大极小过程的alpha-beta剪枝不可与记忆化搜索一起使用
- 【Python3网络爬虫开发实战】1.3.1-lxml的安装
- 图像处理-STB图片读写
- 关于DevEco Studio踩过的各种坑~
- javaweb java代码写在哪里_写了那么多年 Java 代码,终于 debug 到 JVM 了
- Altium Designer 10 安装破解教程
- mysql查看数据库表容量大小_详解MySQL查看数据库表容量大小的方法总结
- pyltp依存句法分析_依存句法分析 python pyltp实现
- 计算机缓存怎样更改,计算机的缓存大小在哪设置?
- 主板usb接口全部失灵_主板usb接口全部失灵
- 单片机 TM4C123GXL 学习 例程
- openwrt下有线网设置详细过程
- 浙江工业大学计算机学院推免生,浙江工业大学计算机科学与技术学院(专业学位)软件工程保研夏令营...
- 开源网店系统iWebShop新功能预览(多图)
热门文章
- word2007显示控件工具箱
- 在Linux上下载arduino
- python调用按键精灵插件_按键精灵 插件命令 重中之重务必要记住怎么操作
- 基于Pytorch源码对Adagrad、Adadelta、RMSProp、Adam等自适应学习率进行学习
- linux解决蓝牙和网卡,完全用Deepin Linux娱乐、工作、学习(3)-- 无线网卡及蓝牙设备驱动篇...
- 菜鸟html代码在线,html菜鸟教程,HTML新手如何快速入门
- QDir过滤文件的坑
- c 语言min max 归一化,归一化方法 Normalization Method
- 【源码更新】活动报名登记预约问卷表单系统微信小程序支持导入导出自定义表单填报字段
- localhost拒绝访问的解决方法