写在前面：目前需要接触到mmdection框架，以此大致记录一下学习过程。

一、mmdection安装

csdn上有很多安装教程，自己建一个虚拟环境(Anaconda和virtualenv都可以)，之后的包用pip安装就行了，根据项目安装不同版本，注意和torch版本对应。

二、框架

主要分为七个模块

1、训练推断模块：位于mmdet/apis，提供网络训练和推断的框架代码，能够根据网络配置文件cfg的要求，初始化目标检测网络以及设定优化器模式，提供所需超参数

2、数据输入模块：位于mmdet/datasets，用于提供做训练的各个类型数据集（比如kitti和coco）的输入格式并支持数据增广。对点云的数据增广则位于mmdet/core/point_cloud。

3、网络架构模块：位于mmdet/models，用于提供目标检测网络常用的Backbone Network，Neck Network，以及Detection Head等等。目标检测网络使用的非极大值抑制则存放在mmdet/core/post_processing中。

4、指标计算模块：位于mmdet/core，用于提供2d/3d iou的计算，以及PR曲线和AP值的计算。

5、损失函数模块：位于mmdet/core/loss，用于提供目标检测中常用的误差损失函数，比如分类使用的交叉熵损失函数和focal loss，3d框回归使用的平滑L1范数等等。

6、Anchor生成模块：位于mmdet/core/anchor，用于给基于anchor的目标检测算法提供anchor。

7、自定义运算模块：位于mmdet/ops，用于添加自定义的点云处理模块，比如PointNet++一些运算。

模型创建组件主要为五块

1、backbone: 通常使用一个FCN（全卷积神经网络）来提取feature maps(特征图),例如：ResNet, MobileNet.
2、neck: 这个组件是放在backbones和heads之间的，例如：FPN(特征金字塔网络), PAFPN.
3、head: 这个组件是用于一些指定的任务，例如：bbox prediction and mask prediction.
4、roi extractor: 这个组件是用来从feature maps中提取ROI features的。例如：RoI Align.
5、loss: 这个组件是放在head组件中用来计算损失的。例如： FocalLoss, L1Loss以及 GHMLoss.

三、代码注释

选择faster_rcnn_r50_fpn_1x.py中configs进行介绍

faster_rcnn_r50_fpn.py

// An highlighted block
# model settings
model = dict(type='FasterRCNN',  # modedl类型pretrained='torchvision://resnet50',  # 预训练模型：imagenet-resnet50backbone=dict(type='ResNet',  # backbone类型depth=50,  # 网络层数num_stages=4,  # resnet的staged數量out_indices=(0, 1, 2, 3),  # 輸出的stage的序號frozen_stages=1,  # 冻结的stage数量，即该stage不更新参数，-1表示所有的stage都更新参数norm_cfg=dict(type='BN', requires_grad=True),  # 归一化norm_eval=True,style='pytorch'),  # 网络风格：如果设置pytorch，则stride为2的层是conv3*3的卷积层；如果设置caffe，则stride为2的层是第一个conv1*1的卷积层neck=dict(type='FPN',  # neck类型in_channels=[256, 512, 1024, 2048],  # 输入的各个stage的通道数out_channels=256,  # 输出的特征层的通道数num_outs=5),  # 输出的特征层的数量rpn_head=dict(type='RPNHead',  # RPN网络类型in_channels=256,  # RPN网络的输入通道数feat_channels=256,  # 特征层的通道数anchor_generator=dict(type='AnchorGenerator',scales=[8],  # 生成的anchor的baselen， baselen=sqrt（w×h），w和h为anchor的宽和高ratios=[0.5, 1.0, 2.0],  # anchor的高宽比strides=[4, 8, 16, 32, 64]),  # 在每个特征层上的anchor的步长（对应于原图）bbox_coder=dict(type='DeltaXYWHBBoxCoder',target_means=[.0, .0, .0, .0],target_stds=[1.0, 1.0, 1.0, 1.0]),loss_cls=dict(type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),loss_bbox=dict(type='L1Loss', loss_weight=1.0)),roi_head=dict(type='StandardRoIHead',bbox_roi_extractor=dict(type='SingleRoIExtractor',  # RoIExtractor类型（旋转提取器）roi_layer=dict(type='RoIAlign', output_size=7, sampling_ratio=0),  # ROI具体参数：ROI类型为ROIalign，输出尺寸为7，sample数为2out_channels=256,  # 输出通道数featmap_strides=[4, 8, 16, 32]),  # 特征图的步长bbox_head=dict(type='Shared2FCBBoxHead',  # 全连接层类型in_channels=256,  # 输入通道数fc_out_channels=1024,  # 输出通道数roi_feat_size=7,  # ROI特征层尺寸num_classes=80,  # 分类器的类别数量bbox_coder=dict(type='DeltaXYWHBBoxCoder',target_means=[0., 0., 0., 0.],  # 均值target_stds=[0.1, 0.1, 0.2, 0.2]),  # 方差reg_class_agnostic=False,  # 是否采用class_agnostic的方式来预测，class_agnostic表示输出bbox时只考虑其是否为前景，后续分类的时候再根据该bbox在网络中的类别得分来分类，也就是说一个框可以对应多个类别loss_cls=dict(type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),loss_bbox=dict(type='L1Loss', loss_weight=1.0))),# model training and testing settingstrain_cfg=dict(rpn=dict(assigner=dict(type='MaxIoUAssigner',  # RPN网络的正负样本划分pos_iou_thr=0.7,  # 正样本的iou阈值neg_iou_thr=0.3,  # 负样本的iou阈值min_pos_iou=0.3,  # 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchormatch_low_quality=True,ignore_iof_thr=-1),  # 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略sampler=dict(type='RandomSampler',  # 正负样本提取器类型num=256,  # 需提取的正负样本数量pos_fraction=0.5,  # 正样本比例neg_pos_ub=-1,  # 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略add_gt_as_proposals=False),  # 把ground truth加入proposal作为正样本allowed_border=-1,  # 允许在bbox周围外扩一定的像素pos_weight=-1,  # 正样本权重，-1表示不改变原始的权重debug=False),  # debug模式rpn_proposal=dict(nms_pre=2000,max_per_img=1000,nms=dict(type='nms', iou_threshold=0.7),min_bbox_size=0),rcnn=dict(assigner=dict(type='MaxIoUAssigner',  # RCNN网络正负样本划分pos_iou_thr=0.5,  # 正样本的IOU阈值neg_iou_thr=0.5,  # 负样本的IOU阈值min_pos_iou=0.5,  # 同上match_low_quality=False,ignore_iof_thr=-1),  # 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略sampler=dict(type='RandomSampler',  # 正负样本提取器类型num=512,  # 需提取的正负样本数量pos_fraction=0.25,  # 正样本比例neg_pos_ub=-1,  # 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略add_gt_as_proposals=True),  # 把ground truth加入proposal作为正样本pos_weight=-1,  # 正样本权重，-1表示不改变原始的权重debug=False)),  # debug模式test_cfg=dict(rpn=dict(nms_pre=1000,  # 推断时的RPN参数max_per_img=1000,  # 表示最终输出的det bbox数量nms=dict(type='nms', iou_threshold=0.7),  # nms阈值为0.7min_bbox_size=0),  # 最小bbox尺寸rcnn=dict(score_thr=0.05,nms=dict(type='nms', iou_threshold=0.5),max_per_img=100)# soft-nms is also supported for rcnn testing# e.g., nms=dict(type='soft_nms', iou_threshold=0.5, min_score=0.05)))

coco_detection.py

// An highlighted block
# dataset settings
dataset_type = 'CocoDataset'  # 数据集类型
data_root = '/media/coco/'  # 数据集根目录
img_norm_cfg = dict(mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)  # 输入图像初始化，减去均值mean并处以方差std，to_rgb表示将bgr转为rgb
train_pipeline = [dict(type='LoadImageFromFile'),dict(type='LoadAnnotations', with_bbox=True),dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),  # 输入图像尺寸，最大边1333，最小边800dict(type='RandomFlip', flip_ratio=0.5),  # 图像的随机左右翻转的概率dict(type='Normalize', **img_norm_cfg),  # 图像的初始化参数dict(type='Pad', size_divisor=32),  # 对图像进行resize时的最小单位，32表示所有的图像都会被resize成32的倍数dict(type='DefaultFormatBundle'),dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [dict(type='LoadImageFromFile'),dict(type='MultiScaleFlipAug',img_scale=(1333, 800),flip=False,transforms=[dict(type='Resize', keep_ratio=True),dict(type='RandomFlip'),dict(type='Normalize', **img_norm_cfg),dict(type='Pad', size_divisor=32),dict(type='ImageToTensor', keys=['img']),dict(type='Collect', keys=['img']),])
]
data = dict(samples_per_gpu=2,  # 每个gpu计算的图像数量workers_per_gpu=2,  # 每个gpu分配的线程数train=dict(type=dataset_type,  # 数据集类型ann_file=data_root + 'annotations/instances_train2017.json',  # 数据集annotation（注释）路径img_prefix=data_root + 'train2017/',  # 数据集的图片路径pipeline=train_pipeline),  # 数据增强val=dict(type=dataset_type,ann_file=data_root + 'annotations/instances_val2017.json',img_prefix=data_root + 'val2017/',pipeline=test_pipeline),test=dict(type=dataset_type,ann_file=data_root + 'annotations/instances_val2017.json',img_prefix=data_root + 'val2017/',pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox')

schedule_1x.py

// An highlighted block
# optimizer
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)  # 优化参数，lr为学习率，momentum为动量因子，weight_decay为权重衰减因子
optimizer_config = dict(grad_clip=None)  # 梯度均衡参数
# learning policy
lr_config = dict(policy='step',  # 优化策略warmup='linear',  # 初始的学习率增加的策略，linear为线性增加warmup_iters=500,  # 在初始的500次迭代中学习率逐渐增加warmup_ratio=0.001,  # 起始的学习率step=[8, 11])  # 在第八个和十一个epoch时降低学习率
runner = dict(type='EpochBasedRunner', max_epochs=12)  # 最大epoch数
'''
MMdec默认为8GPU×2img/GPU=16张
MMdec默认学习率=0.02
所以单GPU的话
新的学习率为0.02/8=0.0025
'''

default_runtime.py

// An highlighted block
checkpoint_config = dict(interval=1)  # 每一个epoch存储一次模型
# yapf:disable
log_config = dict(interval=50,  # 每50个batch输出一次信息hooks=[dict(type='TextLoggerHook'),  # 控制台输出信息的风格# dict(type='TensorboardLoggerHook')])
# yapf:enable
custom_hooks = [dict(type='NumClassCheckHook')]dist_params = dict(backend='nccl')  # 分布式参数
log_level = 'INFO'  # 输出信息的完整度级别
load_from = None  # 加载模型的路径，None表示从预训练模型加载
resume_from = None  # 恢复训练模型的路径
workflow = [('train', 1)]  # 当前工作区名称

四、一些问题

在跑mmdectionn PVT的代码，碰到了几个问题。。
首先是RuntimeError: CUDA out of memory.这个问题，一开始在我自己的2080s上跑确实显存不太够，随后用实验室的工作站跑(2080ti)，结果还是同样的错误，一开始以为GPU id指定错了(因为工作站有的显卡在跑其他的东西)，后来监视显卡发现确实2080ti的显存也不够(这就是transformer的体量吗)，随后只能把batch_size改为1(源代码中是2)，然后用3张卡先跑着了，看了下时间，也得跑2天半。。
其次是运行dist_train.sh文件时，报错dist_train.sh：未找到命令，在.sh文件前面加一个bash就解决啦。

mmdection介绍相关推荐

mmdection的安装、测试，心酸历程
mmdection是什么有什么作用,这里就不介绍了,大家可以在官方github里看这里就说一些我遇到的问题和一些我的想法. 1.刚开始配置mmdection时,想着在我自己原来的pytorch环境中 ...
简单介绍互联网领域选择与营销方法
在我看来,互联网领域的选择是"安家",而营销方法的不同则表现了"定家"的方式多种多样,只有选对了,"家"才得以"安定". ...
常用开源协议介绍以及开源软件规范列表
1. 开源协议介绍 GPL: General Public License,开源项目最常用的许可证,衍生代码的分发需开源并且也要遵守此协议.该协议也有很多变种,不同变种要求会略微不同. MPL: MP ...
python：Json模块dumps、loads、dump、load介绍
20210831 https://www.cnblogs.com/bigtreei/p/10466518.html json dump dumps 区别 python:Json模块dumps.load ...
pytorch学习笔记（九）：PyTorch结构介绍
PyTorch结构介绍对PyTorch架构的粗浅理解,不能保证完全正确,但是希望可以从更高层次上对PyTorch上有个整体把握.水平有限,如有错误,欢迎指错,谢谢! 几个重要的类型和数值相关的 T ...
Python字节码介绍
了解 Python 字节码是什么,Python 如何使用它来执行你的代码,以及知道它是如何帮到你的. 如果你曾经编写过 Python,或者只是使用过 Python,你或许经常会看到 Python 源代 ...
Pytest - 使用介绍
1. 概述 pytest是一个非常成熟的全功能的Python测试框架,主要特点有以下几点: 1.简单灵活,容易上手,文档丰富: 2.支持参数化,可以细粒度地控制要测试的测试用例: 3.能够支持简单的单 ...
遗传算法的简单介绍以及模式定理的简单证明
遗传算法遗传算法(Genetic Algorithm,GA),最早是由美国的John holland在20世纪70年代提出.算法通过模拟达尔文生物进化论的自然选择以及遗传学机理的生物进化过程来搜 ...
k8s核心组件详细介绍教程（配超详细实例演示）
本文实验环境基于上篇文章手把手从零开始搭建k8s集群超详细教程本文根据B站课程云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps学习总结而来 k8s核心组件介绍 1 ...

mmdection介绍