重磅!OpenMMLab 更新啦!分类/检测/分割/3D等项目全面升级
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
本文作者:陈恺
https://zhuanlan.zhihu.com/p/74597564
本文已由原作者授权,不得擅自二次转载
历时不知道多久,OpenMMLab又迎来了一次全面的更新。为了方便社区的研究者和开发者能够及时获悉 OpenMMLab 各个项目的进展,我们对近期的更新做一个整体的介绍。本次发布赶在 CVPR 之前,希望 OpenMMLab 的各个项目能够帮助到大家的研究和开发。
https://github.com/open-mmlab
这次的一大波更新包括 MMCV, MMClassification, MMSegmentation, MMEditing, MMDetection, MMDetection3D, MMPose, MMAction2。在这次更新中,OpenMMLab 的各个项目都支持了 pip install 直接安装,增加了对混合精度训练的支持和 ONNX 转换的支持,Dockerfile 全面升级到 PyTorch 1.6,并启用了新的模型库域名:download.openmmlab.com。从 7 月份的发布以来,共增加了 21 个新算法,目前 OpenMMLab 项目开放的总算法数超过了 120,总模型数达到了 900 以上。
各个算法库的更新简介如下:
MMCV
https://github.com/open-mmlab/mmcv
* 新特性
增加 build_runner 方法,方便下游代码库的 runner 定制化
支持对 DCN 中 offset 层学习率的调整
增加 EMAHook,支持指数移动平均方法
为 Adaptive Average Pooling 提供 ONNX 的支持
增加新的算子,如 TINShift,Conv2dAdaptivePadding
增加新模块,如 DepthwiseSeparableConvModule,Swish activation
增加新的数据处理模块,如 imshear,imtranslate,adjust_brightness 等
* 代码改进
JsonHandler 增加对 unserializable 的值与更多默认类型的支持
图像处理模块支持对角线翻转
优化 batched_nms 以处理框数量过多的情况,自动根据框的类别标签进行序列处理
增加了 wrap_fp16_model 的接口
改进 train/val_step 接口
添加 deconv 的注册器
支持在 fp16 optimizer hook 中记录梯度大小
允许 imshow_det_bboxes() 同时返回框和图片
MMClassification
https://github.com/open-mmlab/mmclassification
* 新特性
增加 inference 的相关代码
支持 PyTorch 到 ONNX 的转换
增加新的 transform,包括基于 PIL 的 transform 和 albumentations
增加新模型,包括 ResNeSt,VGG 等
支持新更多数据集
增加结果可视化模块
* 代码改进和 BUG 修复
更新了 ShuffleNet 的配置文件,更新多个模型的预训练权重,包括 ShuffleNet 系列与 SE-ResNet 系列
解决多个 transform 中存在的错误
改进多个模型的参数和初始化问题
MMSegmentation
https://github.com/open-mmlab/mmsegmentation
* 新算法/模型
MobileNet V2
EMANet
DNL
PointRend,
Semantic FPN
Fast SCNN
ResNeSt
ORNet ResNet
DeepLabV3/DeepLabV3+ Dilate 16
* 新数据集
Pascal Context
* 代码改进
支持 ONNX 导出上采样
支持 Windows 环境下的安装
迁移 DepthwiseSeparableConv,collect_env 到 MMCV
支持用户自定义数据集类别和调色板
MMDetection:
https://github.com/open-mmlab/mmdetection
* 支持新算法/模型
YOLACT
CentripetalNet
SABL
YOLOv3
PAA Assign
CornerNet
DIOU/CIOU loss
支持新数据集 LVIS V1
* 文档完善
新的colab tutorial:增加了训练教程,教程中包括将新的数据集转为MMDet的格式并对预训练模型进行微调和推理,方便新手了解目标检测中从数据预处理到模型训练和推理的全过程
增加trouble shooting页面:总结了mmdet使用过程中的常见issue和解决方案
完善了自定义数据集、自定义模型相关的教程
* 新特性
支持batch inference:支持在推理过程单卡 batch size >1的情况,提高模型推理的并行度
支持pip install mmdet:从此支持一行命令安装mmdet了
支持 RetinaNet 从 Pytorch 到 ONNX的转换:支持和完善了PyTorch2ONNX的功能,后续还会继续支持双阶段和多阶段检测器的Pytorch2ONNX
支持了PyTorch 1.6 Dockerfile:更新了Dockerfile,用户可以使用基于PyTorch1.6的docker来使用MMDetection,注意,Pytorch 1.3 - Pytorch 1.5的docker仍然可以使用,用户只需要在Dockerfile中修改PyTorch相应版本即可。
* 代码改进
将所有的CUDA/C++ 算子迁移到了MMCV,统一管理 OpenMMLab 项目对 CUDA 算子依赖。
对自定义数据集的灵活支持,支持根据类别自动筛选数据:之前对自定义数据集和自定义类别的数据使用不够友好,在指定训练类别的情况下无法控制剔除无GT图像的行为。最新版使得只有在 filter_empty_gt=True 和 test_mode=True 的情况下才会剔除无 GT 的图像,消除了数据筛选的歧义。
统一了代码中的负样本标签定义,RPN head 中 0 代表正样本(第一正类),1 代表负样本,使得 v2.5 以后所有的 head 都使用 self.num_classes 来定义背景框的标签,不再有特殊情况。
MMDetection3D
https://github.com/open-mmlab/mmdetection3d
* 支持新算法/模型
H3DNet
3DSSD
CenterPoint
* 支持新数据集
Waymo:支持 Waymo 数据集,开放了 PointPillars 和 SECOND 的预训练模型和模型性能,为研究和开发提供性能基准
nuImages:支持使用 nuImages 数据集进行目标检测、实例分割任务。包含 Mask R-CNN and Cascade Mask R-CNN 预训练模型和模型性能,提供性能基准的同时也为多模态检测提供了预训练模型。
* 新特性
支持 Batch Inference:支持在推理过程单卡 batch size >1 的情况,提高模型推理的并行度
支持 Pytorch 1.6:支持了 Pytorch1.6,清理了 Pytorch1.6 (如 torch.nonzero)相关的warning
支持 pip install mmdet3d:支持一行命令安装 mmdetection3d,方便开发者将 mmdet3d 作为基础代码库开发新的项目
支持混合精度训练:对 PointPillars/SECOND 等基于 voxel 的模型支持混合精度训练,在 KITTI 和 nuScenes 数据集上显存减半但是精度不掉。
MMEditing
https://github.com/open-mmlab/mmediting
* 新特性
支持 NIQE,一种常用的图像质量评价指标,帮助大家更好地测试自己的模型
支持 pip install mmedit
加入 FP16 训练所需模块,支持 FP16 的训练,降低资源开销
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
重磅!OpenMMLab 更新啦!分类/检测/分割/3D等项目全面升级相关推荐
- #今日论文推荐#ECCV 2022 | 清华字节提出MGD:适用于分类/检测/分割的生成式知识蒸馏
#今日论文推荐#ECCV 2022 | 清华&字节提出MGD:适用于分类/检测/分割的生成式知识蒸馏 知识蒸馏主要可以分为logit蒸馏和feature蒸馏.其中feature蒸馏具有更好的拓 ...
- 如何将深度学习模型部署到实际工程中?(分类+检测+分割)
应用背景介绍 早在遥远的1989年,一家叫做ALVIVN的公司首次将神经网络用在汽车上,进行车道线检测和地面分割.时至今日,深度学习已经应用在自动驾驶系统的多个分支领域.首先是感知领域,常用的传感器有 ...
- 【视频课】言有三每天答疑,38课深度学习+超60小时分类检测分割数据算法+超15个Pytorch框架使用与实践案例助你攻略CV...
计算机视觉中大大小小可以包括至少30个以上的方向,在基于深度学习的计算机视觉研究方向中,图像分类,图像分割,目标检测无疑是最基础最底层的任务,掌握好之后可以很快的迁移到其他方向,比如目标识别,目标跟踪 ...
- ECCV 2022 | 清华字节提出MGD:适用于分类/检测/分割的生成式知识蒸馏
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者:美索不达米亚平原 | 已授权转载(源:知乎)编辑:CVer https://zhuanlan.zhi ...
- 分类检测分割中的损失函数和评价指标
文章目录 一.分类 1.1 CrossEntropy Loss 1.2 带权重的交叉熵Loss 1.3 Focal Loss 二.检测 2.1 L1, L2, smooth L1, IoU loss ...
- CVPR 2021 | 即插即用! CA:新注意力机制,助力分类/检测/分割涨点!
摘要 最近关于移动网络设计的研究已经证明了通道注意(例如,挤压和激发注意)对于提升模型性能的显著效果,但是它们通常忽略位置信息,而位置信息对于生成空间选择性注意图是重要的.本文提出了一种新的移动网络注 ...
- CVPR 2021 论文解读I 动态区域感知卷积,进一步提升分类/检测/分割性能|Dynamic Region-Aware Convolution
Dynamic Region-Aware Convolution 摘要 介绍 方法 实验结果 总结 论文单位:旷视研究院 论文链接:https://arxiv.org/abs/2003.12243 作 ...
- CVPR 2021 论文解读Vol.6 I 动态区域感知卷积,进一步提升分类/检测/分割性能
论文单位:旷视研究院 论文链接:https://arxiv.org/abs/2003.12243 作者:Jin Chen, Xijun Wang, Zichao Guo, Xiangyu Zhang, ...
- 中山大学提出SimAM:无参Attention!助力分类/检测/分割涨点!
http://proceedings.mlr.press/v139/yang21o.html code: https://github.com/ZjjConan/SimAM 在正式介绍本文所提注意力模 ...
最新文章
- PNAS:土壤氮循环微生物功能特征的全球生物地理学
- OpenStack 实现技术分解 (5) 应用开发 — 使用 OpenStackClients 进行二次开发
- unix,linux,windows 哪个更好,更适合做服务器
- Qt creator 中文显示问题(常量中有换行符或中文显示乱码)
- struts框架的原理和应用_分布式开源调度框架TBSchedule原理与应用
- yolov3中如何进行聚类得到anchor box的
- 无刷新,动态设置页面焦点的问题
- SQL server连接数据库
- 思科服务器装了一个QJH8芯片,通过在操作系统Cisco的语音的CLI配置CA签名的证书(VOS)...
- Flutter路由管理
- nyoj-975-关于521
- 虐心的《西部世界》第二季:我看哭了 人类和AI傻傻分不清
- 【叶子函数分享五十四】汉字转拼音函数
- 妈妈也曾是少女!Binking玫瑰海藻银耳羹,还妈妈一个粉红的梦!
- 如何成为高效的学习高手
- 对于目标识别的一些idea-传递特征的position而不是特征或特征图
- linux ftdi 虚拟,linux ftdi驱动
- handler中的handler.removecallbacks和handler.removemessages的用法
- 什么是API,开发人员该如何使用它们?
- STM32低功耗总结——转载