叮咚～你订阅的 OpenMMLab 3 月月刊已送达
让大家久等啦，OpenMMLab 3 月月刊已新鲜出炉！
首先和大家分享 3 月的贡献之星和活跃之星。
贡献之星
个人主页：https://github.com/ailingzengzzz
个人主页：https://github.com/zhanggefan
活跃之星
星星说
大家好我是五喵-闻星，现 MMDeploy 社区管理员~
一直以来使用 OpenMMLab 全家桶做实验、打比赛、做项目，并给 MMDetection 和 MMCV 提了过几个非高质量 PR，此过程中在社区同学的指点下，熟悉了 OpenMMLab 架构设计哲学，并把 OpenMMLab 的代码规范、单元测试和 CI/CD 等现代化开发链路引入到自己的项目中。
近期正在尝试研究让 MMDeploy 支持 Tengine 推理引擎，希望能成为 MMDeploy 高质量 PR。
MMDeploy 模型部署工具作为 OpenMMLab 生态视觉模型落地的关键一环，作为管理员，希望大家一起来 MMDeploy 语雀小组一起 ①共读源码 ②探索 MMDeploy 宝藏 ③反馈心声 ④分享你和 MMDeploy 的故事~https://www.yuque.com/mmdeploy
后续小编将为月度之星送上 OpenMMLab 限量定制礼品，请注意查收！
下面我们继续了解下 3 月 OpenMMLab 各个算法库都有哪些亮点功能发布吧~
亮点功能抢先看
MMDetection
- 支持了全景分割领域的 SOTA 算法 Mask2Former，目前已发布两个小模型，其余模型正在准备中。此外，当前版本的 Mask2Former 支持全景分割和实例分割的推断和评估。
MMPose
- 支持了多视角 3D 姿态估计数据集 Campus 和 Shelf，并提供了 VoxelPose 预训练模型和 demo。（图片取自 VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment ，ECCV 2020）
MMClassification
- 添加了 CSP Net 系列模型
MMDeploy
- 发布了 2 篇教程、2 篇 TorchScript 解读文章
MMRotate
- 支持了 Circular Sommth Label (CSL, ECCV'20) 模型
MMDetection3D
- 迁移所有算子到 mmcv，mmdet3d 的安装不再需要相关编译
- 支持了并行的 Waymo 数据集转换并修复了不精确的时间戳保存，大大提升了数据转换速度
- 更新了部分坐标系重构后的预训练模型
MMTracking
- 支持 Quasi-Dense Similarity Learning for Multiple Object Tracking 算法
MMOCR
- 新增了 16 个全新的 OCR 数据集，覆盖文档，手写体，场景文字等多个不同场景，并提供了数据集下载脚本和标注格式转换代码
MMEditing
- 支持视频插帧算法 TOFlow
MMSegmentation
- 支持 K-Net 算法 (#1289)
MMSelfSup
- 支持新的掩码学习算法 - SimMIM，简单而有效的自监督学习结构
MMGeneration
- 支持了 StyleGANv3 的训练，包括 from scratch 和 finetuning，现在你可以用 MMGeneration 训练当下最好的生成模型之一。
各算法库更新情况
MMDetection
新功能
- 支持了全景分割算法 Mask2Former
- 支持了 EfficientNet 骨干网络，并提供了 RetinaNet+EfficientNet+FPN 的微调结果
- 提供了 TorchVision 高精度预训练权重在下游任务微调的最佳实践
代码改进
- 新增了 How-to 文档教程，后续会不断更新完善 https://mmdetection.readthedocs.io/en/latest/tutorials/how_to.html
- 用户可以通过 MMDET_DATASETS 环境变量来更方便快捷地设置数据集路径，而无需软连接或者修改配置文件
- 更新了分布式训练和测试脚本，方便用户直接在多机多卡上启动 mmdet 任务
- coco_panoptic 支持了实例分割评估
- 允许在 LoadImageFromFile 中设置 channel_order 参数
- YOLOX 新增训练中打印图片宽高信息
Bug 修复
- 修复全景分割评估中的内存泄漏
- 增强 analyze_logs.py 脚本鲁棒性
感谢 @haofanwang, @shinya7y, @yangrisheng, @triple-Mu, @HikariTJU, @imflash217, @274869388,, @matrixgame2018, @jamiechoi1995, @JingweiZhang12, @Xiangxu-0103, @osbm, @ceroytres, @bunge-bedstraw-herb, @Youth-Got, @daavoo, @jiangyitong, @CCODING04, @yarkable 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmdetection/releases/tag/v2.23.0
MMPose
新功能
- 支持了 Campus 和 Shelf 数据集，并提供了 VoxelPose 预训练模型（ "3D Pictorial Structures for Multiple Human Pose Estimation", CVPR'2014）
- 新增 Smoother 模块用于姿态估计结果的时序平滑，支持 Gaussian, Savitzky-Golay, OneEuro, SmoothNet 等多种可配置滤波器
- 新增多视角 3D 姿态估计 demo
- 支持多机分布式训练
代码改进
- 更新了 HRFormer 配置文件和预训练模型
- 支持各分布式节点使用不同的随机数种子
- 优化文档内容
Bug 修复
- 修复 RHD 数据集可视化点序错误的问题
- 修复 Windows 下自动生成模型 metafile 时路径格式不统一的问题
- 修复 channel_shuffle 中使用隐式通道数表达导致模型导出报错的问题
- 修复 Webcam API 中检测模型物体类别解析的一处 bug
- 修复 custom_hook 选项未正确暴露给用户的问题
- 更新 DockerFile 中 MMCV 的安装方式
- 修复关键点可视化中未正确跳过不可见点的问题
感谢 @ailingzengzzz，@YoniChechik，@YoniChechik，@YoniChechik，@bladrome，@womeier 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmpose/blob/master/docs/en/changelog.md
MMClassification
- 添加了 CSP Net 系列模型
新功能
- 添加 CSP Net 系列模型，包括 CSP ResNet、CSP ResNeXt、CSP DarkNet
- 添加了一个
CustomDataset，帮助大家更方便地使用自定义数据集 - 支持了 ConvMixer 模型
- 支持了 RepMLP 模型
- 支持了 CUB 数据集
- 支持了 ResizeMix 数据增强算法
代码改进
- 支持 KFoldDataset 的
get_cat_ids和get_gt_labels方法 - 在数据集的
worker_init_fn方法中添加 PyTorch 随机种子的设置
Bug 修复
- 修复了 ConvNeXt 输出特征图不连续导致的问题
感谢 @Hydrion-Qlz， @huyu398， @okotaku 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmclassification/releases/tag/v0.22.0
MMDeploy
新功能
- SDK 支持了 MMPose 模型的推理。包括：HRNet、LiteHRNet、MSPN
- 支持了 MMDetection3D 的模型部署。包括：PointPillars 和 CenterPoint(pillar version)
- 支持了 Android 平台
- 支持了 TorchScript 导出和推理
代码改进
- 优化了TRTMultiLevelRoiAlign 算子
- 复用 ONNXRuntime 的 RoiAlign 算子，移除为之添加的 MMCVRoiAlign 自定义算子
- 新增 TensorRT 算子 DCN
- 重构 Model Converter 中的 rewriter 模块
- 更新 MMDeploy CMake package，消除第三方库的绝对路径
Bug 修复
- 修复 headless installation crash 的问题
- 订正 MMSeg 的部署 config 错误的问题
- 修复预处理模块的 use-after-free 问题
- 解决了与 torch 1.11 不兼容的问题
- 修复 yolox 模型部署失败的问题
感谢 @SemyonBevzuk， @raykindle， @yydc-0， @haofanwang， @LJoson， @PeterH0323 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmdeploy/releases/tag/v0.4.0
MMCV
新功能
- 添加 SegmindLoggerHook 日志钩子
- Config 类支持浅拷贝
- gather_points 算子支持 fp16 训练
- 添加 non-deterministic voxelization 算子
- 添加用于初始化 dataloader worker 随机数的函数
代码改进
- Config 忽视配置中的导入语句
- 更新 detection3d 算子的单元测试
Bug 修复
- 修复 deconv_flops_counter 统计 flops 错误
- 修复 deform_conv python 绑定错误
- 修复 ProfilerHook 不能打印提醒信息
- 更新 http://MANIFEST.in 以将 spconv 算子头文件加入 sdist 包
- 修复 DynamicScatter、MultiScaleDeformableAttention 和 Voxelization 算子
- 修复 ROCm 编译问题
- 修复 torch1.11.0 重命名 _sync_params 出现的兼容问题
感谢 @SuTanTank， @VVsssssk， @zhanggefan， @saurbhc， @XiwuChen， @Xiangxu-0103， @imflash217 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmcv/releases/tag/v1.4.8 & https://github.com/open-mmlab/mmcv/releases/tag/v1.4.7
MMRotate
新功能
- 支持多机训练
- 增加了数据集浏览工具
- 增加了 gather_models 脚本
代码改进
- 移除了 rbbox_overlaps 中的 in-place 操作
Bug 修复
- 修复了 docstring 文档格式错误
- 修复了 HRSCDataset 的 bug
感谢 @canoe-Z， @matrixgame2018 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmrotate/blob/dev/docs/en/changelog.md
MMDetection3D
新功能
- 支持 ScanNet 数据集上的实例分割任务
- 支持不同进程采用不同随机种子
- 支持从 Ceph 加载注释文件
- 支持自动从最新记录节点恢复训练
- 添加 windows CI
代码改进
- 迁移所有算子到 mmcv
- 在 KITTI 的数据转换中是否生成地面文件的选项
- 更新文档中的说明和链接
- 支持并行的 Waymo 数据集转换和真值数据库生成
- 在入门文档中添加快速安装命令
Bug 修复
- 更新 nuimages 配置文件以使用新的 nms 配置格式
- 修正 numpy 的用法使之兼容 windows
- 修复 BasePoints 中不正确的索引
- 修复 pillar_scatter.forward_single 中不正确的索引
- 修复使用 GPU 的单元测试
- 修复由之前升级 PillarFeatureNet 导致的 DynamicPillarFeatureNet 中不正确的特征尺寸
- 删除 PointSample 中的 CameraPoints 约束
- 修复 Waymo 数据集的不精确时间戳保存
感谢 @zjwzcx, @Xiangxu-0103, @EdAyers, @hongye-dev, @zhanggefan 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmdetection3d/blob/master/docs/en/changelog.md
MMOCR
新功能
- 支持对文本中空格的识别，用户仅需将识别标注文件转换为 JSON Line 格式并配置 LineJsonParser 即可；详尽的配置文档也一并进行了同步更新
- MMOCR 现支持调用 Tesseract API 进行文本检测和识别
- 新增 Windows CI，MMOCR 现已支持 Windows 和 MacOS
代码改进
- 重构了识别中的 ResNet，引入 Plugin 机制来统一 ResNet 结构
- 统一了标注文件的 loader，遗弃原先的 LmdbLoader 以及 HardDiskLoader，并采用设计更加合理的 AnnFileLoader 来代替，支持从 http，petrel，disk 进行标注读取
- 新增16个 OCR 数据集的介绍文档以及下载流程文档，并更新了数据集内容的树形图
- 新增 testing.md, getting_started.md, serving.md 3篇文档的中文翻译
Bug 修复
- 修复了 MMDet 版本限制问题
- 修复单元测试 num_worker 问题
- 修复了文字识别字典中空格读取问题
- 修复 SARLoss 中 ignore_index 的默认值
- 修复 PSENet 中可能导致 inplace operation 错误的问题
- 使用分隔符（-）代替参数中的下划线（_）
感谢 @GPhilo, @EighteenSprings, @BeyondYourself, @yangrisheng, @garvan2021 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmocr/releases/tag/v0.5.0
MMEditing
新功能
- 支持 AOT-GAN (#677)
- 使用
--diff-seed在多卡训练中为 torch 设置不同的初始化种子 (#781) - 在视频插帧 demo 中支持流帧读取 (#790)
- 支持非 slurm 的 dist_train (#791)
- 在 restoration_video_demo 中将 LQ 存放在 CPU (#792)
- 在 EDSR 中支持处理灰度数据 (#793)
- 支持视频插帧算法 TOFlow (#806, #811)
- 支持在 DistributedSampler 中为不同的 rank 设置不同的随机种子 (#815)
代码改进
- 修复 README 文件中的失效链接 (#782, #786, #819, #820)
- 修复抠图教程 (#795)
- 翻转
RandomAffine中的flip_ratio(#799) - 修复 preprocess_div2k_dataset.py (#801)
- 修复 SR Colab Demo Installation 方法和 Set5 链接 (#807)
- 修正EDSR README 中的 Y/GRB 错误 (#812)
- 将
README(_zh-CN).md中的 pytorch 安装命令替换为 conda (#816)
Bug 修复
- 更新 CI (#650)
- 更新 requirements.txt (#725, #817)
- 增加 dataset (#758), pipeline (#779), model (#766) 教程
- 更新 index 和 TOC 结构树 (#767)
- 更新 update_model_index.py 以兼容 Windows (#768)
- 更新文档构建系统 (#769)
- 更新 setuptools 的关键字和分类器 (#773)
- 更新安装文档 (#776, #800)
- 更新 BasicVSR++ 和 RealBasicVSR 文档 (#778)
- 更新 citation (#785, #787)
- 重组文档 (#788)
- 在 metafile 中使用 config 的全名作为 'Name'，以支持 mim 下载 (#798)
- 更新 README 中的图片和视频示例 (#802)
- 在视频插帧测试时使用
clamp(0, 1)(#805) - 在演示和工具中的命令行参数中使用连字符 (#808), 在python文件中为必选参数保留下划线 (#822)
- 将
dataset.pipeline作为文档的单列内容 (#813) - 更新 mmcv-full>=1.3.13 以在 CPU 中支持 DCN (#823)
感谢 @nijkah @wdmwhh @freepoet @quincylin1 在此版本中的贡献。
更多内容请见：
mmediting/changelog.md at master · open-mmlab/mmediting
MMSegmentation
新功能
- 支持 BEiT 骨架网络 (#1404)
- 支持数据集用
file_client初始化 (#1402) - 添加 STARE 数据集类别名称函数 (#1376)
- 支持分布式训练时，不同 rank 设置不同随机种子 (#1362)
代码改进
- 为分布式 sampler 同步随机种子 (#1411)
- 为多机分布式训练添加脚本和文档 (#1383)
- 添加 FAQ 文档 (#1420)
Bug 修复
CELoss添加avg_non_ignore以计算只在非 ingore 区域损失 (#1409)- 修复错误模型链接 (#1336)
- 修改文档中对 config 文件命名规约 (#1414)
- 在
tools/confusion_matrix.py中添加绘制的标题和颜色主题参数 (#1401) - 修复 Colab demo 中的链接 (#1392)
- 修复 typo (#1424, #1405, #1371, #1366, #1363)
感谢 @kinglintianxia， @CCODING04， @mob5566， @xiongnemo， @Xiangxu-0103 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmsegmentation/releases/tag/v0.23.0
MMSelfSup
新功能
- 支持 SimMIM (#239)
- 增加 KNN 基准测试，支持中间 checkpoint 和提取的 backbone 权重进行评估 (#243)
- 支持 ImageNet-21k 数据集 (#225)
- 支持自动继续 checkpoint 文件的训练 (#245)
代码改进
- 更新命令行参数模式 (#253)
- 修复 6_benchmarks.md 中命令文档(#263)
- 翻译 6_benchmarks.md 到中文 (#262)
Bug 修复
- 在分布式 sampler 中增加种子 (#250)
- 修复 dist_test_svm_epoch.sh 中参数位置问题 (#260)
- 修复 prepare_voc07_cls.sh 中 mkdir 潜在错误 (#261)
社区贡献者
感谢 @mitming 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmselfsup/blob/master/docs/en/changelog.md
MMRazor
新功能
- 支持使用 MMDeploy 部署
- 新增分类蒸馏算法 Relational Knowledge Distillation (CVPR 2019)
- 使用
--diff-seed在多卡训练中为 torch 设置不同的初始化种子 - StructurePruner 支持处理包含孔洞卷积的模型，比如 YOLOF
- StructurePruner 支持处理共享模块（比如 RetinaNet 中的共享 head）
代码改进
- 提供 multi-node 训练和测试的脚本
- 更新训练接口，和 mmcls 和 mmdet 保持一致
Bug 修复
- 修复 Pruner 不能正确处理 requires_grad=False 参数的问题
更多内容请见：
https://github.com/open-mmlab/mmrazor/releases/tag/v0.3.0
MMAction2
新功能
- 支持设置不同的seeds
- 提供 multi-node 训练和测试的脚本
- 更新了 error log
代码改进
- 改进了 colab tutorial 里的 install 命令
- 改进了 local rank 的参数命名
Bug 修复
- 修复了 analyze_logs.py 里 num_iters_per_epoch 的 bug
- 修复了 kinetics/rename_classnames.sh 的 bug
- 修复了 Distributed_sampler 的 bug
社区贡献者
感谢 @Stephenfang51， @rlleshi， @CCODING04 在此版本中的贡献。
更多内容请见：
https://github.com/open-mmlab/mmaction2/blob/master/docs/changelog.md
MMGeneration
新功能
- 支持在 EMA 中使用动态的 momentum，你可以自定义更新策略。
- 支持在 static unconditional gan 的训练过程中向生成器传入额外的参数。
- 支持了多机多卡分布式训练。
代码改进
- 在 README 中增加了简单的安装教程。
Bug 修复
- 修复了脚本参数中下划线格式问题。
更多内容请见：
mmgeneration/changelog.md at master · open-mmlab/mmgeneration
MMHuman3D
新功能
- 增加HumanDataCache来解决使用HumanData时内存溢出的问题（例如使用HMR训练时减少96%内存占用）
- 重构可微渲染器并支持UV map渲染
- HumanData支持slice/concat操作
代码改进
- 升级SMPLify，支持更多损失函数、输出HumanData等等
- 重构关键点映射并支持没有mask的转换
Bug 修复
- 修复了一些数据预处理的关键问题（相关数据集有SURREAL和AGORA等）
- 修复了渲染工具箱中顶点相关的问题
- 修复了tensor2dict中shape和device的问题
- 修复了HybrIK中的一些小问题
- 修复了demo中内存溢出的问题
- 修复了文档格式的问题
- 修复了HumanData中重复的肢体的问题
- 更新了依赖（如cdflib, ffmpeg）
更多内容请见：
https://github.com/open-mmlab/mmhuman3d/releases/tag/v0.6.0
MMFlow
新功能
- 支持三个遮挡估计方法：forward-backward consistency；range map of the backward flow；flow forward-backward abstract difference (#106)
- 支持分布式训练时，不同 rank 设置不同随机种子 (#104)
代码改进
- 为分布式 sampler 同步随机种子 (#110)
- 为多机分布式训练添加脚本和文档 (#107)
Bug 修复
- 修复
collect_env在 Windows 平台上的问题 (#112)
更多内容请见：
https://github.com/open-mmlab/m
叮咚～你订阅的 OpenMMLab 3 月月刊已送达相关推荐
- 叮咚～你订阅的 OpenMMLab 4 月月刊已送达
让大家久等啦,OpenMMLab 4 月月刊已新鲜出炉! 首先和大家分享 4 月的贡献之星和活跃之星. 贡献之星 活跃之星 星星说 我是什么都只会一点点.人如其名,什么都只会一点点,哈哈哈.目前一直在 ...
- 中国城市人均月收入已突破9000人民币大关[转载]
1.55岁的周润发宣布死后将捐出99%的财产,什么都不想带走.作家顾晓军评论道:千万不要捐到大陆来,不要害了无辜的官员. 2.发改委成立至今只做过两件事:1)涨价,2)替涨价辩护. 3.目前中国有效的 ...
- python炒作_TIOBE 编程语言排行榜 7 月更新已公布,Python是否是炒作起来的？
TIOBE 编程语言排行榜 7 月更新已公布,排名前十的分别是:Java, C, Python, C++, C#, Visual Basic .NET, JavaScript, PHP, SQL 和汇 ...
- [5G改变生活]截止2019年12月全球已有199款5G设备发布
[5G改变生活]截止2019年12月全球已有199款5G设备发布 全球移动供应商协会(GSA)发布了12月份5G设备报告 原文地址: https://gsacom.com/paper/5g-devic ...
- 易编程2022年8月月刊
前言 易编程月刊,由 陈随易 出品,每月一期的编程相关的见闻录,本月刊在语雀.知乎.掘金.博客园.CSDN.思否等技术交流平台同步分享.本月刊自当月内发布起,会进行持续更新,直至下一个月的新月刊.同时 ...
- 【产品动态】云存储3月月刊
存储头条 低频存储OSS IA全新上线 文件存储容量型NAS正式发布 容量型NAS是对性能型NAS的补充,满足低成本大容量的企业文件存储场景. 参考链接:https://www.aliyun.com/ ...
- pve 不订阅更新_??“吃鸡”体验服已无更新，暗夜危机2.0或将被1款新游代替
大家好,欢迎来到由小鱼干开讲的<吃鸡新鲜事速报>,最近大家应该也看了不少体验服的更新吧,本次体验服更新的内容还是挺多的,包括有1张新地图.2个新玩法.2个新模式. 同时,端游的近战武器投掷 ...
- 遭做空后又被律所调查 贾跃亭的FF上市不到3个月股价已近腰斩
10月9日消息,贾跃亭尚未兑现回国的承诺,法拉第未来(Faraday Future,下称"FF")又起波澜. 当地时间10月7日,美国做空机构J Capital Research发 ...
- 互联网日报 | 6月24日 星期四 | 快手全球月活已达10亿；HarmonyOS 2首批正式版升级；微软市值突破2万亿美元...
今日看点 ✦ 华为鸿蒙HarmonyOS 2首批正式版升级开启:支持Mate40等18款机型 ✦ 小鹏汽车通过港交所上市聆讯,港股将迎来智能电动车第一股 ✦ 快手CEO宿华:快手全球月活跃用户达到10 ...
最新文章
- 浅谈.Net WebService开发
- C#与时间有关的一些方法
- CL_CRM_WEB_UTILITY
- [C++STL]vector容器用法介绍
- 深入JVM系列（三）之类加载、类加载器、双亲委派机制与常见问题
- Flutter Stack 帧布局，层叠堆放
- 在Fedora 11中安装Apache2+PHP5+MySQL（LAMP）
- 接口测试-解析har文件
- 哈工大自然语言处理实验1——汉语分词系统
- 大牛直播跨平台RTSP/RTMP转RTMP转发SDK
- iSecure Center 综合安防管理平台
- PSP播放AVI/PMP高清电影及视频转换指南
- MD5加密算法（C语言实现，已编译，亲试可用~）
- 程序员转行可以做什么？
- 1w字详解 ClickHouse漏斗模型实践方案（收藏）
- 督查督办管理系统适合什么企业
- 单片机能做什么创意小发明？新手怎么制作单片机智能小车？
- bootstrap实现导航栏的响应式布局，当在小屏幕、手机屏幕浏览时自动折叠隐藏
- 2014 IT互联网公司校招应届生待遇大全
- 反射调用目标异常可能原因之一解决java.lang.reflect.InvocationTargetException