OpenMMLab全景图
目录
一、OpenMMLab简介
二.各项目介绍
1.MMDetection
（1）主要特性
（2）基准测试和模型库
2.MMSegmentation
（1）主要特性
（2）基准测试和模型库
3.MMOCR
（1）主要特性
（2）模型库
4.MMDetection3D
（1）主要特性
（2）基准测试和模型库
5.MMEditing
（1）主要特性
（2）模型库
6.MMClassification
（1）主要特性
（2）基准测试及模型库
7.MMTracking
（1）主要特性
（2）基准测试与模型库
8.MMPose
（1）主要特性
（2）模型库
9.MMGeneration
（1）主要特性
（2）模型库
一、OpenMMLab简介
从2018年年中开始，香港中文大学多媒体实验室（MMLab）就启动了OpenMMLab计划。这项计划的初衷是为计算机视觉的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。我们相信，这一项工作可以推动可复现算法生态的建立，也是对计算机视觉社区的重要贡献。
OpenMMLab的各个项目都支持了pip install直接安装，增加了对混合精度训练的支持和ONNX 转换的支持，Dockerfile全面升级到PyTorch 1.6，并启用了新的模型库域名：download.openmmlab.com。目前 OpenMMLab项目开放的总算法数超过了120，总模型数达到了900以上。
二.各项目介绍
1.MMDetection
MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。
https://github.com/open-mmlab/mmdetection
（1）主要特性
模块化设计
MMDetection将检测框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的检测模型
丰富的即插即用的算法和模型
MMDetection 支持了众多主流的和最新的检测算法，例如 Faster R-CNN，Mask R-CNN，RetinaNet 等。
速度快
基本的框和 mask 操作都实现了 GPU 版本，训练速度比其他代码库更快或者相当，包括 Detectron2, maskrcnn-benchmark 和 SimpleDet。
性能高
MMDetection 这个算法库源自于 COCO 2018 目标检测竞赛的冠军团队 MMDet 团队开发的代码，我们在之后持续进行了改进和提升。
（2）基准测试和模型库
已支持的骨干网络：
ResNet (CVPR'2016)
ResNeXt (CVPR'2017)
VGG (ICLR'2015)
HRNet (CVPR'2019)
RegNet (CVPR'2020)
Res2Net (TPAMI'2020)
ResNeSt (ArXiv'2020)
已支持的算法：
RPN (NeurIPS'2015)
Fast R-CNN (ICCV'2015)
Faster R-CNN (NeurIPS'2015)
Mask R-CNN (ICCV'2017)
Cascade R-CNN (CVPR'2018)
Cascade Mask R-CNN (CVPR'2018)
SSD (ECCV'2016)
RetinaNet (ICCV'2017)
GHM (AAAI'2019)
Mask Scoring R-CNN (CVPR'2019)
Double-Head R-CNN (CVPR'2020)
Hybrid Task Cascade (CVPR'2019)
Libra R-CNN (CVPR'2019)
Guided Anchoring (CVPR'2019)
FCOS (ICCV'2019)
RepPoints (ICCV'2019)
Foveabox (TIP'2020)
FreeAnchor (NeurIPS'2019)
NAS-FPN (CVPR'2019)
ATSS (CVPR'2020)
FSAF (CVPR'2019)
PAFPN (CVPR'2018)
Dynamic R-CNN (ECCV'2020)
PointRend (CVPR'2020)
CARAFE (ICCV'2019)
DCNv2 (CVPR'2019)
Group Normalization (ECCV'2018)
Weight Standardization (ArXiv'2019)
OHEM (CVPR'2016)
Soft-NMS (ICCV'2017)
Generalized Attention (ICCV'2019)
GCNet (ICCVW'2019)
Mixed Precision (FP16) Training (ArXiv'2017)
InstaBoost (ICCV'2019)
GRoIE (ICPR'2020)
DetectoRS (ArXix'2020)
Generalized Focal Loss (NeurIPS'2020)
CornerNet (ECCV'2018)
Side-Aware Boundary Localization (ECCV'2020)
YOLOv3 (ArXiv'2018)
PAA (ECCV'2020)
YOLACT (ICCV'2019)
CentripetalNet (CVPR'2020)
VFNet (ArXix'2020)
DETR (ECCV'2020)
Deformable DETR (ICLR'2021)
CascadeRPN (NeurIPS'2019)
SCNet (AAAI'2021)
AutoAssign (ArXix'2020)
YOLOF (CVPR'2021)
2.MMSegmentation
MMSegmentation 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。
https://github.com/open-mmlab/mmsegmentation
（1）主要特性
统一的基准平台
我们将各种各样的语义分割算法集成到了一个统一的工具箱，进行基准测试。
模块化设计
MMSegmentation 将分割框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的分割模型。
丰富的即插即用的算法和模型
MMSegmentation 支持了众多主流的和最新的检测算法，例如 PSPNet，DeepLabV3，PSANet，DeepLabV3+ 等.
速度快
训练速度比其他语义分割代码库更快或者相当。
（2）基准测试和模型库
已支持的骨干网络：
ResNet (CVPR'2016)
ResNeXt (CVPR'2017)
HRNet (CVPR'2019)
ResNeSt (ArXiv'2020)
MobileNetV2 (CVPR'2018)
MobileNetV3 (ICCV'2019)
已支持的算法：
FCN (CVPR'2015/TPAMI'2017)
PSPNet (CVPR'2017)
DeepLabV3 (CVPR'2017)
Mixed Precision (FP16) Training (ArXiv'2017)
PSANet (ECCV'2018)
DeepLabV3+ (CVPR'2018)
UPerNet (ECCV'2018)
NonLocal Net (CVPR'2018)
EncNet (CVPR'2018)
Semantic FPN (CVPR'2019)
DANet (CVPR'2019)
APCNet (CVPR'2019)
EMANet (ICCV'2019)
CCNet (ICCV'2019)
DMNet (ICCV'2019)
ANN (ICCV'2019)
GCNet (ICCVW'2019/TPAMI'2020)
Fast-SCNN (ArXiv'2019)
OCRNet (ECCV'2020)
DNLNet (ECCV'2020)
PointRend (CVPR'2020)
CGNet (TIP'2020)
3.MMOCR
MMOCR 是基于 PyTorch 和 mmdetection 的开源工具箱，专注于文本检测，文本识别以及相应的下游任务，如关键信息提取。 它是 OpenMMLab 项目的一部分。
https://github.com/open-mmlab/mmocr
（1）主要特性
-全流程
该工具箱不仅支持文本检测和文本识别，还支持其下游任务，例如关键信息提取。
-多种模型
该工具箱支持用于文本检测，文本识别和关键信息提取的各种最新模型。
-模块化设计
MMOCR 的模块化设计使用户可以定义自己的优化器，数据预处理器，模型组件如主干模块，颈部模块和头部模块，以及损失函数。有关如何构建自定义模型的信 息，请参考快速入门。
-众多实用工具
该工具箱提供了一套全面的实用程序，可以帮助用户评估模型的性能。它包括可对图像，标注的真值以及预测结果进行可视化的可视化工具，以及用于在训练过程中评估模型的验证工具。它还包括数据转换器，演示了如何将用户自建的标注数据转换为 MMOCR 支持的标注文件。
（2）模型库
支持的算法：
DBNet (AAAI'2020)
Mask R-CNN (ICCV'2017)
PANet (ICCV'2019)
PSENet (CVPR'2019)
TextSnake (ECCV'2018)
CRNN (TPAMI'2016)
NRTR (ICDAR'2019)
RobustScanner (ECCV'2020)
SAR (AAAI'2019)
SegOCR (Manuscript'2021)
SDMG-R (ArXiv'2021)
4.MMDetection3D
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台. 它是 OpenMMlab 项目的一部分。
https://github.com/open-mmlab/mmdetection3d
（1）主要特性
支持多模态/单模态的检测器
支持多模态/单模态检测器，包括 MVXNet，VoteNet，PointPillars 等。
支持户内/户外的数据集
支持室内/室外的3D检测数据集，包括 ScanNet, SUNRGB-D, Waymo, nuScenes, Lyft, KITTI.
对于 nuScenes 数据集, 我们也支持 nuImages 数据集.
与 2D 检测器的自然整合
MMDetection 支持的300+个模型 , 40+的论文算法, 和相关模块都可以在此代码库中训练或使用。
性能高
训练速度比其他代码库更快。
（2）基准测试和模型库
已支持的骨干网络：
PointNet (CVPR'2017)
PointNet++ (NeurIPS'2017)
RegNet (CVPR'2020)
已支持的算法：
SECOND (Sensor'2018)
PointPillars (CVPR'2019)
FreeAnchor (NeurIPS'2019)
VoteNet (ICCV'2019)
H3DNet (ECCV'2020)
3DSSD (CVPR'2020)
Part-A2 (TPAMI'2020)
MVXNet (ICRA'2019)
CenterPoint (CVPR'2021)
SSN (ECCV'2020)
ImVoteNet (CVPR'2020)
FCOS3D (Arxiv'2021)
5.MMEditing
MMEditing 是基于 PyTorch 的图像&视频编辑开源工具箱。是 OpenMMLab 项目的成员之一。
https://github.com/open-mmlab/mmediting
（1）主要特性
模块化设计
MMEditing 将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。
支持多种编辑任务
MMEditing 支持修复、抠图、超分辨率、生成等多种主流编辑任务。
SOTA
MMEditing 提供修复/抠图/超分辨率/生成等任务最先进的算法.
（2）模型库
支持的算法:
修复
DeepFillv1 (CVPR'2018)
DeepFillv2 (CVPR'2019)
Global&Local (ToG'2017)
PConv (ECCV'2018)
抠图
DIM (CVPR'2017)
GCA (AAAI'2020)
IndexNet (ICCV'2019)
超分辨率
BasicVSR (CVPR'2021)
EDSR (CVPR'2017)
EDVR (CVPR'2019)
ESRGAN (ECCV'2018)
IconVSR (CVPR'2021)
LIIF (CVPR'2021)
RDN (CVPR'2018)
SRCNN (TPAMI'2015)
SRResNet&SRGAN (CVPR'2016)
TOF (IJCV'2019)
生成
CycleGAN (ICCV'2017)
pix2pix (CVPR'2017)
6.MMClassification
MMClassification 是一款基于PyTorch的开源图像分类工具箱，是 OpenMMLab 项目的成员之一。
https://github.com/open-mmlab/mmclassification
（1）主要特性
支持多样的主干网络与预训练模型
支持配置多种训练技巧
大量的训练配置文件
高效率和高可扩展性
（2）基准测试及模型库
支持的主干网络：
ResNet
ResNeXt
SE-ResNet
SE-ResNeXt
RegNet
ShuffleNetV1
ShuffleNetV2
MobileNetV2
MobileNetV3
7.MMTracking
MMTracking 是一款基于PyTorch的视频目标感知开源工具箱，是OpenMMLab项目的一部分。
https://github.com/open-mmlab/mmtracking
（1）主要特性
首个开源一体化视频目标感知平台
MMTracking是首个开源一体化视频目标感知工具箱，同时支持视频目标检测，单目标跟踪和多目标跟踪等多种任务和算法。
模块化设计
MMTracking将统一的视频目标感知框架解耦成不同的模块组件，通过组合不同模块组件，用户可以便捷地构建自定义视频目标感知模型。
简洁、高效、强大
简洁：MMTracking与其他OpenMMLab平台充分交互。MMTracking充分复用MMDetection中的已有模块，我们只需要修改配置文件就可以使用任何检测器。
高效：MMTracking所有操作都在GPU上运行。相比其他开源库的实现，MMTracking的训练和推理更加高效。
强大：MMTracking复现了SOTA性能的模型。受益于MMDetection的持续推进，部分实现精度超出官方版本。
（2）基准测试与模型库
支持的视频目标检测算法:
DFF (CVPR 2017)
FGFA (ICCV 2017)
SELSA (ICCV 2019)
支持的多目标跟踪算法:
SORT/DeepSORT (ICIP 2016/2017)
Tracktor (ICCV 2019)
支持的单目标跟踪算法:
SiameseRPN++ (CVPR 2019)
8.MMPose
MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，是 OpenMMLab 项目的成员之一。
https://github.com/open-mmlab/mmpose
（1）主要特性
支持多种人体姿态分析相关任务
MMPose 支持当前学界广泛关注的主流姿态分析任务：主要包括 2D多人姿态估计、2D手部姿态估计、2D人脸关键点检测、133关键点的全身人体姿态估计、3D人体形状恢复、服饰关键点检测、动物关键点检测等。 具体请参考 功能演示。
更高的精度和更快的速度
MMPose 复现了多种学界最先进的人体姿态分析模型，包括“自顶向下”和“自底向上”两大类算法。MMPose 相比于其他主流的代码库，具有更高的模型精度和训练速度。 具体请参考 基准测试。
支持多样的数据集
MMPose 支持了很多主流数据集的准备和构建，如 COCO、 MPII 等。 具体请参考 数据集准备。
模块化设计
MMPose 将统一的人体姿态分析框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的人体姿态分析模型。
详尽的单元测试和文档
MMPose 提供了详尽的说明文档，API 接口说明，全面的单元测试，以供社区参考。
（2）模型库
支持的算法:
DeepPose (CVPR'2014)
Wingloss (CVPR'2018)
CPM (CVPR'2016)
Hourglass (ECCV'2016)
SimpleBaseline (ECCV'2018)
HRNet (CVPR'2019)
HRNetv2 (TPAMI'2019)
SCNet (CVPR'2020)
Associative Embedding (NeurIPS'2017)
HigherHRNet (CVPR'2020)
DarkPose (CVPR'2020)
UDP (CVPR'2020)
MSPN (ArXiv'2019)
RSN (ECCV'2020)
HMR (CVPR'2018)
Simple 3D Baseline (ICCV'2017)
支持的数据集:
COCO (ECCV'2014)
COCO-WholeBody (ECCV'2020)
MPII (CVPR'2014)
MPII-TRB (ICCV'2019)
AI Challenger (ArXiv'2017)
OCHuman (CVPR'2019)
CrowdPose (CVPR'2019)
PoseTrack18 (CVPR'2018)
MHP (ACM MM'2018)
sub-JHMDB (ICCV'2013)
Human3.6M (TPAMI'2014)
300W (IMAVIS'2016)
WFLW (CVPR'2018)
AFLW (ICCVW'2011)
COFW (ICCV'2013)
OneHand10K (TCSVT'2019)
FreiHand (ICCV'2019)
RHD (ICCV'2017)
CMU Panoptic HandDB (CVPR'2017)
InterHand2.6M (ECCV'2020)
DeepFashion (CVPR'2016)
Animal-Pose (ICCV'2019)
Horse-10 (WACV'2021)
MacaquePose (bioRxiv'2020)
Vinegar Fly (Nature Methods'2019)
Desert Locust (Elife'2019)
Grévy’s Zebra (Elife'2019)
ATRW (ACM MM'2020)
支持的骨干网络:
AlexNet (NeurIPS'2012)
VGG (ICLR'2015)
HRNet (CVPR'2019)
ResNet (CVPR'2016)
ResNetV1D (CVPR'2019)
ResNeSt (ArXiv'2020)
ResNext (CVPR'2017)
SCNet (CVPR'2020)
SEResNet (CVPR'2018)
ShufflenetV1 (CVPR'2018)
ShufflenetV2 (ECCV'2018)
MobilenetV2 (CVPR'2018)
9.MMGeneration
MMGeneration 是一个基于 PyTorch 和MMCV的强有力的生成模型工具箱，尤其专注于 GAN 模型。 主分支目前支持 PyTorch 1.5 以上的版本。
https://github.com/open-mmlab/mmgeneration
（1）主要特性
高质量高性能的训练:
我们目前支持 Unconditional GANs, Internal GANs, 以及 Image Translation Models 的训练。很快将会支持 conditional models 的训练。
强有力的应用工具箱:
为用户提供了丰富的工具箱，包含 GANs 中的多种应用。我们的框架集成了 GANs 的插值，投影和编辑。请用你的 GANs 尽情尝试！(应用教程)
生成模型的高效分布式训练:
对于生成模型中的高度动态训练，我们采用 MMDDP 的新方法来训练动态模型。(DDP教程)
灵活组合的新型模块化设计:
针对复杂的损失模块，我们提出了一种新的设计，可以自定义模块之间的链接，实现不同模块之间的灵活组合。
（2）模型库
Unconditional GANs
DCGAN (ICLR'2016)
WGAN-GP (NIPS'2017)
PGGAN (ICLR'2018)
StyleGANV1 (CVPR'2019)
StyleGANV2 (CVPR'2020)
Positional Encoding in GANs (CVPR'2021)
Image2Image Translation
Pix2Pix (CVPR'2017)
CycleGAN (ICCV'2017)
Internal Learning
SinGAN (ICCV'2019)
OpenMMLab全景图相关推荐
- 港中文-商汤OpenMMLab开源全景图！
OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法. OpenMMLab 在Github上不是一个单独项目,除了大 ...
- MMOCR: OpenMMLab 全流程的文字检测识别理解工具箱
号外号外,继 港中文-商汤OpenMMLab开源全景图!之后,OpenMMLab 又有新成员加入咯- 01 MMOCR 特点 全流程:支持文字检测.文字识别以及其下游任务,比如 ...
- 官宣：OpenMMLab 重磅升级—百花齐放春满园
前段时间CV君跟大家分享了 港中文-商汤OpenMMLab开源全景图!,今天官方解读来了~ 本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/1609 ...
- Python图像拼接：创建全景图
Python图像拼接:创建全景图 算法原理 基础流程 几何原理 核心步骤(RANSAC算法) 源代码 结果分析 综述 夜景(中华城) 室内(引桐楼) 多建筑(鹭江道周边) 单调场景(海滩) 复杂场景( ...
- 基于CUDA实现立方体贴图 (Cubemaps) 转换为全景图 (Equirectangular Panorama)
在立方体贴图空间内发射光线(视线),计算球面光线(视线)会击中哪个面的哪个像素的像素值,最终生成Equirectangular全景图. InitSceneTexture():先获取Cubemaps并将 ...
- 实现2D全景图的中心视野变换
对于同一场景的2D全景图,如果想改变其视野中心位置,比如下图,初始情况下视野的中心位置是蓝框,如果想让红框的灯位于中心位置该怎么做呢? #include "opencv2/highgui/h ...
- 支持量子机器学习，王海峰发布最新百度飞桨全景图
出品 | AI科技大本营(ID:rgznai100) 刚刚,WAVE SUMMIT 2020深度学习开发者峰会上,百度CTO王海峰开场即披露了一组飞桨数据:飞桨累计开发者数量已超过190万,服务企业数 ...
- IJCAI 2021 | 医学AI新坑：心电全景图及其生成网络
视学算法专栏 转载:机器之心 作者:j.t.chen 来自浙大睿医人工智能研究中心的研究者提出了一个全新的概念:心电全景图,并提出了一个能够通过少数几个导联的 ECG 信号输入来生成心电全景图的神经网 ...
- 重磅！OpenMMLab 更新啦！分类/检测/分割/3D等项目全面升级
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文作者:陈恺 https://zhuanlan.zhihu.com/p/74597564 本文已由原 ...
- 全景图拼接算法实现与改进
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文由知乎作者z.defying授权转载,不得擅自二次转载.原文链接:https://zhuanlan ...
最新文章
- 【记录】解决uni-app 用nginx反向代理出现Invalid Host header问题
- Luogu 4721 【模板】分治 FFT
- 保存到本地_手把手教你将微信表情包保存到本地
- linux i2c触摸屏驱动程序,触摸屏i2c设备和驱动的创建流程及方法
- wxpython中文教程_wxPython中文教程 简单入门加实例
- python assert
- soapui oracle groovy,SoapUI Groovy 使用实例
- Linux系统终端常用指令命令汇总
- 两个服务器微信消息模板发不出去,小程序模板消息调用send大部分情况下发送不出去，但有时又可以发送，什么情况？...
- U盘格式化，教你如何将U盘格式化后速度变的更快
- 纯CSS实现图片动画
- MarkdownPad2 插入数学公式Mathjax
- [python]的functools.partial(偏函数)
- 小福利，用python打造自己的图书管理系统
- linux 卸载oracle
- 计算机科学与技术(云计算方向),2019年枣庄学院本科计算机科学与技术（云计算方向）...
- 用RDA进行微生物环境因子分析
- NOIp 2018 游记+题解
- 计算机技术与消防,浅谈计算机技术在消防领域中应用.doc
- codeforces7D Palindrome Degree（manacherdp或Hshdp）