OpenMMLab AI实战营第二期｜人体关键点检测与MMPose学习笔记

文章目录

  • OpenMMLab AI实战营第二期｜人体关键点检测与MMPose学习笔记
  • 一、前言
    • 1.1 人体姿态概述
    • 1.2 讲师介绍
  • 二、课程内容
    • 2.1 人体姿态估计的介绍与应用
      • 2.1.1 什么是人体姿态估计
      • 2.1.2 3D姿态估计
      • 2.1.3 人体参数化模型
      • 2.1.4 下游任务
        • 2.1.4.1 行为识别
        • 2.1.4.2 CG、动画
        • 2.1.4.3 动物行为分析
    • 2.2 2D姿态估计
      • 2.2.0 任务描述
        • 2.2.0.1 基于回归(Regression Based)
        • 2.2.0.1.1 DeepPose(2014)
          • 2.2.0.1.1.1 通过级联提升精度
          • 2.2.0.1.2 回归方法的优势与劣势
          • 2.2.0.1.3 Residual Log-likelihood Estimation(RLE)(2021)
          • 2.2.0.1.3.1 背景知识：回归和最大似然估计的联系
          • 2.2.0.1.3.2 背景知识：标准化流Normalizing Flow
          • 2.2.0.1.3.3 RLE的整体设计
          • 2.2.0.1.3.4 重参数化设计
          • 2.2.0.1.3.5 残差似然函数
          • 2.2.0.1.3.6 完整的RLE模型
        • 2.2.0.2 基于热力图(Heatmap Based)
        • 2.2.0.3 从数据标注生成热力图
        • 2.2.0.4 使用热力图训练模型
        • 2.2.0.5 从热力图还原关键点
      • 2.2.1 多人姿态估计：自顶而下方法
      • 2.2.2 Hourglass(2016)
        • 2.2.2.1 级联Hourglass模块
        • 2.2.1.2 不同的级联和监督方式
        • 2.2.1.3 Hourglass模块
      • 2.2.2 HRNet(2020)
        • 2.2.2.1 HRNet的特征融合方式
        • 2.2.2.2 HRNet配合不同任务头
      • 2.2.2 多人姿态估计：自底而上方法
      • 2.2.3 PartAffinity Field & OpenPose(2016)
        • 2.2.3.1 关键点与肢体的预测
        • 2.2.3.2 关键点与关节的预测
        • 2.2.3.3 肢体定义的关键点亲和度
        • 2.2.3.4 基于亲和度匹配关键点
      • 2.2.4 单阶段方法
        • 2.2.4.1 SPM(2019)
        • 2.2.4.2 SPR
        • 2.2.4.3 Hierarchical SPR
          • 2.2.4.3.1 网络设计
          • 2.2.4.3.2 回归策略
          • 2.2.4.3.3 损失函数
      • 2.2.5 基于Transformer的方法
        • 2.2.5.1 PRTR2021
          • 2.2.5.1.1 PRTR两阶段算法
          • 2.2.5.1.2 PRTR单阶段算法
      • 2.2.6.2 TokenPose
    • 2.3 3D姿态估计
      • 2.3.1 任务描述
      • 2.3.2 背景知识：绝对坐标 vs 相对坐标
      • 2.3.3 思路1：直接预测
        • 2.3.3.1 Coarse-to-Fine Volumetric Prediction 2017
        • 2.3.3.2 Simple Baseline 3D 2017
      • 2.3.4 思路2：利用视频信息
        • 2.3.4.1 VideoPose3D 2018
      • 思路3：利用多角度图像
        • 2.3.5.1 VoxelPose 2020
    • 2.4 人体姿态估计的评估方法
      • 2.4.1 Percentage of Correct Parts(PCP)
      • 2.4.2 Percentage of Detected Joints(PDJ)
      • 2.4.3 Percentage of Correct Key-points(PCK)
      • 2.4.4 Object Keypoints Similarity(OKS) based mAP
    • 2.5 DensePose
      • 2.5.1 DensePose(2014)
    • 2.6 人体参数化模型
      • 2.6.1 背景知识：人体表面参数化
      • 2.6.1.1 标注方法
      • 2.6.2 网络结构
        • 2.6.2.1改进设计
      • 2.6.3 身体表面网络(Body Mesh)
      • 2.6.4 混合蒙皮技术(Blend SKinning)
      • 2.6.5 线性混合蒙皮LBS(Linear Blend Skinning)
      • 2.6.6 SMPL人体参数化模型
        • 2.6.6.1 形态参数 β \beta β与姿态参数 θ \theta θ
        • 2.6.6.2 SMPL模型的应用
      • 2.6.7 SMPLify算法流程
        • 2.6.7.1关键点投影损失
        • 2.6.7.2 人体姿态约束
        • 2.6.7.3 “胶囊“近似人体
        • 2.6.7.4 人体形态约束
        • 2.6.7.5 损失函数
      • 2.6.8 HMR
        • 2.6.8.1 算法设计
        • 2.6.8.2 回归模型设计
        • 2.6.8.3 2D投影损失
        • 2.6.8.4 引入判别器

一、前言

1.1 人体姿态概述

人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，也是计算机理解人类动作、行为必不可少的一步，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。

1.2 讲师介绍

卢策吾 老师
上海交通大学电院计算机系教授、博士生导师；
主要从事具身智能，计算机视觉的研究。开源了一系列如 AlphaPose、HAKE、GraspNet 等多项拥有国际先进水平的开源人工智能框架和数据集，多项成果在智能安防、机器人、无人车等重要领域得到应用。

本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。

二、课程内容

2.1 人体姿态估计的介绍与应用

2.1.1 什么是人体姿态估计

2.1.2 3D姿态估计

2.1.3 人体参数化模型

2.1.4 下游任务

2.1.4.1 行为识别

2.1.4.2 CG、动画

2.1.4.3 动物行为分析

2.2 2D姿态估计

2.2.0 任务描述

2.2.0.1 基于回归(Regression Based)

2.2.0.1.1 DeepPose(2014)

2.2.0.1.1.1 通过级联提升精度

2.2.0.1.2 回归方法的优势与劣势

2.2.0.1.3 Residual Log-likelihood Estimation(RLE)(2021)

2.2.0.1.3.1 背景知识：回归和最大似然估计的联系

2.2.0.1.3.2 背景知识：标准化流Normalizing Flow


2.2.0.1.3.3 RLE的整体设计

2.2.0.1.3.4 重参数化设计

2.2.0.1.3.5 残差似然函数

2.2.0.1.3.6 完整的RLE模型

2.2.0.2 基于热力图(Heatmap Based)


2.2.0.3 从数据标注生成热力图

2.2.0.4 使用热力图训练模型

2.2.0.5 从热力图还原关键点

2.2.1 多人姿态估计：自顶而下方法

2.2.2 Hourglass(2016)

2.2.2.1 级联Hourglass模块

2.2.1.2 不同的级联和监督方式

2.2.1.3 Hourglass模块

2.2.2 HRNet(2020)

2.2.2.1 HRNet的特征融合方式

2.2.2.2 HRNet配合不同任务头

2.2.2 多人姿态估计：自底而上方法

2.2.3 PartAffinity Field & OpenPose(2016)

2.2.3.1 关键点与肢体的预测

2.2.3.2 关键点与关节的预测

2.2.3.3 肢体定义的关键点亲和度

2.2.3.4 基于亲和度匹配关键点

2.2.4 单阶段方法

2.2.4.1 SPM(2019)

2.2.4.2 SPR

2.2.4.3 Hierarchical SPR

2.2.4.3.1 网络设计

2.2.4.3.2 回归策略

2.2.4.3.3 损失函数

2.2.5 基于Transformer的方法

2.2.5.1 PRTR2021

2.2.5.1.1 PRTR两阶段算法

2.2.5.1.2 PRTR单阶段算法

2.2.6.2 TokenPose


小结

2.3 3D姿态估计

2.3.1 任务描述

2.3.2 背景知识：绝对坐标 vs 相对坐标

2.3.3 思路1：直接预测

2.3.3.1 Coarse-to-Fine Volumetric Prediction 2017


2.3.3.2 Simple Baseline 3D 2017

2.3.4 思路2：利用视频信息

2.3.4.1 VideoPose3D 2018

思路3：利用多角度图像

2.3.5.1 VoxelPose 2020

2.4 人体姿态估计的评估方法

2.4.1 Percentage of Correct Parts(PCP)

2.4.2 Percentage of Detected Joints(PDJ)

2.4.3 Percentage of Correct Key-points(PCK)

2.4.4 Object Keypoints Similarity(OKS) based mAP

2.5 DensePose

2.5.1 DensePose(2014)

2.6 人体参数化模型

2.6.1 背景知识：人体表面参数化

2.6.1.1 标注方法

2.6.2 网络结构

2.6.2.1改进设计

2.6.3 身体表面网络(Body Mesh)

2.6.4 混合蒙皮技术(Blend SKinning)

2.6.5 线性混合蒙皮LBS(Linear Blend Skinning)

2.6.6 SMPL人体参数化模型

2.6.6.1 形态参数 β \beta β与姿态参数 θ \theta θ

2.6.6.2 SMPL模型的应用

2.6.7 SMPLify算法流程

2.6.7.1关键点投影损失

2.6.7.2 人体姿态约束

2.6.7.3 “胶囊“近似人体

2.6.7.4 人体形态约束

2.6.7.5 损失函数

2.6.8 HMR

2.6.8.1 算法设计

2.6.8.2 回归模型设计

2.6.8.3 2D投影损失

2.6.8.4 引入判别器

OpenMMLab AI实战营第二期｜人体关键点检测与MMPose学习笔记相关推荐

  1. AI实战营第二期——课程目录

    AI实战营第二期 第一节 AI实战营第二期 第一节<姿态估计与MMPose> 课程链接:https://www.bilibili.com/video/BV1kk4y1L7Xb/ 课程说明: ...

  2. OpenMMLab-AI实战营第二期——4-1.目标检测与MMDetection

    文章目录 1. 目标检测的基本范式 1.0-1 目标检测简介 1.0-2 基本概念 1.1 滑窗 1.1.1 滑窗基本思想 1.1.2 滑窗效率问题改进 1.1.3 感受野计算 1.2-1 使用卷积实 ...

  3. OpenMMLab-AI实战营第二期——2-1.人体关键点检测与MMPose

    文章目录 1. 人体姿态估计的介绍和应用 2-1. 2D姿态估计概述 2.1 任务描述 2.2 基于回归 2.3 基于热力图 2.3.1 从数据标注生成热力图(高斯函数) 2.3.2 使用热力图训练模 ...

  4. 百度AI实战营第二季：AI技术商业落地指南

    4月 20日,百度 AI开发者实战营第二季启动,再次召集全国各地技术管理者,在北京"整装待发",并将陆续登陆成都.杭州.深圳.在新一季的实战营中,百度 AI将与开发者.合作伙伴一起 ...

  5. OpenMMLab-AI实战营第二期——相关1. COCO数据集格式和pycocotools使用（目标检测方向）

    文章目录 1. COCO数据集 1.1 COCO数据集介绍 1.2 COCO数据集格式 1.2.1 常见目标检测数据格式 1.2.2 COCO数据集文件结构及标注文件说明 1.2.3 RLE格式 1. ...

  6. 【OpenMMLab AI实战营 学习笔记 DAY（四）-- 目标检测基础知识及评估方法】

    本次课程,仍然是由王若晖老师进行讲解,中间的答疑部分由张子豪(B站 同济子豪兄)进行答疑讲解.课程链接,也可以直接打开哔哩哔哩,搜索OpenMMLab,在其主页可以观看. 目标检测 什么是目标检测 对 ...

  7. OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课

    文章目录 1. 自定义数据集 1.0 整理数据集为特定格式 1.1 持久化运行(用文件定义) 1.2 运行时生效(直接运行时定义一个class) 1.3 注意事项 2. 配置文件 3. 运行训练和测试 ...

  8. 号角响起！百度AI开发者实战营第二季教你用AI实现商业梦想

    点击上方"CSDN",选择"置顶公众号" 关键时刻,第一时间送达! 你有抱负与理想,我有供你实现理想的技术与平台.AI 开发者们,百度 AI 开发者实战营第二季 ...

  9. 【乘风破浪的开发者】丁一超：从AI实战营出发探索未知的AI世界

    摘要:从年初的不知不觉进入AI学习的道路,到认识并熟练使用ModelArts平台.虽然只有短短的半年,但这半年的探索学习,让丁一超看清了未来的路在何方. 从招聘网站上输入"人工智能工程技术人 ...

最新文章

  1. python.freelycode.com-快速提示-使用Modin加速Pandas
  2. 机器学习如何改变大数据管理
  3. 超级玛丽地图java_我的世界超级玛丽地图包
  4. pe下找不到ssd硬盘_【进入pe系统后认不到硬盘解决方法】进入pe系统看不到硬盘_pe系统不认硬盘...
  5. html dom 知乎,知乎登录页 - 粒子运动效果
  6. 工期日历天计算器_天津实地告诉你：房建项目是怎样保节点，抢工期的？
  7. 云米冰箱能控制扫地机器人_实现家电互联，从一台云米冰箱开始
  8. 在eclipse中使用第三方库总结
  9. Oracle EBS-SQL (BOM-19):主BOM与替代BOM互换.sql
  10. （一）操作系统基本概念（任哲版嵌入ucos和linux笔记）
  11. HttpPrinter易桥网络打印机
  12. 【前端安全】JavaScript防http劫持与XSS （转）
  13. 10000个虎年限定版红包封面！给！
  14. python必学的os模块详解_讨论 - 廖雪峰的官方网站
  15. android耳机检测驱动程序,USB 音频 CTS 验证程序测试
  16. ActivityManager: Waited long enough for: ServiceRecord 问题解决
  17. 21种低成本的方式，帮助企业获得关注
  18. 导热材料在电子产品散热系统中的重要性
  19. Ubuntu 测网速
  20. 文字下划线效果（标题hover效果）

热门文章

  1. Python实现群聊天小程序代码
  2. android 图片特效处理之怀旧效果
  3. Java进阶基础知识
  4. Schwarz不等式 三角不等式
  5. JavaScript图中以编程方式平移和缩放
  6. 说一说物理中的dynamics和kinetics
  7. 使用eggjs开发接口
  8. SpringBoot与Dubbo的集成
  9. C＆C++语言之可变参数传递
  10. 名帖190 米芾 行书《多景楼诗册》