圆栗子 编译整理
量子位 出品 | 公众号 QbitAI

大家可能还记得，今年2月Facebook发布的，人体姿势实时识别系统DensePose。

现在，代码开源了。撒花。

100人也很轻松

DensePose，这项技术可以把2D图像，转换成3D人体模型，并已成功跻身今年CVPR的Oral环节。

Facebook和来自法国的INRIA研究所共同开发的AI，和传统姿态估计系统很不一样。

前人的姿势识别，大多是着眼一组关节，比如手腕，比如肘部。

不过，Facebook团队觉得，这样的观察方式，是没有办法深刻理解图像的。

他们需要的是，人体表面的全方位观察，把每个人变成UV贴图，一片一片一片，一片。

系统可以覆盖浑身上下超过5000个节点，比十几个关节要细致得多。

另外，DensePose每秒处理多帧画面，而且，就算视频里同时出现100个人，也没问题。

每一个被人体占据的像素，尽收眼底。

这样的任务，一个GPU可以完全搞定。2D转3D的速度和准确度，有希望为AR/VR这样的应用提供加持。

数据集叫COCO

这样的成就，DensePose-COCO功勋卓著。

这是一个大规模的参考标准 (Ground Truth) 数据集。里面包含了5万人图像 - 表面UV图的一一对应。

随机采样的人类，千姿百态，还有各个身体部位分割开来的样子。

万事俱备，只是数据集还没开源。

模型结构怎样

DensePose-RCNN，深度神经网络的结构，是团队新建的。

他们是在Facebook自家的物体检测平台Detectron上面，搭起了这样一个模型。

在全卷积处理之后，用了兴趣区域池化层 (ROI Pooling) 。研究人员用三个输出通道，扩增了这个网络。

训练好之后，AI可以把每一个像素，分配到不同的身体部位，给出U坐标和V坐标。

看着自家神经网络茁壮成长，Facebook团队还在博客里致谢了被并到PyTorch里的Caffe 2。

学习时间

现在，既然还不知道数据集里面，有多少羞羞的姿势，大家就先瞻仰一下代码吧。

GitHub传送门：
https://github.com/facebookresearch/DensePose

顺便，CVPR正在盐湖城开心地进行。6月22日，就要轮到DensePose团队开讲，当地时间早8点之前，沉迷学习的各位可以趁机复习一下论文。

论文传送门：
https://arxiv.org/pdf/1802.00434.pdf

— 完 —

诚挚招聘

量子位正在招募市场运营实习生，参与线上/线下活动整体流程，帮助制作相关物料，运营社群等。工作地点在北京中关村。

期待有热情的同学加入！简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

DensePose开源了，2D变3D人体姿势实时识别 | Facebook@CVPR 2018相关推荐

  1. 2D与3D人体姿态估计数据集（统计）

    2D与3D人体姿态估计数据集(统计) 图像级2D单人数据集 Leeds Sports Pose (LSP) Dataset Frames Labeled in Cinema (FLIC) Datase ...

  2. 2D变3D，视角随意换，神还原高清立体感，还是不用3D建模的那种 | 代码数据开源...

    十三 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 看到这张恐龙化石的动态图片,你肯定会认为是用视频截出来的吧? 然而真相却是--完全由静态图片生成! 没错,而且还是不用3D建模的那种. ...

  3. 只需 2 张照片就能 2D 变 3D，这个 AI 能自己脑补蜡烛吹灭过程

    2张废片啪地一合! 错过的精彩瞬间立刻重现,还能从2D升到3D效果. 看,小男孩可爱的笑容马上跃然浮现: 吹灭生日蛋糕蜡烛的瞬间也被还原了出来: 咧嘴笑起来的过程看着也太治愈了吧~ 咱就是说,这回相机 ...

  4. CVPR 2022 | 只需2张照片就能2D变3D，这个AI脑补蜡烛吹灭过程

    来源:量子位 2张废片啪地一合! 错过的精彩瞬间立刻重现,还能从2D升到3D效果. 看,小男孩可爱的笑容马上跃然浮现: 吹灭生日蛋糕蜡烛的瞬间也被还原了出来: 咧嘴笑起来的过程看着也太治愈了吧~ 咱就 ...

  5. 2D和3D人体姿态数据集

    转自链接:https://www.jianshu.com/p/c046db584a21 2D数据集 LSP 地址:http://sam.johnson.io/research/lsp.html 样本数 ...

  6. 微软开源3D人体姿态估计的交叉视图融合算法,提高SOTA精度

    今天分享一下微软亚洲研究院新的开源3D姿态估计的一篇论文:用于3D人体姿势估计的Cross View Fusion,它大大减少了3D姿态估计的误差. 在H36M数据集上,MPJPE(关节点误差平均值) ...

  7. 无需3D运动数据训练，最新人体姿势估计方法达到SOTA | CVPR 2020

    作者 | Muhammed Kocabas 译者 | 刘畅 出品 | AI科技大本营(ID:rgznai100) 人体的运动对于理解人的行为是非常重要的.尽管目前已经在单图像3D姿势和动作估计方面取得 ...

  8. CVPR2020｜无需3D运动数据训练，最新SOTA人体姿势估计方法

    点击我爱计算机视觉标星,更快获取CVML新技术 作者 | Muhammed Kocabas 译者 | 刘畅 出品 | AI科技大本营(ID:rgznai100) 人体的运动对于理解人的行为是非常重要的 ...

  9. 【人体姿态估计综述（2D、3D）】

    人体姿态估计综述(2D.3D) 一.任务描述 二.2D人体姿态估计 2.1 2D单人姿态估计 2.1.1 回归方法 2.1.2 heatmap方法 2.2 2D多人姿态估计 2.2.1 自顶向下 2. ...

最新文章

  1. 网络工程师，不需要学Linux？
  2. 梯度消失问题学习资料整理
  3. ubuntu下解决oracle sqlplus不能查看历史命令问题
  4. 为什么说要重视神经网络加速器
  5. 每天一道LeetCode-----最长回文子串/序列，从头开始的最长回文子串长度
  6. html之file标签 --- 图片上传前预览 -- FileReader
  7. shell脚本自动备份MySQL数据库
  8. 链表操作时头结点的好处
  9. Java通过FFMPEG获取视频时长
  10. Delphi常用字符串函数
  11. 如何使用QXDM 的1477项 转化utc时间
  12. Android实现选择题答题（包括单选、多选和答题卡）
  13. 密码编码学与网络安全（学习）
  14. linux软硬链接 计数,深入理解Linux的软链接和硬链接
  15. Audio Hijack for Mac(音频录制工具)
  16. 国际上哪个学校计算机专业好,美国计算机专业大学排名前十有哪些？
  17. 简单算法 - 链表逆序思路详解
  18. php表格怎么自动排序,Excel表格怎么自动排名
  19. 11gRAC权限问题导致的集群及数据库无法启动
  20. 【蓝桥杯】 C++ 纸张尺寸

热门文章

  1. python 消息框架_消息框架message
  2. 广义典型相关分析_一文教你掌握广义估计方程
  3. 计算机安全防范系统维护,安防系统维护与设备维修(全彩)
  4. Web前端精髓年终总结
  5. java线程计数器_CountDownLatch----线程计数器
  6. java swing 按键_Java Swing 快捷键
  7. h5居中loading_实现整个html居中最简单方法
  8. java以下属于合法标识符的是_2012年计算机二级Java合法标识符章节练习题及答案...
  9. 汉字笔顺口诀_一帮40后理工男编出新型字典，《笔顺码字典》在汉首发
  10. java long 内存溢出_JAVA内存区域与内存溢出异常