CV前沿讲座，是智东西公开课针对计算机视觉推出的一档讲座，聚焦于计算机视觉前沿领域研究成果与进展。我们将持续邀请研究者、专家与资深开发者，为大家带来直播讲解。

抓取是机器人的基本和重要的任务之一。机器人抓取所必须的信息是相机坐标系下抓取器的6DoF位姿，包括抓取器的3D位置和抓取器的3D空间朝向，通过控制机械臂的移动使抓取器到该位置和旋转，然后执行抓取操作。而基于视觉的机器人抓取，是通过给机器人安装RGB-D相机，利用人工智能算法，获取抓取器的目标抓取位姿，按照抓取方式的不同，可以分为2D平面抓取和6D空间抓取。

2D平面抓取是指目标物体放置在水平工作台上，抓取器只能从一个方向进行抓取。而6D空间抓取是指抓取器可以在3D空间从各个角度抓取物体。两种抓取方式，自然有不同的实现方法。

2D平面抓取因为存在一些限制，抓取器的6D位姿可简化为3D，包括平面内的2D位置和平面内的1D旋转角度，主要分为评估抓取接触点质量和评估带朝向的抓取四边形两种方法。

6D空间抓取按照依赖物体的完整形状还是物体的部分点云，又可以分为基于部分点云的方法和基于完整形状的方法。当前大多数6D空间抓取都是针对已知3D模型的物体，这些物体的最优抓取位置可以通过人工指定货仿真预先得到，此时，6D空间抓取就转化为了估计物体的6D位姿。

同时，由于大部分机器人抓取的方法都需要先输入数据然后才能获得目标物体的位置，因此又可以分为三个阶段：物体定位、位姿估计和抓取位姿估计。那么基于视觉的机器人抓取到底需要什么样的技术呢？又有什么样的方法呢？不同的方法之间又有哪些优劣势呢？11月6日晚8点，智东西公开课邀请到达闼科技3D研发负责人、北京师范大学博士杜国光参与到「CV前沿讲座」第22讲，带来主题为《基于视觉的机器人抓取-从物体定位、位姿估计到抓取位姿估计》的直播讲解。

杜国光博士将深度解析基于视觉进行机器人抓取中所涉及的三大模块，包括物体定位、物体位姿估计和抓取位姿估计。其中，物体定位包括定位不识别、目标检测以及目标实例分割；物体位姿估计包括基于对应的方法、基于模板的方法以及基于投票的方法；抓取位姿估计分为2D平面抓取和6D抓取。在最后，杜博也会详解传统的方法和基于深度学习的方法，并对相关方法进行对比，指出未来的研究方向与挑战。

杜国光，北京师范大学博士，目前是达闼科技3D研发负责人。他的研究方向为3D视觉感知，包括3D检测/分割、物体6D位姿估计、机器人抓取等，并在相关期刊和会议上发表论文二十余篇。

课程内容

课 程 主 题

《基于视觉的机器人抓取-从物体定位、位姿估计到抓取位姿估计》

课 程 提 纲

1、视觉机器人抓取的流程与关键技术

2、物体定位技术的研究

3、物体位姿估计的方法解析

4、2D平面与6D空间机器人抓取位姿估计

5、方法对比与未来的研究方向和挑战

讲 师 介 绍

杜国光，达闼科技3D研发负责人，北京师范大学博士，研究方向为3D视觉感知，包括3D检测/分割、物体6D位姿估计、机器人抓取等，在相关期刊和会议上发表论文二十余篇。

直 播 信 息

直播时间：11月6日20:00

直播地点：智东西公开课小程序

答疑地址：智东西公开课讨论群

加入讨论群

本次课程的讲解分为主讲和答疑两部分，主讲以视频直播形式，答疑将在「智东西公开课讨论群」进行。

加入讨论群，除了可以免费收看直播之外，还能认识讲师，与更多同行和同学一起学习，并进行深度讨论。

扫码添加小助手糖糖(ID：hitang20)即可申请，备注“姓名-公司/学校/单位-职位/专业”的朋友将会优先审核通过哦~

往期回顾

「CV前沿讲座」现已完结21讲，讲解的内容包含了迁移学习中的领域适应、生成对抗网络GAN及可解释性、深度强化学习、OCR、实例分割、语义分割、知识蒸馏、视频理解以及三维重建等，课程累计观看42000余人次。点击下方图片可以观看所有课程回放。

点个“在看”和大家一起聊聊

???