1.解决的问题

提出了一个端到端的抓取评估模型，能够从3D点云中输出机器人抓取配置。
和基于手工设计深度特征和CNN的抓取评估方法相比，提出的PointNetGPD模型具有轻量化、能直接处理定位了夹持器配置的3D点云的特点。即使点云非常稀疏，也能很好地捕捉接触区域的几何结构。

先前工作大多依赖2D输入或2.5D输入，很少考虑3D几何信息。

论文的主要贡献：

直接对3D点云进行集合分析评估抓取质量，和以前的基于CNN的方法相比，文章所提方法能更好地利用深度图像的三维信息，不需要手工设计的特征，即使点云稀疏也能够work，在感知不精确和不充分的情况下有规划抓取的潜力。
建立了一个抓取数据集，包含力闭合和GWS分析的抓取质量分数。

2.相关工作

抓取配置检测：model-based, model-free
抓取质量指标：力闭合和GWS分析（Grasp Wrench Space analysis）
三维视觉与机器人抓取：挑战问题是处理感知的不确定性，DNN，Andy的6DOF抓取依赖多视角深度图、CAD模型；3D-CNN计算复杂度高；GPD需要复杂的手工设计的特征，而且当输入点云比较稀疏时，GPD容易过拟合。

2.方法

物体状态 so=(Wo,Mo,γ)s_o = (W_o, M_o, \gamma)so=(Wo,Mo,γ)
抓取配置 g=(p,r)∈R6g = (p, r)\in{\mathbb{R}^6}g=(p,r)∈R6
变换后的点云包含N个点 P∈R3×NP\in{\mathbb{R}^{3 \times N}}P∈R3×N
评价指标 Q(s,g)→RQ(s,g)\rightarrow \mathbb{R}Q(s,g)→R
目标学习评价指标 Qθ(P,g)∈{c0,c1,...}Q_\theta(P,g) \in{\{c_0,c_1,...}\}Qθ(P,g)∈{c0,c1,...}，c为标签

采样

随机采样两个接触点 p1,p2p_1, p_2p1,p2 和一个角度 r∈(0,0.5π]r\in(0,0.5π]r∈(0,0.5π]，抓取为g((p1+p2)/2,r)g((p_1+p_2)/2,r)g((p1+p2)/2,r)
去除不可行的抓取（闭合手指是否会和物体碰撞）
将剩下的可行抓取从mesh变换到点云坐标，变换矩阵通过mesh和配准点云的ICP获得

标注

力闭合指标：QfcQ_{fc}Qfc 输入摩擦系数γ\gammaγ ，输出二值标签；论文对输出进行了修改，取抓取为antipodal时的1γ\frac{1}{\gamma}γ1 (γ\gammaγ 从0.4开始，直观上γ\gammaγ 低score高，抓取更鲁棒)
GWS分析（Grasp Wrench Space analysis）：QgwsQ_{gws}Qgws 采用GWS半径作为抓取质量定量指标。GWS可以是R3\mathbb{R}^3R3或R6\mathbb{R}^6R6空间，论文采用简化的无摩擦的R3\mathbb{R}^3R3空间。
抓取质量分数：Q(s,g)=αQfc(s,g)+βQgws(s,g)Q(s,g)=\alpha Q_{fc}(s,g) + \beta Q_{gws}(s,g)Q(s,g)=αQfc(s,g)+βQgws(s,g)

网络结构

输入点云只是包含在抓手闭合区域的一小部分（N个点），先变换到统一的局部抓手坐标系，消除歧义性。X轴为接近方向，Y轴为平行方向，Z轴为正交方向。

PointNet 网络评估抓取质量

采样用的是 Using geometry to detect grasp poses in 3d point clouds 论文中的GPG方法，从点云中进行启发式采样，舍弃离支撑面近的点，移除远离支撑面的点，对于碰撞的抓取，将其向接近方向的反方向拉直至碰撞消失，如果此时抓取器闭合区域仍然存在一些点，将其标记为无碰撞抓取。

4.实验

仿真实验

看抓取性能，GPD 作为 baseline， 3 / 12 channel 的GPD，单视角和全部点云验证模型在稀疏点云上的稳定性
表格中是200个epochs的最好结果，2-class是以抓取质量分数1/0.6为分界，3-class是以1/0.5和1/1.2为分界

机器人实验

看泛化性能，15 channel 的GPD，isolation（Table II） / clutter（Table III），单视角点云

3-class中 best class 好于 second class 说明 score的设置是有效的

5.下一步工作

将抓取候选生成整合到网络中，端到端生成抓取规划
clutter segmentation，防止将多个物体当成一个物体，导致规划抓取不可行

PointNetGPD: Detecting Grasp Configurations from Point Sets相关推荐

基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
本文同步于微信公众号:3D视觉前沿,欢迎大家关注. 本文总结了基于视觉的机器人抓取的相关论文及代码,同步于 GitHub. 机器人抓取必需的信息是相机系下抓取器的6DoF位姿,包括抓取器的3D位置和抓 ...
抓取领域相关论文及摘要（有源码会附上源码）
目录 1.Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimat ...
抓取领域相关论文及摘要
抓取规划问题是指确定物体与手指间的一系列接触位置,使得手指能抵抗任意外力且灵活操作物体的能力.传统的基于分析的抓取规划需要根据已知的被抓物体模型根据力闭合的条件判断抓取的好,这种方法只适合对已知的物体 ...
近年来机器人主流抓取估计方法总结
本文同步于微信公众号:3D视觉前沿,欢迎大家关注. 根据抓取的表示,应用场合等可以将机器人抓取分为2D平面抓取和6-DoF空间抓取,各自又包含很多方法,下面一一介绍. 1 2D 平面抓取: 适合工业抓 ...
simpread-机器人智能抓取 AI+Grasp
https://baijiahao.baidu.com/s?id=1662839888777319062&wfr=spider&for=pc 抓取规划问题是指确定物体与手指间的一系列接 ...
最大信息系数（MIC）
转自:https://blog.csdn.net/qtlyx/article/details/50780400 建议查看原文. MIC(Maximal information coefficient) ...
【论文笔记】Reinforcement and Imitation Learning for Diverse Visuomotor Skills
目录 Abstract Introduction Related Work Model A. Background: GAIL and PPO 1. 行为克隆(Behavior Cloning) 2. ...
PointNetGPD 代码复现，环境配置，结果展示
pointnetgpd 论文论文链接项目官方代码链接: 原作者pointnetgpd代码链接原作者中相关的运行教程较少,环境配置说得也不够清楚. pointnetgpd复现加注释代码链接: 带 ...
Detecting Visual Relationships with Deep Relational Networks（阅读笔记）
Detecting Visual Relationships with Deep Relational Networks(阅读笔记) 原文链接:https://blog.csdn.net/xue_we ...
基于深度学习的抓取检测(grasp detection)相关论文解析
近几年深度学习技术蓬勃发展,其相关的应用场景也越来越多样化,比如本人做的机械手抓取物体就可以通过深度学习技术加以应用,优化出抓取目标物体的合适的中心坐标,旋转角以及爪盘开度.针对这个问题,目前绝大多数 ...

PointNetGPD: Detecting Grasp Configurations from Point Sets