点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自：计算机视觉工坊

前言

视觉伺服是工业上很重要的一个领域，在自动装配、高精配准上应用非常多。针对近两年常见的算法模式，在这里进行了简单的汇总。

1、Predicting Target Feature Configuration of Non-stationary Objects for Grasping with Image-Based Visual Servoing

本文研究了RGB-D相机无法提供有效深度信息时，闭环抓取的最后逼近阶段问题，这对于当前机器人抓取控制器失灵的情况下抓取非平稳物体是必要的。

在最后的抓取姿态下，本文预测观察到的图像特征像面坐标，并使用基于图像的视觉伺服来引导机器人达到该姿态。

基于图像的视觉伺服是一种成熟的控制技术，它可以在三维空间中移动摄像机，从而将图像平面的特征配置驱动到某种目标状态。先前的工作中，假设目标特征配置是已知的，但是对于某些应用，这可能是不可行的，例如第一次对场景执行运动。本文提出的方法对抓取最后阶段的场景运动以及机器人运动控制中的误差具有鲁棒性。

2、Camera-to-Robot Pose Estimation from a Single Image（卡内基梅隆大学，代码开源）

本文提出了一种从单个图像估计摄像机相对于机器人姿态的方法。该方法利用深度神经网络对摄像机的RGB图像进行处理，检测机器人上的二维关键点，并利用区域随机化的方法对网络进行完全的模拟训练。假设机器人机械手的关节结构已知，一般使用PnP方式恢复相机外部。与传统的手眼标定系统不同，本文的方法不需要离线标定步骤，能够通过单帧计算相机外参，从而打开了在线标定的可能性。本文给出了三种不同摄像机传感器的实验结果，证明了该方法能够在单帧条件下达到比传统的多帧离线手眼标定更好的精度。通过附加帧，精度进一步提高。

3、Learning Driven Coarse-to-Fine Articulated Robot Tracking（ICRA2019）

本文提出了一种机器人关节跟踪方法，它只依赖于颜色和深度图像的视觉线索来估计机器人在与环境交互或被环境遮挡时的状态。文章假设只有在观测状态和估计状态之间建立亚像素级的精确对应关系时，关节模型拟合方法才能实现精确跟踪。以前工作只依赖于识别深度信息或彩色边缘对应作为跟踪目标，并要求从联合编码器初始化。本文提出了一种粗糙到精细的关节状态估计器，该估计器仅依赖于颜色边缘和学习到的深度关键点的视觉线索，并由深度图像预测的机器人状态分布初始化。在四个RGB-D序列上评估了论文的方法，展示了KUKA-LWR臂和 Schunk-SDH2手与环境进行交互，并证明这种组合的关键点和边缘跟踪目标可以在不使用任何联合编码器传感的情况下进行平均误差为2.5cm的手掌位置估计。

4、CRAVES: Controlling Robotic Arm with a Vision-based Economic System（CVPR2019）

训练机器人手臂来完成现实世界的任务已经引起学术界和工业界越来越多的关注。本文讨论了计算机视觉算法在这一领域中的作用并专注于没有传感器的低成本机械臂，因此所有的决策都是基于视觉识别，例如实时三维姿态估计。然而，这就需要标注大量的训练数据，不仅费时而且费力。基于该原因，本文提出了一种新的解决方案，即利用三维模型生成大量的合成数据，在该虚拟域中训练一个视觉模型，并在域自适应后应用于真实图像。为此，论文设计了一个半监督方法，充分利用了关键点之间的几何约束，并采用迭代算法进行优化。该算法不需要对真实图像进行任何标注，具有很好的推广性，在两个真实数据集上得到了不错的三维姿态估计结果。本文还构建了一个基于视觉的任务完成控制系统，在虚拟环境中训练了一个强化学习agent，并将其应用于现实世界。

5、Robot Arm Pose Estimation by Pixel-wise Regression of Joint Angles（ICRA）

为了用机械臂实现基于视觉的精确控制，需要良好的手眼协调。然而，由于来自关节编码器的噪声读数或不准确的手眼校准，了解手臂的当前配置可能非常困难。提出了一种以手臂深度图像为输入，直接估计关节角位置的机器人手臂姿态估计方法。这是一种逐帧的方法，它不依赖于前一帧解的良好初始化或来自联合编码器的知识。为了进行估计，本文使用了一个随机回归森林，它基于综合生成的数据进行训练。论文比较了随机森林的不同训练目标，并分析了手臂的先验分割对训练精度的影响。实验表明，这种方法提高了先前的工作，无论是在计算复杂性和准确性方面。尽管只对合成数据进行了训练，但这种估计也适用于真实的深度图像。

本文仅做学术分享，如有侵权，请联系删文。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~