3D视觉应用研发系列笔记——机器人3D互动（一.技术难点分析）
先回顾一下需要达成的应用场景：简单说就是利用3D视觉传感技术实现人与机器之间的投球互动。玩家从“准备区”投出皮球，经过约半秒时间穿过飞行区，到达回球平面时，机械手对准来球将其推回。如下图所示：
咋一看，这个功能并不复杂，但实现起来非常有挑战性。我们先理一下方案的大致思路：用3D视觉传感器（即深度相机）对球进行跟踪定位，然后通过图像处理尽快的预测出球抵达回球平面时的具体位置，并发送给机器人控制器，再由控制器发出运动指令，机械臂执行到指定位置回击球。
有小伙伴可能会问了，为什么要预测位置，我们不能在球抵达平面时，直接从图像中计算出实际位置吗？显然是不行的，因为时间上来不及。图像传输，图像处理，机械运动都需要时间，这几部分加起来大约 210毫秒，如果等球到了再判断，黄花菜都凉了。所以只能提前根据球进入飞行区的初始6帧的深度图，计算出球在每一帧的位置，再根据这6个位置拟合抛物线，从而得到球抵达回球平面时的具体位置和时间。所以切记，这部分计算能快尽量快，时间就是生命线！
初步估计，球飞行时间约400550ms，扣除6帧飞拍所需的180ms，剩余220370ms，可用于视觉系统处理和机器人响应（需要约210ms，刚刚够），能给到各个环节的时间是很紧张的，如果某个环节稍微入不敷出，这个功能就实现不了。所以，第一个挑战就是如何保证实时性。
挑战二，就是上边提到的位置预测误差。这个预测位置如果不够准确的话，机器人回击球会失败。仔细分析的话，这个误差的构成因素有很多。这里主要列举：像素精度，标定误差，圆拟合误差，抛物线拟合误差，时间误差。
像素精度，是指每一个像素代表的实际尺寸。比如，当VGA分辨率（640480）对应的区间大小为 21.5米，那么每个像素的实际尺寸就是3.1mm。这个尺寸如果越大，从图像中计算的位置误差也就越大。
标定误差，是指每一个像素映射到实际空间中的坐标时，会偏离实际值。一方面，坐标转换矩阵不一定很准确，而且，每个相机的个体之间有差异；另一方面，现场的相机安装有时会有轻微松动异位，那么转换矩阵就实效了。
圆拟合误差。由于球的快速运动产生拖影（见图），造成圆拟合后的球心位置有误差；另外，由于点云数据丢失，球的成像会出现孔洞，这给圆拟合算法带来挑战。
抛物线拟合误差。在我们利用6帧的球心位置来拟合一条抛物线时，由于理论几何模型与实际有差异，会带来额外的定位误差，且该误差有可能很大。
时间误差。即便预测到的位置非常准确，但如果抵达时间预测得不准，会导致机械臂击球节奏的丢失，也无法满足功能。这个误差的诱因可能是图像传输和图像处理的耗时不稳定，也可能是抛物线模型不准确。
挑战三，图像处理算法。图像处理包括图像去背景噪声，圆拟合。如果背景噪声不能去除干净的话，会造成把背景物体识别为球的情况。但也不能去除的太“狠”，造成球像素的受损，也会影响定位准确性。圆拟合可以采用2D平面拟合，或者3D球面拟合；前者鲁棒性和定位能力差一些，后者会比较耗时。
挑战四，机器人运动控制、路径规划。一方面要足够块，另一方面要根据来球的速度矢量，设计好机械臂出击的方向和力道，使得回击球的效果最优。
综上所述，这四大挑战决定了这个应用研发的难度不小，因为它不是单纯的理论研究，而是要实现一个工程，就必然受到时间和空间上的强约束。但我们不畏惧困难，要相信办法总比困难多 后续几篇笔记会介绍些应对方法。
备注：
点击下面链接，进入奥比中光开发者社区，了解更多3D视觉技术信息：https://developer.orbbec.com.cn/
或扫描下方二维码,进入奥比中光开发者社区：
3D视觉应用研发系列笔记——机器人3D互动（一.技术难点分析）相关推荐
- 3D视觉应用开发--机器人3D互动四大技术难点分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 先回顾一下需要达成的应用场景:简单说就是利用3D视觉传感技术实现人 ...
- 基于3D视觉的智能鞋底涂胶机器人
关键词:鞋底涂胶 涂胶机器人 3D视觉 智能机器人 自动涂胶 艾利特EC66 高稳定性3D相机 难点: 在鞋子上进行涂胶的主要为了能防水.加强密封性和防腐等重要作用.对鞋子进行涂胶非常重要,而目前由于 ...
- 3D视觉——基恩士LJ-X系列线激光
基恩士LJ-X系列线激光 1. 基恩士硬件和软件的调试 1.1 下载并安装软件 LJ-X Navigator 和 LJ-X Observer 1.2 将控制器与电脑连接,接上24V电源就可以使用了. ...
- 机器人3D视觉引导技术，助力“中国制造2025”
"中国制造2025",其核心环节之一就是机器人智能化.视觉技术代表了机器的眼睛和大脑,机器视觉将使得机器人智能化变成现实.基于此,大恒图像在国内机器视觉领域率先提出"机械 ...
- 【科普】3D视觉技术在机器人抓取作业中的应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 摘要 本文主要研究3D视觉技术在机器人抓取作业中的应用,总 结了3 ...
- 机器人3D视觉在物流仓储领域的自动化应用
今天小编就带大家了解一下,究竟机器人3D视觉在物流仓储领域,能达到哪些自动化应用. 物流仓储行业应用场景 物流仓储中的应用 ◆3D视觉引导拆垛 ◆3D视觉引导混合拆垛 ◆3D视觉引导混合码垛 ◆3D视 ...
- 3D视觉工坊中秋国庆贺礼！
写在前面 首先,祝大家国庆.中秋节快乐,感谢大家对工坊的一路陪伴与支持!近一年来,工坊茁壮成长,以3D视觉为切入点,逐渐成为一个集干货.咨询.学业.工作为一体的技术交流平台!为了回馈那些和工坊一起成长 ...
- 七夕福利 | 3D视觉从入门到精通系统学习教程
写在前面 首先提前祝大家七夕快乐,感谢大家对工坊的陪伴与支持! 今天是七夕福利活动的最后一天,共100张券,已经送出去了60多张,还剩不到35张,大家可以抓住本次的活动机会,享受全年的最低价(优惠了7 ...
- 1000人证明过的3D视觉系统学习教程
写在前面 我们在「3D视觉从入门到精通」星球里已经为大家梳理了以下一些内容: (一) 3D视觉学习路线 (二)线上视频课程 (三)3D视觉顶会|期刊 (四)精华github资源 (五)往期帖子与问答汇 ...
最新文章
- 常见采集脑电信号的四种技术
- Docker 容器技术 — docker run
- 电磁场第二章公式总结
- pycharm+itk+vtk安装及测试程序运行
- 不出现用户帐户控制-让Win7的用户账户控制(UAC)放过信任的程序
- R语言学习 - 图形设置中英字体
- oracle游标多线程,多线程jdbc游标分页查询原理 oracle和mysql分页
- 混淆矩阵（TP+FN+FP+TN）
- UVA152 Tree's a Crowd【暴力+最值】
- 在PTA中c语言中求连续因子,团体程序设计天梯赛-练习集L1-006. *连续因子
- 数据分析方向之连续性的价值分析
- 下载最新版Termux
- debian 电脑屏幕放大镜 控制
- matlab逻辑符号怎么打,matlab逻辑符号
- R语言——查看内置数据集
- 贝蒂·霍尔伯顿（Betty Holberton）断点背后的大脑
- mysql strict_mysql 严格模式 Strict Mode说明
- CMD命令汇总 电脑入门知识【装机吧】
- iPhone设置手机铃声
- ‘npm‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。