摘要

开发了机器人抓取实验教学系统
包括：模块化学习、数据集变动、网络设计与训练、场景搭建和实验验证

关键词

深度学习；
机器人抓取；
虚拟仿真；
实验教学

0 引言

涉及到图像处理、相机标定、卷积神经网络设计与训练、机器人运动学、运动规划与控制等方面知识。

1 基于深度学习的机器人抓取实验原理

传统方法：设计夹持器的抓取位置和抓取姿态
缺点：设计过程非常耗时，对设计者的技术水平依赖高

前人研究：

学者	工作
Yang 等人	利用卷积神经网络学习视频图像中的抓取动作来训练机器人抓取物体
Levine 等人	利用 14 组机器人耗时 2 个月时间采集了 800 000 组机器人抓取数据
Varley 等人	利用卷积神经网络获得了多指灵巧手抓取物体的位置和抓取姿势
YU Q 等人	新型的卷积神经网络结构提取最佳抓取框

前人研究的不足：不能控制手指（采用的是夹具和吸盘）

抓取物体步骤：确定被抓取物体的位置及夹持器的位姿 → \rightarrow → 移动到抓取目标位置 → \rightarrow → 抓取

抓取框定义为： G = { x , y , h , w , θ } G=\{ x,y,h,w,\theta \} G={x,y,h,w,θ}

【第一层】用于获得抓取目标的位置，作为抓取框可能的搜索范围。
【第二层】深度信息与抓取框融合处理，剔除不合适的抓取框。
【第三层】优化选择得到最佳的抓取位姿。
网络数据集：康奈尔大学发布的抓取数据集 + 人工额外生成的抓取数据集
网络训练结果：70000次，93.7%准确率

虚拟仿真实验教学意义：服务器成本、投入的训练时间以及机器人成本非常巨大

2 机器人抓取虚拟仿真实验设计方案

2.1 虚拟仿真实验系统总体设计

四个模块：基础知识模块、仿真环境搭建模块（家庭场景、工业场景；30种典型物体；3种夹持器具）、深度学习网络模块（数据集处理和网络训练）和机器人智能抓取模块

2.2 机器人抓取实验教学过程

练习模式：根据这些提示完成理论学习和实验操作；
增加比实物机器人更丰富的容错机制和恢复功能
考核模式：会出现相应的考核题目，只有完成该步骤对应的考核题目后才能进入下一实验步骤

机器人理论基础、卷积神经网络原理以及机器人抓取原理等基础知识的学习。

可利用界面左侧的控制界面调整机械臂的末端位置和夹持器位置，从而保证能够准确抓取到物体。

在网络设计时，学生可自主设计新的网络结构，设置不同的训练超参数，测试不同网络结构和超参数的检测效果。

3 实验教学考核与管理

自主获得得分
在考核模式中，学生在完成实验且确认无误后即可提交实验报告，实验系统会将实验报告输出成标准格式文件发送给实验教师。

实验平台入口

4 结语

【论文笔记】基于深度学习的机器人抓取虚拟仿真实验教学系统相关推荐

物体抓取位姿估計算法綜述_基于深度学习的物体抓取位置估计
主讲题目:基于深度学习的物体抓取位置估计主要内容:机械臂抓取技术简介与入门方法主讲嘉宾:东北大学研究生,主要研究物体六自由度位姿估计,机械臂抓取. 知乎视频www.zhihu.com 往期干货资 ...
论文笔记 | 基于深度学习的乳腺转移瘤识别（Deep Learning for Identifying Metastatic Breast Cancer）
论文阅读笔记:原文链接摘要生物医学图像国际研讨会(International Symposium on Biomedical Imaging,ISBI)举办了一个在前哨淋巴节点全幻灯图中自动检测转 ...
数量级提升！深度学习让机器人抓取更高效
作者 | Jeffrey Ichnowski等译者 | 凌霄出品 | AI科技大本营(ID:rgznai100) 摘要电子商务仓库中的拣选机器人需要快速计算各种配置之间有效且平稳的机器人手臂运动 ...
基于深度学习的物体抓取位置估计
主讲嘉宾: 东北大学研究生,主要研究物体六自由度位姿估计,机械臂抓取. 主要内容: 机械臂抓取技术简介与入门方法 [3D视觉工坊]第一期公开课:机械臂抓取技术简介与入门方法课件获取:在公众号「3D视 ...
论文《基于深度学习的表面缺陷检测方法综述》学习笔记
<基于深度学习的表面缺陷检测方法综述>学习笔记前段时间完成了<基于图像的零部件缺陷识别系统设计>毕业课程设计,过程中收获了很多,老师也分享了很多论文,在此记录一下学习的收获. ...
论文阅读——基于深度学习智能垃圾分类
B. Fu, S. Li, J. Wei, Q. Li, Q. Wang and J. Tu, "A Novel Intelligent Garbage Classification Sys ...
TIP 2019开源论文：基于深度学习的HEVC多帧环路滤波方法
作者丨李天一学校丨北京航空航天大学博士生研究方向丨视频编码与深度学习本文概述的是作者近期在 IEEE TIP 期刊上发表的论文:A Deep Learning Approach for Mult ...
经典论文复现 | 基于深度学习的图像超分辨率重建
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含"伪代码".这是今年 AAAI ...
【读论文】基于深度学习的铁路道岔转辙机故障诊断（1绪）
BEFORE CNN:卷积神经网络 CNN-GRU(卷积门控循环单元) ROC:一种曲线 FILE ABSTRACT 基本描述道岔是铁路设备的关键部件转辙机同样是铁路设备的重要部件主要用来转换道岔 ...

【论文笔记】基于深度学习的机器人抓取虚拟仿真实验教学系统

文章目录

摘要

关键词