文章目录

2019
- 基于Mask R-CNN的芒果实例分割及采摘点检测研究与实现
2021
- A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard
2022
- 基于深度学习的多品种鲜食葡萄采摘点定位
- Method for Identifying Litchi Picking Position Based on YOLOv5 and PSPNet
- Fast Location of Table Grapes Picking Point Based on Infrared Tube
- A Study on Long-Close Distance Coordination Control Strategy for Litchi Picking
- Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test
- An end-to-end lightweight model for grape and picking point simultaneous detection
- Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape
2023
- Autonomous Strawberry Picking Robotic System

2019

基于Mask R-CNN的芒果实例分割及采摘点检测研究与实现

摘要：智能化农业的目标就是用机器取代人从而解放生产力,通过提高生产效率和降低劳动力成本,解决传统农业的弊端。可靠、准确的多类分割是高级机器人感知任务的关键组成部分。在农业机器人的背景下,图像分割算法使机器人能够理解环境、采摘作物、监测作物健康状况、产量估测,是机器人取代人力完成任务的前提和基础。针对实际果园场景下芒果分割和采摘过程中存在的遮挡、重叠、小目标等问题,本文研究了基于改进FCIS的芒果实例分割算法、基于改进Mask R-CNN的芒果实例分割算法,以及基于Mask R-CNN关键点检测的芒果采摘点检测算法。最后为了将研究落地,设计和开发了芒果实例分割及采摘点检测系统,实现了便携笔记本上的芒果实例分割及采摘点检测任务。本文主要研究内容和创新如下:(1)数据集及模型评价指标。数据是深度学习算法的基础,而且数据的好坏直接影响了训练得到的模型性能。数据的多样性使训练的模型可以应对更多的情况,鲁棒性更强。本文芒果数据采集于自然果园场景,涵盖了实际采摘过程中可能遇到的问题,如光线变化、背景干扰,特别是果实遮挡、重叠及小目标。另外人工对采集整理后的数据进行了图像增强和扩增,如改变图像的对比度、亮度、色度与锐度等。为了更准确的区分不同尺寸目标,本文按像素面积将芒果划分为大、中、小三个等级。使用Labelme工具对芒果进行人工标注,得到训练集、验证集以及测试集的JSON文件。本文采用COCO数据集的评价指标衡量模型性能,并分析了评价指标的全面性和准确性。(2)基于改进FCIS的芒果实例分割算法研究。FCIS是基于位置敏感分数图(score map)的实例分割算法。FCIS未针对每个ROI添加全连接层或卷积层进一步提取特征,而是直接通过位置敏感图分出前景与背景以及类别信息。本文引入PSROIAlign,使得ROI池化到位置敏感分数图上的位置更加精准,最后分割结果也更精确。在主干卷积引入特征金字塔结构(FPN),通过在不同尺寸特征图上生成ROI,实现对不同尺寸芒果个体的有效分割。为了进一步实现轻量化的目标,将基础卷积的Res50替换为Mobile Net V2结构,实现了模型的大幅压缩和提速。最终模型的AP达到70.10%,大小只有47.00M。(3)基于改进Mask R-CNN的芒果实例分割算法研究。Mask R-CNN算法是在Faster R-CNN的基础上通过增添一条FCN分支实现实例分割。本文为了进一步增强底层特征与高层特征的融合,在FPN的基础上搭建FPN-BU结构,大大缩短低层特征图与高层特征图的融合路径,实验结果证明FPN-BU结构带来分割精度的提升。为了进一步提高重叠果实的分割精度,用Soft-NMS代替NMS,避免对重叠锚点框的误删,增强了模型在果实重叠情况下的分割性能。为了进一步提高FCN掩码预测分支的特征提取能力和加强梯度的反向传播,将原本4层普通卷积替换为残差结构,带来了最终分割精度的提升并使网络易于训练。三种改进都带来了精度上不同的提升,最后AP达到了83.00%。在重叠、遮挡数据集上的效果也证明了改进策略的有效性。对比实验还体现了改进Mask R-CNN分割精度上的领先优势。(4)基于Mask R-CNN的芒果采摘点检测。传统方法定位水果采摘点需要复杂的步骤和人工干预,而且最终检测精度不高,鲁棒性差。在研究了深度学习关键点检测算法架构后,本文基于Mask R-CNN的人体关键点检测算法,设计了芒果采摘点的自动检测方法。模仿人体关键点在芒果及果梗选取三个关键点(P1、P2、P3),其中P1是真正的采摘点。将标注数据送入Mask R-CNN算法进行训练来预测关键点掩码,最终实现芒果采摘点的自动检测。针对297个标注采摘点的检测准确率达到92.90%,召回率达到96.97%。并且还与传统采摘点检测方法进行了对比实验,准确率占据优势,却没有传统方法复杂的步骤。(5)芒果实例分割及采摘点检测系统设计与实现。本文利用高性能便携笔记本、海康威视半球网络摄像机、海康威视硬盘录像机等硬件设备,通过Pycharm、Microsoft Visual Studio 2013等软件,将训练好的模型进行封装,设计了基于Windows下的芒果实例分割及采摘点检测系统。系统由数据获取、数据解码及预处理模块、模型选择及调用模块、自动分割及检测模块、结果显示模块五部分组成,实现了芒果目标的自动分割、采摘点定位、产量估测与计数等功能。

2021

A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard

摘要：水果采摘机器人的视觉系统必须执行两个困难的任务：精确的水果像素级实例分割和正确的采摘点检测。由于视觉系统在这些任务上的性能不理想，机器人的拾取性能不足，其应用也不普遍。本研究通过水果实例分割和采摘点定位，在深度学习框架中设计了一种基于RGB图像的视觉算法，用于一个潜在的芒果采摘机器人视觉系统。该算法不仅成功地完成了这两个任务，而且还将它们集成到一个端到端网络中，其中并行分支同时执行这两个任务。实例分割的平均精度（IoU为0.75）和平均查全率分别为0.947和0.929，挑选点检测的最佳精度和查全率分别为0.984和0.908。此外，室外果园的任务面临各种光照和背景干扰，以及遮挡、重叠和物体尺度等复杂问题。本研究在各种复杂条件下的多个数据集和子集上详细分析了视觉系统的性能，并讨论了影响性能的主要因素。结果表明，该系统在不同光照和复杂背景下具有较强的鲁棒性，对小、中等遮挡或重叠、中等、大芒果具有较好的分割和拾点检测性能。模型可视化和模型训练的影响分析证明了深度学习网络的训练过程和建模效果。

2022

基于深度学习的多品种鲜食葡萄采摘点定位

摘要：鲜食葡萄品种多样，具有不同的形状和颜色。针对葡萄采摘机器人采摘不同品种鲜食葡萄时采摘点定位精度降低的问题，提出一种基于深度学习的多品种鲜食葡萄采摘方法。首先利用PSPNet(MobileNetv2)语义分割模型分割葡萄图像，在葡萄上方设置一个兴趣区域，在兴趣区域内使用自适应阈值果梗方向Canny边缘检测提取果梗边缘信息，然后采用霍夫变换检测果梗边缘上的直线段并进行直线拟合。最后将拟合的直线与兴趣区域的水平对称轴的交点作为采摘点。对晴天顺光、晴天逆光、晴天遮阴3种光照条件下的克瑞森、阳光玫瑰、红提和黑金手指4个品种的360幅葡萄图像进行采摘点定位试验。结果显示，采摘点定位准确率为91.94%,定位时间为187.47 ms,在模拟试验中采摘成功率为85.5%。

Method for Identifying Litchi Picking Position Based on YOLOv5 and PSPNet

摘要：中国是世界上荔枝产量最大的国家。但目前，荔枝以人工采摘为主，水果农户劳动强度高，生产效率低。这意味着智能无人采摘系统具有广阔的应用前景。荔枝主采干点的精确位置对无人系统的路径规划非常重要。一些研究人员已经鉴定了荔枝的果实和枝条，但对荔枝主要茎采摘点位置的研究相对较少。因此，本文提出了一种新的开放获取的工作流程，用于检测主茎上的准确采摘位置，并提出了在案例研究中使用的数据。同时，本文还比较了几种不同的主干检测和分割网络架构，并分别选择YOLOv5和PSPNet作为最有前途的主干检测和分割任务的模型。该工作流程结合深度学习和传统图像处理算法，计算荔枝图像中的准确定位信息。本工作流程以YOLOv5为目标检测模型，检测荔枝图像中的荔枝干，然后提取荔枝干的检测感兴趣区域（ROI），利用PSPNet语义分割模型对主干的ROI图像进行语义分割，对主干的ROI图像进行图像后处理，得到主干ROI图像中拾取点的像素坐标。经过坐标转换后，得到原荔枝图像的主茎拾取点的像素坐标，并在荔枝图像上绘制出拾取点。目前，该工作流程可以获得荔枝图像中主茎采摘点的准确位置信息。该方法的召回率和精度分别为76.29%和92.50%，这为后续工作提供基础的三维坐标根据图像深度信息，尽管我们在本文没有做这项工作。

Fast Location of Table Grapes Picking Point Based on Infrared Tube

摘要：本研究探讨了葡萄采摘机械化水平较低，以及葡萄采摘点在三维空间中定位困难的问题。提出了一种基于红外管快速定位餐桌葡萄采摘点的方法。首先，利用Otsu算法和最大连接域获取目标葡萄的图像，实现了在二维空间中对目标葡萄的快速识别和分割。其次，设计了一种基于红外管的葡萄采摘点定位装置，解决了三维空间中采摘点定位困难的技术问题，实现了餐桌葡萄采摘点的准确定位。实验结果表明，该方法能在三维空间中快速、准确地定位餐桌葡萄的采摘点。该算法的平均运行时间为0.61 s，位置识别的成功率为90.0%。为机械化采摘提供了一种可行的方案。

A Study on Long-Close Distance Coordination Control Strategy for Litchi Picking

摘要：对于机器人自动采摘串种类型的水果，策略是大致确定串种的位置，从一个遥远的位置计划采摘路线，然后将采摘点精确地定位在一个更合适、更近的位置。后者可以减少需要处理的信息量，获得更精确、更详细的特征，从而提高视觉系统的准确性。本研究利用一种基于英特尔遥感D435i相机和该相机收集的点云图，提出了一种荔枝采摘机器人的长近距离协调控制策略。利用YOLOv5目标检测网络和DBSCAN点云聚类方法，确定长距离串果实的位置，然后推导出采摘顺序。到达近距离位置后，采用Mask RCNN实例分割方法对视场中更明显的分叉茎进行分割。通过对分割掩模的处理，提出了一种“点+线”双参考模型，该线由机械臂引导采摘。与现有的研究相比，该策略考虑到了深度相机的优缺点。通过对完整过程的试验，长距离密度聚类方法能够在较近距离对不同束进行分类，而果实枝定位的成功率为88.46%。这是一项探索性的工作，为未来的水果采摘机器人的研究提供了理论和技术参考。

Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test

摘要：为了提高餐桌葡萄在自动采食过程中的采食成功率，准确定位葡萄穗的采食点和葡萄茎的切削点具有重要意义。本研究构建了一套近距离立体视觉系统的葡萄耳和葡萄茎检测系统。首先，提出了葡萄耳质心的识别算法。对远距离葡萄的识别和特征提取进行了一系列的图像操作，包括中值滤波、阈值分割、形态学操作、可执行区域标记和目标质心的提取。其次，建立了葡萄茎切削点的计算模型。对近距离葡萄茎的感兴趣区域（ROI）进行边缘检测，并采用累积概率Hough变换。完成了近距离葡萄茎的直线检测和切割点定位。最后，基于LabVIEW软件，开发了采葡萄机器人的测控系统。实验验证，葡萄茎的识别和切割点的定位算法具有较高的可靠性，晴天成功率为92%，阳光背光成功率为82%，阴天成功率为86%。葡萄采摘测试表明，在给定的计算机配置下，葡萄采摘机器人可以在平均53.4 s的桌面时间内完成葡萄采摘任务。

An end-to-end lightweight model for grape and picking point simultaneous detection

摘要：葡萄群及其拾取点检测（GCPPD）在葡萄自动收获的视觉任务中起着关键作用。近年来，在提高基于深度学习模型的GCPPD的准确性方面取得了很大的进展。然而，GCPPD仍然有很多问题。首先，葡萄聚类检测必然需要具有多个参数的复杂模型。其次，之前在拾取点检测方面的工作可以总结为使用预定义的手工制作特征的图像处理方法。这导致了所提出的算法缺乏鲁棒性。为了解决这个问题，我们探索了一种同时检测葡萄簇及其采摘点的方案。由于同步检测的优势，该模型被构建为一个端到端网络。因此，提出了一种称为YOLO-GP（YOLO-葡萄和采摘点）。具体来说，YOLO-GP利用一个幽灵瓶颈来减少模型参数。此外，该模型使用新的思想添加了对挑选点的预测，即挑选点遵循边界框。构建了用于模型训练的葡萄-pp（葡萄采摘点）数据集，其中包含360幅葡萄图像，包含4517个葡萄簇边界盒和采摘点。实验结果表明，YOLO-GP检测葡萄聚类的平均平均精度（mAP）为93.27%，重量参数的数量减少了至少10%。拾取点检测的距离误差小于40像素。综上所述，YOLO-GP实现了对葡萄簇及其采摘点的同时检测，其性能与基线模型相当。

Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape

摘要：对于机器人采集餐桌葡萄，通常通过抓持和切割梗，在梗上的准确定位是至关重要的。本文提出了一种基于远景和近景深度数据特征相结合的水平格子栽培葡萄采摘点精确定位的新方法。首先，提出了充分利用深度点云数据获得的葡萄群和水平格环境特征的采摘点定位远近组合策略。然后提出了满足远近组合需要的特殊“指下眼”结构，定义了决定远近组合手眼路径的远视点、近视点和选取点三个关键点。最后，基于近景深度数据直方图，建立了近景葡萄簇检测、近视点切换和采摘点定位的远近组合方法，以选择葡萄簇底部为关键线索。在近视图下挑选点定位的现场实验中，算法的平均运行时间为0.29 s，总共100个样本中只有5个未能实现准确定位。在远近组合采摘点定位的实验室实验中，采摘点精确定位的成功率达到100%。该方法有望克服传统图像处理方法中黑盒处理的不足。

论文的贡献：

与苹果、柑橘、猕猴桃等普通单一果相比，葡萄簇的大小要大几倍，花梗相对较短，这对视觉定位和可靠的握把和切割都是一个挑战。
由于大部分的树枝、藤蔓和叶子被堵塞在网格表面上，只有一小部分的叶尖漏进去，对花梗和簇的庇护所更少。此外，所有的叶尖都明显高于簇底。为耳茎的识别和定位提供了方便。
它具有相对结构化的特征。例如，所有的花梗和葡萄簇都具有相对垂直的姿态，网格表面、花梗和葡萄簇分布在不同的相对集中的高度区域。所有这些特性将为挑选点的视觉定位提供重要的信息。

2023

Autonomous Strawberry Picking Robotic System

摘要：草莓采摘方面的挑战使得选择性收获机器人技术要求非常高。然而，草莓的选择性收获是一项复杂的机器人任务，形成了一些科学研究问题。大多数可用的解决方案只处理特定的采摘场景，例如，只孤立地采摘单一种类的水果。尽管如此，最经济上可行的（例如高产和/或抗病）草莓品种都在密集的集群中生长。目前在这种用例中的感知技术是低效的。在这项工作中，我们开发了一个新的系统，能够收获草莓有几个独特的特点。这些特性允许系统处理非常复杂的挑选场景，例如密集的集群。我们的模块化系统的概念使我们的系统可重新配置，以适应不同的挑选场景。我们设计、制造并测试了一个具有2.5自由度的专利采摘头（两个独立的机制和一个依赖的切割系统），能够去除可能的遮挡，并在不接触果肉的情况下收获目标草莓，以避免损坏和擦伤。此外，我们开发了一种新的感知系统来定位草莓，检测它们的关键点，挑选点，并确定它们的成熟度。为此，我们引入了两个新的数据集。最后，我们在一个商业草莓种植场和我们的研究农场对三个不同的草莓品种进行了测试。实验结果表明，验证了该系统的有效性和可靠性。设计的采摘头能够有效地去除堵塞和收获草莓。该感知系统能够检测和确定草莓的成熟度，准确率为95%。总的来说，该系统能够收获87%的所有被检测到的草莓，所有可拔果实的成功率为83%。我们还将在讨论部分讨论一系列开放的研究问题。

果实可采摘点论文汇总相关推荐

果园树枝分割论文汇总
2020 柑橘采摘机器人枝干检测方法研究_王卓摘要:柑橘是我国重要的水果产品之一,其世界贸易量也位居前三.目前,柑橘采摘仍以人工采摘为主,特别是丘陵地区,由于坡度大且多居于高山上,更容易出现人员受伤 ...
【radar】毫米波雷达-相机-激光雷达融合相关论文汇总（特征融合、RPN融合、弱监督融合、决策融合、深度估计、跟踪）（5）
[radar]毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合.RPN融合.弱监督融合.决策融合.深度估计.跟踪)(5) Radar Camera Fusion Feature-level Fus ...
【radar】毫米波雷达动态障碍物检测相关论文汇总（聚类、分类、稀疏2D点、4D点、雷达成像、原始数据处理）（4）
[radar]毫米波雷达动态障碍物检测相关论文汇总(聚类.分类.稀疏2D点.4D点.雷达成像.原始数据处理)(4) Detection of Dynamic Objects Clustering 20 ...
经典！工业界深度推荐系统与CTR预估必读的论文汇总
(图片付费下载自视觉中国) 来源 | 深度传送门(ID: gh_5faae7b50fc5) 导读:本文是"深度推荐系统"专栏的第十一篇文章,这个系列将介绍在深度学习的强力驱动下,给 ...
【KDD 2020】推荐系统领域论文汇总
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要9分钟 Follow小博主,每天更新前沿干货 [导读]本文为大家收集整理了KDD 2020 会议上推荐系统方面的一些论文汇总. ACM SIG ...
oracle11g知乎,【AAAI】AAAI2020录用论文汇总（二）
因为AAAI的接受论文官方还没有放出,并且放的也是出奇的慢,本文汇总了23日在arxiv上挂出来的AAAI2020文章,供大家挑选感兴趣的文章下载.第一部分可以看忆臻:[AAAI]AAAI2020录 ...
AAAI2020录用论文汇总（一）
本文汇总了截至2月23日arxiv上上传的所有AAAI2020录用论文,共计629篇,因篇幅过长,分为三部分,分享给大家. AAAI2020论文汇总(part 1) [1] MA-DST: Mu ...
AAAI2020录用论文汇总（二）
本文汇总了截至2月23日arxiv上上传的所有AAAI2020录用论文,共计629篇,因篇幅过长,分为三部分,分享给大家. AAAI2020论文汇总(part 2) [201] Colosseu ...
AAAI2020录用论文汇总（三）
本文汇总了截至2月23日arxiv上上传的所有AAAI2020录用论文,共计629篇,因篇幅过长,分为三部分,分享给大家. AAAI2020论文汇总(part 3) [401] Justific ...

果实可采摘点论文汇总