计算机视觉在农业领域中的应用

摘要：随着计算机等技术的不断发展，计算机视觉技术被广泛运用到各个领域中。与此同时，随着人口数量的增长、城市化进程导致耕地面积的减少，农业向着高质量、高产量方向的发展成为关键。将计算机视觉技术应用在农业领域能够在一定程度上降低虫害等对农业的影响，推进农业向着高质量、高产量的方向不断发展。本文简要回顾计算机视觉领域的几个重要任务和方法，介绍当前计算机视觉技术在农业领域中的应用。

关键词：计算机视觉；农业；深度学习

一、引言

从2016年AlphaGO战胜人类围棋冠军李世石，到2017年升级版的AlphaGO战胜世界排名第一的棋手柯洁，AlphaGO也从Lee版本发展到Master版本再到Zero版本^{[1, 2]}，最终来到基于强化学习的Alpha Zero，人工智能得到越来越多的关注。计算机视觉，利用计算机强大的计算能力去感知世界，并作为人工智能的一个重要分支，在整个人工智能发展史上有着重要作用。随着深度学习时代的来临，计算机得以在视觉相关的任务中取得优于人类的表现，2015年Microsoft Research提出的ResNet夺得ImageNet挑战赛中分类任务冠军并首次超越人类在该任务中的表现^[3]。

计算机视觉技术不断发展，在各项视觉任务中取得优异表现，也使其被应用于多个领域，如医疗、交通等。2018年，加州大学圣地亚哥分校张康教授团队使用基于图像的深度学习工具对疾病等进行诊断，在多个任务中超越人类专家，该项研究成果被刊登在《Celll》杂志封面^[4]；随着无人驾驶、智慧城市等的发展，计算机视觉也被广泛应用于交通领域用于缓解城市道路拥挤、减少交通事故等。

此外，据不完全估计地球总人口将在2050年突破100亿，人口的爆炸式增长必将带来食物需求的增加，环境的破坏会使得全球气候恶劣、温室效应等，同时城市化进程使得耕地面积减少。人类对食物的需求、对饮食质量的要求，与耕地面积、气候环境构成了矛盾，人类需要用更少的土地种植出更多更好的农产品以满足人类发展的需求。人工智能技术尤其是计算机视觉技术，结合基因组学、植物表型、农业工程等使得这一矛盾得以解决，大力推进农业向着高质量、高产量的方向不断发展。

二、计算机视觉

计算机视觉，（Computer Vision, CV）是一门研究如何使机器“看”的科学，其以图像（视频）为输入，以对环境的表达（representation）和理解为目标，研究图像信息组织、物体和场景识别等，包括但不限于物体分类、物体检测、物体分割、物体追踪、三维重建等。

2.1 视觉任务

图1 计算机视觉经典任务（来源：斯坦福cs231n）

物体分类（Object Classification）任务要求回答图像中是否包含某种物体，如一张图像中的动物是猫还是狗。物体检测（Object Detection）任务不仅需要识别出图像中所含物体的种类，而且需要指出该物体所处的位置并且使用边框（Bounding Box）标出。物体分割（Object Segmentation）任务在尺度上更细，往往在像素尺度进行分类，将不同的物体分割。

图2 物体分割

计算机视觉中，一个场景的二维表示往往会丢失物体的某些信息，而三维表示能够更全面地描述一个场景或者物体，所以有一些研究者将目光聚焦在同时定位与地图创建（Simultaneous Localization and Mapping, SLAM）、三维重建（3D Reconstruction）等。

2.2 研究方法

在前深度学习时代，各类视觉任务主要依赖人工选取的特征和分类器，如传统的机器学习算法——决策树（Decision Tree）、随机森林（Random Forest）、支持向量机（Support Vector Machine, SVM）等。但是这类方法通常需要人工设计或者选择特征，如何让计算机具有表示学习的能力成为关键。

前深度学习时代的机器学习算法主要依赖于人工设计的特征，学习算法在该特征基础上对权重等进行数值优化。而深度学习具有表示学习的能力，无需人工设计的特征进行学习。2012年，Hinton等使用AlexNet在ImageNet大规模视觉识别挑战赛分类任务中获得冠军，并大幅降低top-5错误率^[5]。2015年Microsoft Research提出的ResNet夺得ImageNet大规模视觉识别挑战赛分类任务冠军并首次超越人类在该任务中的表现^[3]。

图3 ResNet^[3]

在物体检测任务中，基本思路是使用不同大小的窗口在图像上滑动，在每个区域，对窗口内的区域进行目标定位。RCNN从输入图像中选择候选区域，对于每个候选区域使用卷积神经网络计算特征，基于该特征使用支持向量机进行训练并将输出结果进行回归得到最终的检测结果^[6]。Fast R-CNN中不同候选区域的卷积特征提取部分共享，基于候选区域生成算法的结果在卷积特征上进行采样，最终对每个候选区域进行目标定位^[7]。Faster R-CNN利用候选区域网络从conv5特征中产生候选区域，并且将候选区域网络集成到整个网络中端到端训练，将检测速度进一步提升^[8]。在物体分割任务中主要使用的网络结构为Mask R-CNN，其在Fast R-CNN输出的基础上增加掩膜的输出，实现对物体的分割^[9]。

图4 R-CNN^[6]

2.3 主要数据集

2.3.1 ImageNet

该数据集来自斯坦福计算机视觉实验室，训练集包含128万张图像，测试集包含10万张图像，涉及的物体种类超过1000类^[10]。

图5 ImageNet

2.3.2 PASCAL VOC

PASCAL Visual Object Classes数据集包含20个类别，主要用于物体检测任务，通常使用VOC07和VOC12的训练集并集作为训练，用VOC07的测试集作为测试^[11]。

2.3.3 COCO

微软的Common Objects in Context数据集用于物体检测、物体分割等任务，提供图像和对图像的语义文本描述信息^[12]。

三、计算机视觉在农业领域中的应用

在前深度学习时代，人工设计的特征和浅层分类器被广泛应用于各个领域。

Bakhshipour A等人将彩色RGB图像转换为二值图像，分别通过检测边缘抽取傅里叶描述子、计算时不变特征和外形因素等，以均方误差为评价指标，使用支持向量机和人工神经网络进行训练^[13]。

Guo W等人将物体分割物体问题变为分类问题^[14]，通过一系列假设将图像中的不同像素进行标注——将像素分为植物和背景，并基于该标注数据提取不同颜色空间的特征训练决策树模型。为了保证结果的鲁棒性，作者使用5张不同情况下的图像，包括晴天、阴影、光反射、雨天等，从图像中选取135000个像素进行训练，经过消除噪声等步骤后生成的掩膜能够较好地对图像进行分割，结果如图6所示。

图6 实验过程及分割结果(d)^[14]

在深度学习时代，卷积神经网络被广泛用于物体分类等领域，经典的网络结构包含卷积层、池化层、随机失活层、非线性激活函数等。Khan Z等人提出了一种使用RGB彩色图像进行基于模型的植被指数估计的新方法^[15]，在保留卷积层、池化层等卷积神经网络常规结构的基础上通过更换新的损失函数，实现对植被指数的估计。整个实验以RGB图像作为输入，输出结果为对应的植被指数，进而获取RGB图像所对应区域的作物健康状况、水分含量、营养含量等信息，具体结构如图7所示。

图7 深度神经网络结构^[15]

植物表型指受基因和环境因素决定或影响并反映植物结构等的特征，通常能够很好地反应基因、环境对植物的影响。通过分析表型等，能够很好地指导农学专家将数据与已知遗传数据对比，将基因型和表型进行关联分析，达到高级遗传育种的目的。

传统的检测设备体积过大或者过于复杂，农学专家操作复杂的检测设备较为困难，考虑到移动便携设备如智能手机在计算、摄像等方面具有很高的性能，Aquino A等人开发了一个基于安卓智能手机的应用程序vitisBerry用于估计葡萄粒数^[16]。该应用程序通过手机自带摄像头获取葡萄图像，并对该图像进行处理和分析以估计葡萄粒数。

图8 vitisBerry^[16]

Baweja H S等人提出StalkNet，该方法利用深度学习方法获得植物秸秆数及茎宽^[17]。StalkNet使用Faster RCNN进行物体检测并对检测结果进行计数，该计数结果即为该植物的秸秆数。StalkNet以物体检测结果作为全连接网络的输入，输出为植物秸秆的像素宽度，通过立体视觉匹配将像素宽度转换成植物秸秆的实际茎宽。

图9 StalkNet^[17]

上述的研究主要集中在二维图像，而三维物体的二维表示通常会丢失掉某些重要信息，三维表示能够更好反映物体在真实空间中的位置以及表型信息，下面介绍三维重建在农业领域中的应用。

Nguyen T T等人构建了基于结构光的植物三维重建系统^[18]，如图10所示。该系统包括若干双目相机、结构光装置、可旋转平台等。该系统使用相机阵列获取图像，使用GPU完成匹配，生成点云并对植物进行三维重建。

图10 基于结构光的植物三维重建系统^[18]

HuY等人使用Kinect相机获取叶类植物的图像，将获取的图像转换为点云信息，利用该信息生成被测量植物的三维模型，通过该三维模型能够获取该植物的相对高度、绝对高度、体积、叶片面积等信息，实现对植物生长参数的无损测量^[19]。

图11 点云处理和植物生长参数测量^[19]

四、未来与挑战

计算机视觉技术仍在快速发展，也越来越多地被运用在农业领域，但是还存在着一些挑战。

4.1 农业领域大规模数据集

目前，农业领域没有大规模的公共数据集，一些研究成果通常依赖研究人员自身收集的数据，在评价指标相同的情况下，研究结果不具有可比性。基于大规模公共数据集，不同的研究人员能够很好地比较其提出的方法和前人方法的优劣。同时，大规模数据集也使得基于深度学习的方法能取得更好的性能。

4.2 最新方法的应用

在前深度学习时代，计算机视觉技术往往是指基于图像处理的传统方法，在深度学习时代，越来越多的研究工作使用深度学习方法。与此同时，随着计算机科学的发展，越来越多的结构和方法层出不穷，注意力机制（Attention Mechanism）^[20]和生成式对抗网络（Generative Adversarial Networks，GAN）^[21]的出现使得深度学习领域进一步发展。

将state-of-the-art的方法运用到农业领域也成为未来的一个可能，注意力机制模仿人看图像时，目光的焦点在不同的物体上移动，当神经网络对图像进行识别时，每次集中于部分特征上，识别结果更加准确；GAN通过对抗过程估计生成模型的新框架，判别模型和生成模型相互对抗，被用于图像生成或者数据增强，使得农业大规模数据集成为可能。

4.3 复杂情况下的鲁棒表现

不同于理想的实验室环境，实际的农业场景通常很复杂，不同的光照条件带来的阴影、亮度过亮等问题，混乱的背景等带来图像中的遮挡，不同的天气条件以及研究对象在不同生长时期具有不同的形态等，上述问题都给相关研究带来了巨大挑战。

此外，农业是我国的第一产业，其发展与大众的衣食密不可分，与此同时农业领域的较多问题仍有待解决，希望计算机视觉技术被更广泛更好地运用到农业领域以解决实际问题。

参考文献:

[1] Silver D, Huang A, Maddison C J, etal. Mastering the game of Go with deep neural networks and tree search[J].Nature, 2016, 529(7587):484-489.

[2] Silver D, Schrittwieser J, Simonyan K,et al. Mastering the game of Go without human knowledge[J]. Nature, 2017,550(7676):354-359.

[3] He K, Zhang X, Ren S, et al. DeepResidual Learning for Image Recognition[J]. 2015:770-778.

[4] Kermany D S, Goldbaum M, Cai W, et al.Identifying Medical Diagnoses and Treatable Diseases by Image-Based DeepLearning[J]. Cell, 2018, 172(5):1122–1131.e9.

[5] Krizhevsky A, Sutskever I, Hinton G E.ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. CurranAssociates Inc. 2012:1097-1105.

[6] Girshick R, Donahue J, Darrell T, etal. Rich Feature Hierarchies for Accurate Object Detection and SemanticSegmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society, 2014:580-587.

[7] Girshick R. Fast R-CNN[J]. ComputerScience, 2015.

[8] Ren S, Girshick R, Girshick R, et al.Faster R-CNN: Towards Real-Time Object Detection with Region ProposalNetworks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017, 39(6):1137-1149.

[9] He K, Gkioxari G, Dollar P, et al.Mask R-CNN[C]// IEEE International Conference on Computer Vision. IEEE,2017:2980-2988.

[10] Deng J, Dong W, Socher R, et al.ImageNet: A large-scale hierarchical image database[C]// Computer Vision andPattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009:248-255.

[11] Everingham M, Gool L, Williams C K,et al. The Pascal Visual Object Classes (VOC) Challenge[J]. InternationalJournal of Computer Vision, 2010, 88(2):303-338.

[12] Lin T Y, Maire M, Belongie S, et al.Microsoft COCO: Common Objects in Context[J]. 2014, 8693:740-755.

[13] Bakhshipour A, Jafari A. Evaluationof support vector machine and artificial neural networks in weed detectionusing shape features[J]. Computers & Electronics in Agriculture, 2018,145:153-160.

[14] Guo W, Rage U K, Ninomiya S.Illumination invariant segmentation of vegetation for time series wheat imagesbased on decision tree model[J]. Computers & Electronics in Agriculture,2013, 96(6):58-66.

[15] Khan Z, Rahimieichi V, Haefele S, etal. Estimation of vegetation indices for high-throughput phenotyping of wheatusing aerial imaging[J]. Plant Methods, 2018, 14(1):20.

[16] Aquino A, Barrio I, Diago M P, et al.vitisBerry: An Android-smartphone application to early evaluate the number ofgrapevine berries by means of image analysis[J]. Computers & Electronics inAgriculture, 2018, 148:19-28.

[17] Baweja H S, Parhar T, Mirbod O, etal. StalkNet: A Deep Learning Pipeline for High-Throughput Measurement of PlantStalk Count and Stalk Width[M]// Field and Service Robotics. 2018.

[18] Nguyen T T, Slaughter D C, Max N, etal. Structured Light-Based 3D Reconstruction System for Plants.[J]. Sensors,2015, 15(8):18587-612.

[19] Hu Y, Wang L, Xiang L, et al.Automatic Non-Destructive Growth Measurement of Leafy Vegetables Based onKinect[J]. Sensors, 2018, 18(3):806.

[20] Xiao T, Xu Y, Yang K, et al. Theapplication of two-level attention models in deep convolutional neural networkfor fine-grained image classification[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. 2015: 842-850.

[21] Goodfellow I J, Pouget-Abadie J,Mirza M, et al. Generative Adversarial Networks[J]. Advances in NeuralInformation Processing Systems, 2014, 3:2672-2680.

计算机视觉在农业领域中的应用相关推荐

人工智能在计算机视觉方面的应用3000字,人工智能在计算机视觉及网络领域中的应用...
马俊摘要:本文结合计算机视觉和网络领域,分析人工智能的应用,推动人工智能技术的发展. [关键词]人工智能计算机视觉網络领域应用信息化时代背景下,人工智能技术也随之发展,在社会生活不是领域得到推广和 ...
简述计算机视觉在各领域中的成功应用,计算机视觉技术在茶叶领域中的应用现状及展望...
[1] 徐金玉. 展望中国茶业新形势[N]. 人民政协报, 2017-02-24(11). [2] 梅宇. 2016年中国茶业经济形势简报[J]. 茶世界, 2017(2): 14-18. [3] 潘 ...
无线土壤水分传感器湿度传感器在农业领域中的应用
无线土壤水分传感器是使用物联网进行土壤水分传输的传感器,基于智能传感.无线通信.智能处理与智能控制等物联网技术的开发,利用智能传感技术,通过传感器,实时在线测量土壤温湿度,并使用物联网进行传输.本传感 ...
计算机视觉及模式识别技术在农业领域的应用
计算机视觉及模式识别技术在农业领域的应用高华.周林 (山东农业大学信息技术与工程学院山东泰安 201018) 摘要:计算机视觉技术在农业各个领域的应用研究得到了广泛开展,并随着相关技术的不断 ...
农业信息化是在农业什么领域的应用计算机,计算机信息技术在农业领域的应用...
摘要:农业是我国经济的重要支柱产业,农业的发展速度与农业整体水平的提高,对我国经济发展尤为重要.伴随经济快速发展,科学技术广泛应用于各行业,农业产业也不例外,尤其是计算机信息技术对于农业发展具有较大的 ...
计算机视觉及其工业中的应用,计算机视觉技术在工业领域中的应用
卢箭孙通刘立峻摘要:在科学技术的推动下出现了计算机视觉技术,技术在不断发展中趋于成熟,被有效应用在工业领域中,并且取得了显著成效.发挥出对计算机视觉技术的优势,加强和工业领域的融合,有助于促进 ...
[论文总结] 深度学习在农业领域应用论文笔记
文章目录 1. 深度学习 1.1 图像分类 1. A Neural Network Method for Classification of Sunlit and Shaded Components ...
计算机视觉技术在零件识别中的应用,计算机视觉技术在自动化中的应用探析
江浩摘要:科技发展,计算机新技术兴起,不断地在更新功能与配件,以此为人们的工作和生活带来了诸多便利.近两年来,人们开始在原先技术上进行创新,力求探索人工智能系统.这种高端系统的建成离不开计算机视 ...
手把手教学构建农业知识图谱：农业领域的信息检索+智能问答，命名实体识别，关系抽取，实体关系查询
项目设计集合(人工智能方向):助力新人快速实战掌握技能.自主完成项目设计升级,提升自身的硬实力(不仅限NLP.知识图谱.计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户 ...

计算机视觉在农业领域中的应用

计算机视觉在农业领域中的应用相关推荐

最新文章

热门文章