随着全国脱贫攻坚战的全面胜利, “三农”工作重心已转移到全面推进乡村振兴上来。2021年作为巩固脱贫攻坚成果同乡村振兴有效衔接的第一年,自治区有关部门正在积极谋划与开展乡村振兴战略相关工作。然而,在实施乡村振兴战略、提升农业数字经济化的同时,乡村农业生产环境仍存在着一些问题,例如:农作物病虫害的分类和识别采用离线诊断方式时效性较低的问题;数据驱动的农业种植模式未能广泛应用和推广导致产量与市场需求脱节等问题。本赛道将聚焦农民生产中存在的问题,通过本次比赛得出的优秀成果,为乡村振兴提供参考对策。

第一部分:数据预处理方法:

1.数据集加载,结果显示:

经过对赛题的研读、探讨和各因素对南瓜价格相关性的讨论,决定将2016-2017年数据集里各县市的南瓜数据集合成一个数据集,选取数据集中相关性强的包装、品种、产地、温度、降水量以及平均价格保留作为南瓜价格相关性研究的训练数据集,以支持模型的搭建和训练。为神经网络处理方便,数据预处理采用独热编码(One-Hot Encoding)处理,把数据特征编码化。经过独热编码后,就变成了二元特征;并且,这些特征互斥,每次只有一个激活。因此,数据会变成稀疏的,解决了分类器不好处理属性数据的问题;在一定程度上起到扩充特征的作用。

预处理数据集(局部)

数据集标签

产地与价格相关性散点图

包装方式与价格相关性散点图

品种与价格相关性散点图

温度与价格相关性散点图

降水量与价格相关性散点图

由图知,各因素对于价格的影响都较大,因此在训练预测模型BP神经网络时都会把以上的因素囊括在其中作为因素分子构建输入矩阵。

  1. 相关矩阵观察,结果显示:

   热力图的对角线是本身,相关性为1;从图中可知因素对价格的影响相关性强弱。

各因素与价格相关性的热力图

  1. 缺失数据、离群值观察:

我们删除了原数据集中相关性较差以及数据大量缺失数据;把缺失部分数据的数据行也做了删除处理,因为这些缺失数据较少,对整体的训练结果没有多大影响。离群值数据与实际正常的市场相背离,所以剔除处理。

第二部分:模型构建与分析:

  1. 模型概念:根据赛题要求,我们选用BP神经网络。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络模型之一。BP算法的基本思想是梯度下降法,利用梯度搜索技术,以期使网络的实际输出值和期望输出值的误差均方差为最小。BP神经网络学习过程由信号的正向传播和误差的反向传播俩个过程组成,输入从输入层输入,经隐层处理以后,传向输出层。如果输出层的实际输出和期望输出不符合,就进入误差的反向传播阶段。误差反向传播是将输出误差以某种形式通过隐层向输入层反向传播,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,这个误差信号就作为修正个单元权值的依据。

该神经网络具有很强的非线性映射能力和柔性多变的网络结构;具有自学习和自适应能力:具有将学习成果应用与新知识的能力;具有一定的容错能力。基于这些优点使得BP神经网络非常适合非线性化的回归问题;对于本题具有很多影响因素、数据集数据较多的非线性化问题,使用BP神经网络贴合题目要求。

  1. 模型结构:BP网络是在输入层与输出层之间增加若干层神经元,这些神经元称为隐单元,每层神经元可以有若干个节点,神经元与外界没有直接的联系,但其状态的改变影响着输入与输出的关系。

 BP神经网络结构图

  1. 模型特点:

    BP神经网络在理论、性能上都已是较成熟的。其突出的优缺点如下:

优点:

1.具有很强的非线性映射能力和柔性多变的网络结构。可以以任意精度逼近任何非线性连续函数;这一特性适合于求解内部机制复杂的问题。

2.具有自学习和自适应能力:BP神经网络在训练过程中能够通过学习自动提取输入、输出数据间的“隐藏规律”,并自适应的将学习内容记忆到网络的权值中,提高训练的精度。

3.具有将学习成果应用与新知识的能力;即在设计模式分类器时,既要考虑网络在保证对所需分类对象进行正确的分类,还要关心网络在经过训练后,能否对未见的模式或有噪声污染的模式,进行正确的分类。

4.具有一定的容错能力;在BP神经网络中局部或是部分神经元收到破坏后对全局的训练结果不会造成很大的影响,也就是BP神经网络在收到局部损伤时还是可以正常工作,得出训练结果。

缺点:

1.具有局部极小化的问题;在数学的角度上,传统的BP神经网络会陷入局部极值,从而导致网络训练失败。

2.具有收敛速度慢的问题;由于BP神经网络算法本质上为梯度下降法,它所要优化的目标函数是非常复杂的,使得收敛速度较慢。

3.网络结构选择不一的问题;BP神经网络结构的选择至今尚无一种统一而完整的理论指导,一般只能由经验选定。

4.预测能力和训练能力的矛盾问题:BP神经网络有一个训练预测极限,当达到此极限时,随着训练能力的提高,预测能力反而会下降,也即出现所谓“过拟合”现象。

第三部分:数据结果分析:

  1. 输出结果,显示准确率曲线图和预测结果:

测试集价格预测曲线

验证集价格预测曲线

训练误差曲线

  1. 分析数据结果:

根据BP神经网络模型训练及预测结果可以看出,预测模型在训练次数达到1200次后预测误差可以降到15.2左右,预测结果误差较大,但是预测模型的预测结果稳定,后期再经过优化和训练可以进一步降低预测误差,形成一个更好的BP神经网络预测模型。

第四部分:作品价值与创新性:

1.作品价值:通过大数据技术、BP神经网络的帮助下,训练好的预测模型可以在一定时间内预测未来南瓜的价格,为农民买卖南瓜提供参考;我们还做了通用泛化的设计,可以在此模型的基础上继续训练学习或者改造,使得模型可以运用到实际的应用中,或者是进行其他实际问题的预测,有一定的泛用性。我们验证了BP神经网络在预测南瓜价格与其他因素的相关性时,发现BP网络存在一些局限性。BP神经网络需要大量的基础数据支持才能使得预测结果相对准确。训练期间还需要注意不能让BP神经网络出现“过拟合”现象。

2.创新性:

(1)数据预处理采用独热编码。其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。经过独热编码后,就变成了二元特征;并且,这些特征互斥,每次只有一个激活。因此,数据会变成稀疏的,解决了分类器不好处理属性数据的问题;在一定程度上起到扩充特征的作用。

(2)该模型采用的是BP神经网络。该神经网络具有很强的非线性映射能力和柔性多变的网络结构;具有自学习和自适应能力:具有将学习成果应用与新知识的能力;具有一定的容错能力。基于这些优点使得BP神经网络非常适合非线性化的回归问题;虽然复杂的BP神经网络收敛速度会比较慢,但是得益于灵活的网络结构,在遇到线性比较好的问题,只需要较少的隐藏层和神经元就可以做到很好的训练结果,大大节约了训练时间,提高效率。对于本题具有很多影响因素、数据集数据较多的非线性化问题,使用BP神经网络贴合题目要求。

BP神经网络南瓜价格相关性研究与价格预测模型设计相关推荐

  1. matlab流量预测模型,基于MATLAB工具箱的BP神经网络年径流量预测模型研究——以塔城地区乌拉斯台河为例...

    水 文 JOURNAL OF CHINA HYDROLOGY 第28卷第1期 2008年2月 Vol.28 No.1 Feb., 2008 塔城地区位于新疆维吾尔自治区西北边陲, 地处中纬, 虽属内陆 ...

  2. 【故障诊断分析】基于matlab BP神经网络三相逆变器故障诊断研究【含Matlab源码 1736期】

    一.BP神经网络三相逆变器故障诊断简介 针对三相桥式逆变电路为研究对象,建立了仿真模型,并对逆变器主电路开关器件的开路故障进行仿 真,提出了基于BP神经网络的故障诊断方法,确定了网络的结构和参数,并以 ...

  3. Matlab神经网络语音增强,基于BP神经网络的语音增强研究

    曰髯? 分类号: 论文编号:2丛坦丝旦生丛 密级:公开 贵州大学 2009届硕士研究生学位论文 基于即神经网络的语音增强研究 学科专业:电路与系统 研究方向:模式识别 导师:刘宇红教授 研究生:周元芬 ...

  4. MATLAB:未来搜索算法(FSA)优化BP神经网络权值、阈值用于降水预测

    **算法简介:**未来搜索算法(Future search algorithm,FSA)是M. Elsisi于2018年通过模仿人类向往美好生活而提出的一种新颖搜索算法.该算法通过建立数学模型模拟人与 ...

  5. bp神经网络预测模型python,r语言bp神经网络预测

    如何建立bp神经网络预测 模型 . 建立BP神经网络预测模型,可按下列步骤进行:1.提供原始数据2.训练数据预测数据提取及归一化3.BP网络训练4.BP网络预测5.结果分析现用一个实际的例子,来预测2 ...

  6. bp神经网络预测模型_基于BP神经网络模型的河南省严重精神障碍患者服药依从性影响因素分析...

    发表文章 文章发表背景1 严重精神障碍主要包括精神分裂症.分裂情感性障碍.偏执性精神病等6种疾病,目前此类患者的主要治疗方法是社区抗精神病药维持治疗,虽然各类抗精神病药不断问世,但是患者服药依从性情况 ...

  7. 基于遗传算法的BP神经网络齿轮箱故障诊断实例

    一.BP神经网络概述 BP网络是一类多层的前馈神经网络.它的名字源于在网络训练的过程中,调整网络的权值的算法是误差的反向传播的学习算法,即为BP学习算法.BP算法是 Rumelhart等人在1986年 ...

  8. 【论文研读】基于BP 神经网络的 Q235 钢力学性能预测模型

    基于BP 神经网络的 Q235 钢力学性能预测模型 刘志伟1, 2 , 马劲红1, 2 , 陈伟1 , 王文正1 1.华北理工大学 冶金与能源学院, 河北 唐山 063210; 2.现代冶金技术教育部 ...

  9. 计算机网络安全评估的过程,基于BP 神经网络的计算机网络安全评估

    摘要:随着我国经济的快步提升,各个行业都以前所未有的速度高速发展,当然也包括计算机行业.与此同时,计算机网络的安全问题也日益严峻,计算机网络安全评估也成为了网络研究中重要的课题之一.为了是的对计算机网 ...

最新文章

  1. “Hey Siri” 背后的黑科技大揭秘!
  2. 从CSDN泄密看数据安全
  3. python要学多久-python需要学多久?自学两年也很难达到企业标准!
  4. guava中的Splitter
  5. 【论文笔记】CNN for NLP
  6. 从 linux内核来看进程与线程的异同
  7. 好男人是这样爱老婆的
  8. java8: hashmap性能提升
  9. 数据结构算法实践-Python——序章
  10. Python 地图篇 - 使用pyecharts绘制世界地图、中国地图、省级地图、市级地图实例详解
  11. 集团企业智慧建造管理平台劳务管理系统
  12. django orm级联_django系列5.3--ORM数据库的多表操作
  13. 建行u盾弹不出来_建设银行网银盾检测不到怎么解决
  14. 清远市高中计算机考试时间,2017年清远市中考体育考试安排
  15. 三峡学院计算机调剂,2018年重庆三峡学院考研预调剂公告
  16. 树与二叉树基本概念与性质
  17. 调用微信红包接口返回(转)
  18. vmware安装ubuntu Intel VT-x 处于禁用状态
  19. CSS line-height属性
  20. Matlab 中 rank() 函数的用法—求矩阵的秩

热门文章

  1. ai作文批改_AI批改作文到底靠不靠谱
  2. java反编译教程_Java反编译工具 - JD-GUI 下载地址及使用手册
  3. 将QIIME2学习进行到底
  4. 4.9-11 ebook 小问题,自摘记,书城首页开发完毕。
  5. 几种免费的界面库及其用法(转)
  6. 计算机网flags,计算机网络原理实验_使用网络协议分析仪Wireshark
  7. win10 重装之路
  8. 刚工作不知道B端、C端什么意思?
  9. 21. A1088 Rational Arithmetic
  10. Proteus ISIS入门