王文生1,2,郭雷风1,2

1. 中国农业科学院农业信息研究所,北京 100081;2. 农业部智能化农业预警技术重点开放实验室,北京 100081

摘要:农业大数据中心是发展农业大数据的前提和基础,我国应积极推动农业大数据中心建设。为此,从我国现代农业发展的角度,分析了国家农业大数据中心建设的战略需求,介绍了建设农业大数据中心的数据基础,提出了农业大数据中心建设的主要内容,对农业大数据中心的应用前景进行了展望,为我国农业大数据的发展提供了参考和依据。

关键词:农业大数据;大数据中心;战略需求;应用前景

中图分类号:TP399    文献标识码:A

doi: 10.11959/j.issn.2096-0271. 2016003

Envisagement of the construction of national agricultural big data center

WANG Wensheng1,2, GUO Leifeng1,2

1. Agricultural Information Institute of Chinese Academy of Agricultural Sciences, Beijing 100081, China

2. Key Laboratory of Digital Agricultural Early-Warning Technology, Beijing 100081, China

Abstract: Agricultural big data center (ABDC) is the premise and basis for developing agricultural big data, China should actively push for the construction of ABDC. The strategic demands for ABDC were analyzed from the view of the development of modern agriculture and the data basis of ABDC building was also introduced. At last, the main components of ABDC were proposed and the application prospect of ABDC was discussed.

Key words: agricultural big data, big data center, strategic demand, application prospect


1  引言

在云计算、物联网、移动互联网等技术变革的推动下,我国已经开始进入“大数据”时代,IT行业开启了大数据的起航之旅,大数据已在电子商务、市场营销、临床诊断、远程监控、药品研发、金融等领域发挥着重要作用。但是在我国的整个农业行业,大数据的研究和应用还稍显落后。因此,亟需建立农业大数据研究与服务中心,通过国家层面的战略行动,推动和改善农业大数据的收集、存储和分析技术研发,并在农业服务领域开展大数据应用示范,提高应急处置能力和安全防范能力,提升农业农村服务能力和运作效率,推动现代农业发展。

2  我国农业大数据中心建设的战略需求

当前,我国农业正经受资源短缺、开发过度和污染加重的考验,面临国内生产成本攀升与大宗农产品国内价格普遍高于国际市场的“双重挤压”,农村在城乡资源要素加速流动中边缘化,农民在产业弱质和制度歧视的双重压力下增收困难。我国现代农业建设还面临着一些突出问题,主要有以下几方面。

第一,我国农业资源严重不足,农产品需求刚性增长,农产品供给安全压力增大,直接影响国家粮食安全战略。我国耕地面积不断减少,水资源严重短缺,高素质青壮劳动力不断抽离农业,致使农业生产增加面临巨大压力,造成农业资源的极大浪费。我国的人口不断增多,消费结构升级,工业用粮快速增长,农产品需求呈刚性增长,保障我国农产品供给安全的压力持续加大。

第二,我国农业生产中化肥、农药、农膜等农资产品投入严重过度,农业生态环境恶化,对我国农业的可持续发展构成巨大挑战。农业生态安全是国家生态安全的重要组成部分,是实现农业可持续发展的基本前提。近年来,我国耕地、草原的农药、化肥污染以及水域的富营养化问题十分突出,保护和修复生态环境、保障农业可持续发展的要求日益严峻。

第三,我国农业“小生产”和“大市场”矛盾十分突出,农产品市场价格剧烈波动,“菜贱伤农”、“蛋贱伤农”、“谷贱伤农”等现象屡屡出现,不利于形成高效的农业市场流通体系。我国农业生产的主体是2亿分散、弱小的农户,农业生产组织化程度依然很低,交易成本高昂,农业自然灾害频发,给农业生产带来了非常大的不确定性,农产品滞销难卖问题时有发生。另一方面,全球经济一体化快速发展,我国积极部署推动“农业走出去”战略。当前,国际农业市场日趋复杂,农业面临着高风险,国内外农产品价格倒挂现象严重。第四,我国农产品质量安全事故频发,迫切需要突破从“农田到餐桌”的全供应链监测和追溯技术,为农产品生产者、消费者和政府提供服务。农产品质量安全是保障人民群众身心健康和生活质量的前提,是增强农业竞争力的基石,是提升政府公信力的重要方面。近年来,我国农产品质量安全事故频发,不仅影响了农产品食品行业的健康发展,给农民造成了重大经济损失,还严重动摇了我国消费者对食品安全的信心,成为举国关注的重大社会问题。

第五,我国农民无法有效获取生产技术、市场等信息,已成为制约农民增收的关键因素,亟需创新信息服务方法,提高政府公共服务能力,培育新型农民。一方面,农业生产主体缺少有效的信息获取手段,新的信息传播媒体、传播工具在农民中推广应用相对不足,一些互联网平台在农村中的传播也并不广泛;另一方面,农业信息泛滥,农业信息过载等问题比较突出,冗余、虚假、重复信息多,农民难以获取有效信息。

3  我国农业大数据中心建设数据基础

20世纪90年代,我国相继启动了一系列重大的农业信息化项目,农业农村信息化方面的投资逐年增加,形成了较为稳定的农业数据的采集、存储、管理、分析与发布平台,储备了海量的农业数据,为国家农业大数据中心建设提供了必要的数据支撑。

3.1  金农工程项目

金农工程是20世纪90年代提出的,“十一五”期间开始全面实施,由农业部主持,各省参加建设的一个项目。按照一期工程设计,建成一系列农业信息资源数据库,具体介绍如下。

(1)农业生产信息:小麦、玉米、水稻、大豆、棉花、糖料、油料、水果、蔬菜、生猪、牛羊肉、禽肉、牛奶、水产品等17种农产品的生产信息。

(2)畜禽疫情信息:全国畜禽疫情、疫情预报及疫情防控的信息。

(3)农资信息:通过农药、兽药、饲料、农业机械审批信息。

(4)农产品市场信息:主要包括400家全国性和区域性农产品批发市场、334个交易品种的价格信息。

(5)农业科技信息:主要包括农业技术服务系统专家、农业实用技术和推广实例、农业科技成果与科技基础等数据。中国农业科学院全面参加了金农工程建设任务,并承担了其中农业科技信息分中心的建设和维护工作。

3.2  农业科学数据共享中心项目

“十一五”期间,国家科学技术部积极推动“国家科技基础条件平台”建设相关工作,其中,农业科学数据共享中心由中国农业科学院农业信息研究所承担。按照作物科学、动物科学与动物医学、农业科技基础、渔业与水产科学、热带作物科学、草地与草业科学、农业资源与环境科学、农业区划科学、农业微生物科学、农业生物技术与生物安全、食品工程与农业质量标准、农业信息与科技发展十二大主题,分年度收集与农业科技有关的各类数据进行数字化加工与整合,以后逐年对主体数据库进行更新和维护。

3.3  农村信息化示范省项目

农村信息化示范省项目于2010年启动,目前已在山东、湖南、安徽、河南、湖北、广东、重庆等12个省市逐步展开,整合了气象、水文、土壤、农田、农业耕作、农业投入、植物保护、农业灾害、作物品种、作物生长、农业遥感、乡村基础设施、政务公开、行政服务、农村医疗保险、社会养老保险、公共卫生、农村义务教育、土地管理、劳动力就业及农村教育文化资源库建设等各类涉农数据。2013年我国科学技术部委托中国农业科学院农业信息研究所主持国家支撑计划重大科研项目“国家农村信息综合服务平台构建与应用”,目标是配合国家农村信息化示范省建设,集成建设成果,在国家层面上实现省际农村信息服务资源的共享。

3.4  全国农技推广信息化项目

该项目由农业部和科学技术部支持的多个项目组成,从2005年农业部支持中国农业科学院农业信息研究所建设中国农业推广网开始,一直到农业部支持中国农业科学院农业信息研究所主持公益性行业(农业)科研专项“基于信息技术的基层农技推广服务技术集成与示范”。通过对“全国农技推广补助县项目”的信息化管理,目前在全国形成了由24万基层农业技术员组成的农业技术信息采集队伍,采集涵盖作物播种、主导品种、主推技术、作物生长、土壤、农田、植物保护、畜禽疫情、农产品价格、农资价格、农业实用技术、农民培训课件等各种涉农数据。

4  我国农业大数据中心的主要内容

国家农业大数据中心包括农业大数据采集网络、农业大数据存储平台、农业大数据处理平台以及农业大数据综合分析平台。

4.1  农业大数据采集网络

围绕耕地、育种、播种、施肥、植保、收获、储运、农产品加工、销售等农业各环节,依托现有的信息技术,建立交叉、立体、融合的农业大数据采集网络。研究深层网络数据采集关键技术,建立基于涉农主题爬虫技术的网络数据采集系统;建立基于农业物联网技术的农业生产环境数据采集系统,实时采集大田、设施、水域中的农业生产环境数据;建立基于卫星技术的农业遥感数据采集系统,采集农业用地资源、农作物大面积估产与长势监测、农业气象灾害等数据;建立基于移动互联的智能数据采集系统,动态采集农产品市场信息、农情信息、农业突发事件等数据;建立农业科研信息化环境,采集农业科研实验数据、野外调查数据、种质资源数据、基因图谱数据等农业科学数据。

4.2  农业大数据存储平台

以云计算的技术架构和开放的应用体系为支撑,研究适用于农业大数据的按需分配、动态伸缩、负载平衡、配置自动化等需求的海量存储技术,实现海量农业数据的资源统一接入、存储和高效处理,为农业大数据中心的海量数据提供存储服务。在大数据存储方面,构建统一高效的农业大数据管理平台,建立基于分布式技术的海量非结构化数据存储系统,实现图片、文档、视频等数据资源的管理;建立基于分布式云架构的海量结构化数据存储系统,提供数据的高效检索服务;研究数据资源的集成、共享、融合等关键技术,推动农业大数据的开放共享。

4.3  农业大数据处理平台

大数据处理平台主要用于对海量农业数据的处理,根据数据模式的不同,可以分为批量数据处理、实时数据处理、关系型数据处理等。农业大数据处理平台需要建设的主要内容包括:以MapReduce模型为代表的批量数据处理系统,主要用于生物计算、基因测序、农业气候预测、遥感数据处理等离线、批处理大数据集合;以Storm技术为代表的流数据处理系统,特别针对农业领域中实时性较强的市场数据、灾害数据等;以并行处理为基础的并行数据库系统,主要用于处理农业领域的海量关系数据集合。

4.4  农业大数据分析及挖掘平台

农业大数据分析及挖掘平台主要对已有数据挖掘和机器学习算法等进行改进,使其适合农业领域的大数据分析。农业大数据分析及挖掘平台建设主要包括:开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等农业领域大数据融合技术,主要对农产品消费需求、农产品生产管理等进行分析;基于图理论的农业社会网络分析系统,重点挖掘农业元素、主体之间存在的网络关联;研究农业大数据可视化关键技术,支持所有结构化的信息表现方式,包括图形、图表、示意图、地图等,实现农业大数据分析的可视化。

5  国家农业大数据中心应用前景

随着大数据的理论和技术不断发展,大数据技术带领农业信息化的革命大数据时代已势不可挡,对农业领域的各个方面都将产生革命性的影响。顺应技术发展潮流,建设国家农业大数据中心,对于现代农业建设的方方面面都将产生非常深远的影响。

5.1  精准农业决策支持服务

决策分析是精准农业技术体系中的核心环节,往往需要融合农田小区域的作物、土壤、环境空间差异变化数据,进行实时数据处理,为精准作业提供支撑。虽然专家系统、作物模拟模型、作物生产决策支持系统等传统的生产决策技术取得了一些成果,但效果并不理想。利用大数据处理分析技术,集成作物自身生长发育情况以及作物生长环境中的气候、土壤、生物、栽培措施因子等数据,综合考虑经济、环境和可持续发展的目标,突破专家系统、模拟模型在多结构、高密度数据处理方面的不足,为农业生产决策者提供精准、实时、高效、可靠的辅助决策。

5.2  农业生产环境监测与控制

农业生产环境监测与控制系统属于复杂大系统,贯穿农业信息获取、数据传输与网络通信、数据融合与智能决策、专家系统、自动化控制等整个流程,在大田粮食作物生产、设施农业、畜禽水产养殖等方面广泛应用。随着传感器技术的不断发展,农业信息获取的范围越来越广,从农作物生长过程中的营养数据、生理数据、生态数据、根系发育数据以及大气、土壤、水分、温度等农作物生产环境数据,到针对畜禽个体、群体的生长发育、环境和健康数据以及动物个体行为、群体行为、动物监控状况数据等,数据传输精度越来越高,数据传输频率越来越快,数据传输密度越来越大,数据综合程度越来越强。利用大数据技术,能够突破多源数据融合、数据高效实时处理等方面的瓶颈,实现农作物生长过程的动态、可视化分析与管理以及畜禽养殖的个性化、集约化、工厂化管理。

5.3  农业科学大数据处理

农业大数据不仅为农业科研提供了便捷,更增强了农业科研的分析能力,提高准确性和可靠性。大数据从两个方面对农业科研产生深远影响。一方面,就生物信息学领域而言,在科学研究的过程中产生了海量数据,以蛋白模拟参数计算为例,一周数据量约为10GB,若缺少有效的数据处理平台,将很难取得重大农业科学问题的突破,应该充分利用农业大数据技术发展的机会,面向生物信息学的基因计算、基因测序、生物模拟等高性能计算服务,创新农业科研方式,提高我国农业科研创新能力。另一方面,针对其他农业科研活动中的农田试验数据、生化分析数据、网络资源、农业测量数据、远程监控数据、基因图谱数据、野外调查数据等,迫切需要进行集成共享,通过各类科研数据资源的整合,为科研育种、农业试验、模型研究、资源共享提供支撑。

5.4  农业市场数据监测预警

农业市场数据监测预警是指对农业生产、市场运行、消费需求、进出口贸易及供需平衡等情况进行全产业链的信息采集、数据分析、预测预警与信息发布。目前这类数据非常庞大,常规的数据分析根本无法进行监测预警。利用大数据智能分析和挖掘技术,实现农业数据快速采集、数据关联分析预测、预警模型建立、预警多维模拟和可视化等功能,将大幅度提高农业监测预警的准确性。

5.5  农产品物流管理

利用大数据技术,可以提高农产品物流组织化程度。通过实时采集农产品加工、包装、存储、运输、配送等各环节数据,进行实时处理和分析,可以实现农产品物流运输统筹、农产品仓储统筹、农产品物流配送优化等。同时,对与农产品物流相关的大数据进行综合分析,可以解决农产品物流过程数据采集环节多、接入手段复杂、各环节质量安全数据难以融合、监管环节链条发生脱节的问题。

5.6  农业农村综合信息服务

按照“平台上移,服务下延”的思路,集成与整合各分散的信息资源与系统,在全国范围实现信息资源的共享。利用大数据技术,分析复杂多样、动态时变的农业用户信息行为,研究大规模服务及用户动态需求组合的学习和进化机制模型,突破农户需求智能聚焦技术,实现信息服务按需分配以及云环境下大规模部署的智能系统服务与庞大“三农”用户群的多样性、地域性、时变性等个性化需求的快速对接。

6  结束语

大数据已经成为一种重要的国家战略资源,拥有数据才能拥有话语权。我国是农业大国,在农业大数据方面具有非常大的发展潜力。应该尽快推动落实国家农业大数据中心建设,从国家层面综合考虑我国农业大数据发展战略,推动大数据的收集、分析和应用。利用大数据存储、处理、分析技术,对农业大数据进行清洗、集成、融合、挖掘等,发现隐藏其间的数据价值,为农业生产经营提供指导,为农业市场经济提供早期预警,为政府决策提供科学依据,培育新型农业经营主体,推动现代农业建设,保障国家粮食安全。

参考文献:

[1] 王文生, 郭雷风. 农业大数据及其应用展望[J]. 江苏农业科学, 2015, 43(9): 1-5.

WANG W S, GUO L F. Agricultural big data and its application prospects[J]. Jiangsu Agricultural Sciences, 2015, 43(9): 1-5.

[2] 李秀峰, 陈守合, 郭雷风. 大数据时代农业信息服务的技术创新[J]. 中国农业科技导报, 2014, 16(4): 10-15.

LI X F, CHEN S H , GUO L F. Technological innovation of agricultural information service in the age of big data[J]. Journal of Agricultural Science and Technology, 2014, 16(4):10-15.

[3] 孙忠富, 杜克明, 郑飞翔, 等. 大数据在智慧农业中研究与应用展望[J]. 中国农业科技导报, 2013, 15(6): 63-71.

SUN Z F, DU K M, ZHENG F X, et al. Perspectives of research and application of big data on smart agriculture[J]. Journal of Agricultural Science and Technology, 2014, 15(6): 63-71.

[4] 孟祥宝, 谢秋波, 刘海峰, 等. 农业大数据应用体系架构和平台建设[J]. 广东农业科学, 2014(14): 173-178.

MENG X B, XIE Q B, LIU H F, et al. Architecture and platform construction of big data application in agriculture[J]. Guangdong Agricultural Sciences, 2014(14):173-178.

[5] 温孚江. 农业大数据与发展新机遇[J]. 中国农村科技, 2013(10):14.

WEN F J. Agriculture big data and its development opportunities[J]. China Rural Science & Technology, 2013(10):14.

[6] 戴起伟, 曹静, 凡燕, 等. 面向现代设施农业应用的物联网技术模式设计[J]. 江苏农业学报, 2012, 28(5):1173-1180.

DAI Q W, CAO J, FAN Y, et al. Systemic design of internet of things for application in modern facility agriculture[J]. Jiangsu Journal of Agricultural Sciences, 2012, 28(5): 1173-1180.

[7] 何勇, 聂鹏程, 刘飞. 农业物联网与传感仪器研究进展[J]. 农业机械学报, 2013, 44(10): 216-226.

HE Y, NIE P C, LIU F. Advancement and trend of internet of things in agriculture and sensing instrument[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(10): 216-226.

[8] 陈威, 郭书普. 中国农业信息化技术发展现状及存在的问题[J]. 农业工程学报, 2013, 29(22):196-205.

CHEN W, GUO S P. Current situation and existing problems of agricultural informatization in China[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(22):196-205.

王文生(1965-),男,博士,中国农业科学院农业信息研究所副所长、研究员,比尔盖茨基金会与科学技术部项目合作农村信息化领域首席专家,中国科学技术部国家农村信息化专家委员会评审组组长,农业部农业物联网专家委员会专家,九三学社中央农林专业委员会副主任,中国侨联特聘专家,中国农学会计算机应用分会常务副理事长,中国高技术产业化研究会现代农业与航天育种专业委员会副理事长兼秘书长,中国农业技术推广协会高新技术专业委员会副理事长,中国国外农业经济研究会副会长,中国农村专业技术协会常务理事,九三学社中国农业科学院委员会副主委,北京市侨联归国留学人员联合会副主席,北京市海淀区第八、九届政协委员。长期从事农业农村信息化领域研究工作。

郭雷风(1985-),男,中国农业科学院农业信息研究所助理研究员,主要从事农业农村信息化相关研究工作。

【2016年第1期】关于我国农业大数据中心建设的设想相关推荐

  1. 看美国如何实现农业大数据的建设

    罗德尼·席林(RodneySchilling)是美国伊利诺伊州的一个农场主,他和父亲二人经营着1300英亩(约7900亩)田地.他的父亲已经83岁了,地里的活儿全靠席林自己上阵,即便在农忙时节,他也不 ...

  2. 【2016年第4期】基于仿真大数据的效能评估指标体系构建方法

    司光亚,高翔,刘洋,吴琳 国防大学信息作战与指挥训练教研部,北京 100091 摘要:针对武器装备效能评估指标体系中评估指标之间存在的相互依赖与影响关系以及评估过程主观性较强的情况,提出一种基于仿真大 ...

  3. 【2016年第6期】支持植物学大数据整合与公众服务的iFlora云平台建设

    王亚楠,庄会富,王雨华 中国科学院昆明植物研究所,云南  昆明  650201

  4. 【2016年第5期】卫星影像大数据情报分析与应用

    张金芳,胡晓惠,张慧,王瑞,李海昌 中国科学院软件研究所,北京  100190

  5. 【2016年第1期】专题导读:农业大数据

    2015年是国家大数据战略的启动年.中国是农业大国,农业部于12月31日率先发布第一个行业大数据发展规划<关于推进农业农村大数据发展的实施意见>,全面部署农业农村大数据发展工作. 相比互联 ...

  6. 农业大数据建设的需求、模式与单品种全产业链推进路径

    农业大数据建设的需求.模式与单品种全产业链推进路径 崔磊 华中农业大学文法学院,湖北 武汉 430070 摘要:农业大数据建设是打造现代化智慧农业的关键环节.通过案例分析和实证考察,从技术.市场.资本 ...

  7. 【2016年第1期】农业大数据研究生培养模式探索

    牟少敏,温孚江,宋长青 山东农业大学农业大数据研究中心,山东 泰安 271018 摘要:大数据应用尚处于初级阶段,农业大数据又是多学科的交叉融合产物,相应人才的缺乏是其研究和应用的重要瓶颈.简要介绍了 ...

  8. “农业大数据”专题征文通知

    "农业大数据"专题征文通知 全球范围内,运用大数据推动经济发展.完善社会治理.提升政府服务和监管能力正成为趋势.在我国,发展大数据已上升为国家战略,正成为推动经济转型发展的新动力. ...

  9. 作者:温孚江,现任山东农业大学校长、教授,农业大数据创新战略联盟理事长,全国人民代表大会常务委员会委员。...

    温孚江(1955-),男,现任山东农业大学校长.教授,农业大数据创新战略联盟理事长,全国人民代表大会常务委员会委员.早年留学美国,并获博士学位.主要从事植物保护研究和宏观农业研究工作.发表论文210余 ...

  10. 客座编辑:温孚江,男,现任山东农业大学校长、教授,农业大数据创新战略联盟理事长。...

    温孚江(1955-),男,现任山东农业大学校长.教授,农业大数据创新战略联盟理事长,全国人民代表大会常务委员会委员.早年留学美国,并获得博士学位.主要从事植物保护研究和宏观农业研究工作.发表论文210 ...

最新文章

  1. slab 内存分配器介绍(一)
  2. Axure RP使用攻略--入门级(五)系统函数与变量
  3. 快速定位关键爆破点的几种方法
  4. Java程序员的10个XML面试问答
  5. sublime Text 3实用功能和常用快捷键收集
  6. socket和URLConnection
  7. 计算机组成cpu性能公式,2020考研计算机组成原理知识点:计算机性能指标
  8. MATLAB机器人工具箱使用
  9. UVALive 4490 Help Bubu
  10. 微信小程序开发(十五)小程序使用scrollview实现滚动导航栏
  11. 近景摄影测量空间后方交会python
  12. 初学者如何选择适合自己的服务器
  13. CentOS8设置笔记本合盖不休眠
  14. mysql水果表查询_最全MySQL数据库表的查询操作
  15. Get 和 Post 请求
  16. BeanCopier对象复制学习
  17. STM32F4单片机bootloader及在线升级IAP基本原理
  18. 在做算法工程师的道路上,你掌握了什么概念或技术使你感觉自我提升突飞猛进?...
  19. c语言实例 魔术师的猜牌术(1),C语言实例:魔术师的猜牌术(2)
  20. Win2000、NT 环境真正 RPL 无盘 WIN98 安装指南(转)

热门文章

  1. php20行代码写小偷程序,PHP100教你20行代码写小偷程序
  2. java开发入职注意
  3. 程序员面试宝典——第6章
  4. 168个怪兽之声进化游戏生物怪兽音效素材 Evolved Game Creatures – Monster Sounds
  5. soapui生成java客户端_用soapUI生成客户端代码
  6. VISIO 2013软件和安装教程
  7. XILINX FPGA电源设计指南
  8. [GitHub][2014-05-13 06:00:39]JavaDsp
  9. FPGA-Verilog实例----线性反馈移位寄存器(LFSR)
  10. visio2007序列号