北京再次被雾霾笼罩,秸秆焚烧、机动车、工厂...甚至餐厨油烟都成为“背锅侠”。治霾的棘手之处不仅包括难以确定污染源,还有难以进行精确污染监管。种种治霾手段造成的“一刀切”误伤也成了一大槽点。

比如天气预判的不准确会导致企业提前限产,造成经济损失,也损害政府公信力;而区域性大范围的限产、限行等措施,是一刀切式治理方法,让区域内全民为少部分污染源造成的污染后果付出严重代价;在对污染源的处理问题上,对污染源的笼统圈划,会损害到各行各业的利益,打击合法排放企业的生产经营积极性......针对这以上种种弊病,精准治霾是大势所趋,大数据治霾也走进了公众视野。

大数据治霾显神通

雾霾背后,重污染天气的预警预测显得极为重要,准确的预测不仅能让政府及相关部门采取应急措施,缓解雾霾带来的危害,也能让公众提前合理的安排生活。

市场上对空气污染监测大数据系统的开发正在进行,已有环保部门对其采购和使用。空气污染监测大数据系统以空气质量数据、气象条件数据及未来天气预报数据为数据源,其中,空气质量数据是较为丰富的数据集,以某空气质量站点为中心,涵盖方圆300公里范围内所有与空气质量相关的自然和人类活动数据,比如空气质量站点数据、交通流量数据、气象数据、厂矿数据、人口流动数据、路网结构等等,然后采用多元融合方法,将以上不同领域的数据相互叠加,相互补强,从而预测空气质量状况。

大数据预测与传统模拟方法有一定的相似性,都是通过数据来拟合模型,但是数据量的大小不同。

传统的模拟方法只能基于有限的样本数据,由科研人员通过经验、假设找出这些数据间的规律,模拟出简单的模型,预测空气质量。而随着数据增多,单单依靠人工已经无法从海量繁杂的数据中找出规律,所以需要借助机器学习和数据挖掘等工具来发现多源数据中隐含的规律。

随着影响空气质量的因素增多,数据种类日益丰富,大数据在空气质量预测上颇有优势。传统方法要拿到精确的地面污染源数据才能预测,而大数据则可以解决数据缺失的问题。比如对于交通尾气数据难获取的情况,大数据技术可以采用与交通尾气相关的交通流量、排量等相关数据,间接地分析其与空气质量的关系。

另外,传统的重污染天气预测工作需要6小时左右的模拟运算时间,而大数据可以在几秒钟之内快速算出重污染空气质量数据,真正做到快速实时发布,从而应急措施会更加及时有效。

大数据治霾先行者


在现有的空气污染监测大数据系统中,微软和IBM做到了业界翘楚。

微软亚洲研究院团队推出了Urban Air系统,该预测系统负责整合分布于全国的3000个监测站的数据。通过大数据来监测和预报细粒度空气质量,覆盖了中国的300多个城市,并被中国环境保护部采用。同时,微软也已经和部分其他中国政府机构签约,为不同的城市和地区提供所需的服务。

该团队负责人介绍,利用大数据预测雾霾可以做到非常精细化。依靠经典模拟方法预测预警雾霾,只能算出空气质量的均值,而大数据可以对1~6小时的空气质量逐小时进行预测,对7~12小时、12~24小时、24~48小时进行最大值和最小值的预测。

除了在预测精度上有优势外,大数据精细化预测还体现在地域范围上。目前,传统模拟方法预测雾霾只能精细到区一级的范围,比如以北京市为例,可以预测到北京市海淀区、朝阳区的空气质量,而大数据可以精细化到每个空气质量站点,比如可以预测海淀区万柳站点未来48小时的空气质量状况。目前,该团队已经成功用大数据计算出1km×1km细粒度的空气质量状况、尾气排放数据和噪声污染指数。

大数据预测的准确性,由空气质量站点、相关领域的数据、大数据先进的挖掘技术和模型来保证。据了解,现在大数据对京津冀雾霾的预测精度可以达到75%,对成渝等地的预测精度会更高,平均准确率比传统模拟方法高15%~20%。

另一个协助北京政府治理雾霾问题的项目,是IBM的研究中心推出的10年“绿色地平线”计划。

IBM大中华硬件系统部PowerSystems产品总监表示,“IBM已经研发出一套高精度优化系统,该系统通过传感器采集数据,借助高精度预测模型、物联网和认知计算机技术对环境治理给予有力的科技支撑。”

IBM工具能整合北京35个官方多污染物空气质量检测站的传统数据来源,还能整合成本较低但更为广泛的其他来源,如环境监测站、交通系统、气象卫星、地形图、经济数据甚至社交媒体的数据。此外,它与微软都将传统的大气化学物理模型与机器学习类数据统计工具相结合,试图在更短的时间内做出更好的预测,包括借助一种模拟工具,用于估算采取关闭工厂或者汽车限行等干预措施后的空气质量结果和经济后果。

在实时监测与高精度预报的基础上,IBM借助大数据分析能力,还能够对可能影响空气质量的相关因素进行分析预测,判断各项影响因素在不同情况下与空气质量的量化关系,由其研发的“污染过程多维认知案例库”,可以实现针对全国367个特定城市、20多个维度的历史污染过程和天气形势进行全自动化认知分析从而帮助城市管理者进行环保决策。

“绿色地平线”项目负责人说,IBM对3天内的空气质量预测准确度超过80%,对7天到10天的预测准确度约为75%。升级版的“绿色地平线”只用2—3秒时间,就可以为未来15天匹配到历史上最相似的天气及其污染变化趋势,利用国际气候数据分析的积淀,最终形成空气预警和污染防治的决策建议,助力区域性联防联控的有效开展。

除去微软和IBM已和国内政府部门进行合作外,还有其他基于大数据的环保项目也非常值得参考。例如,利用物联网和大数据来进行环保数据分析的美国CitySense系统。

CitySense由美国国家自然科学基金会资助、哈佛大学和BBN公司联合开发,是一个可以报告整个城市事实监测数据的无线传感网络项目。

通过在美国马萨诸塞州剑桥市的路灯上安装传感器,CitySense利用路灯的电力供应系统作为传感器运行时的电力能源,解决了电池寿命对于无线传感网运行的限制,有利于长期环境监测试验。这些传感器组成了一个个的节点,项目组在每个节点上布置有一个内置PC机、一个无限局域网界面,然后利用WiFi无线网络技术,将监测信息回传到监测中心,监测信息包括压力、温度、相对湿度、风速、风向、降雨量、降雨强度、CO2、噪声,之后为用户提供CitySense网站信息查询。

CitySense利用了微软公司提供的VirtualEarth和SensorMap技术,将CitySense网站查询的数据资料覆盖到地图上。此外,CitySense通过把每个节点同相邻的节点相连形成网状,将分散在城市各处的远程节点和位于哈佛大学和BNN的中心服务器连接。在这一网络中利用一个1英里射程的小无线电装置,任何一个节点都可以从远程服务器中心下载软件或上传传感器数据。这样一来,大众可以方便地通过网站,追踪到污染物扩散的情形,长期监测污染源及污染物扩散路径,为专家学者解决空气污染问题提供大量有用的数据。

大数据防霾也难一蹴而就

虽然目前利用大数据治理雾霾已经有所成效,不过未来发展道路依旧困难重重。

困难一,污染源数据不足

大数据的预测是基于对大量的数据进行学习,但我国数据开放进程比较晚,并且很多污染源数据还不完善。如果数据样本量不够,会导致雾霾的拐点很难预测,目前传统经典模型和大数据模型都很难说清楚雾霾何时会消散。

困难二,关联数据之间存在壁垒

如上文所述,利用大数据预测雾霾,需要各领域数据的叠加,要把气象、环保、公安、交通、电力等部门数据有效汇集在一起。像电力公司的数据,气象部门很少对外开放。牵扯到环保压力,有些数据比较敏感,一些企业数据获取难度较大,各部门的数据无法做到共享。

困难三,跨学科专业人才短缺

数据科学家属于极度紧缺人才,既要懂气象、空气动力学,又要懂计算机,熟悉基于人工智能的机器学习、深度学习的技术模式,根据环保业务需求建立模型。这样的人才非常难找。现实的路径是传统的气象分析师和大数据工程师组成团队,针对气象分析的模型和计算机的算法,建设自己的分析模型进行预测。

总之,利用大数据监测、预警雾霾,需要在政府的引导下,全社会共同参与。目前为止,数据的获取还是非常有限的,我们需要政府的数据开放,各单位跨部门合作,要有既懂大数据又懂环境的复合型人才,还要相关法律、法规的支持。

大数据升级治霾手段:拒绝“一刀切”误伤相关推荐

  1. 云计算应用:解密大数据时代的根本手段

    云计算应用:解密大数据时代的根本手段 云计算和大数据作为近年来信息通信产业发展热门的两个领域,蕴藏着巨大的战略价值和产业机遇.在"2018中国云端与大数据高峰论坛"上,工信部信息通 ...

  2. 大数据预测雾霾以及存在的商机

    近段时间,全国范围内尤其是京津冀地区接连陷入雾霾之困,北京更是频频发布空气重污染红色预警,中小学连续停课,机动车单双号限行.雾霾的背后,重污染天气的预警预测工作显得尤为重要,不仅可以让公众提前合理安排 ...

  3. 大数据巧治职业差评师 生存空间锐减九成

    在网上,职业打假人这个身份因互联网独特的空间属性而变得鱼龙混杂,比如职业差评师,从诞生之初就偏离了打假轨道,靠故意抹黑商家.敲诈勒索牟利.但随着大数据介入治理并日趋成熟,这个群体的生存空间相比于两年前 ...

  4. oTMS携手阿里云:互联互通运输管理软件背后的大数据升级

    作者:阿里云MVP潘永刚 oTMS核心oneTMS系统是国内领先的运输管理云系统,将货运环节中的制造商.承运商.司机和收货方链接在同一平台,互联互通轻松管理运输.在2013年系统上线之初,行业内云生态 ...

  5. 7月17日云栖精选夜读:深度 | 两个案例,掌握AI在大数据领域的前沿应用

    近日,全球技术学习技术大会首次在京举行,阿里巴巴数据技术及产品部资深算法专家杨红霞(鸿侠)作为特邀嘉宾出席并发表主题演讲.鸿侠从什么是数据新能源说起,接着介绍了阿里目前比较成功的两款数据产品,一个是是 ...

  6. 优酷背后的大数据秘密

    在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值. 本文内容根据演讲视频以及PPT整理而成. 大家好,我是门德亮,现在在优酷数据中台 ...

  7. 【工业大数据】工业大数据应用场景分析;工业大数据,从何做起

    工业大数据也是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据.随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...

  8. 什么叫大数据 大数据的概念

    1.大数据定义 对于"大数据"(Big data)研究机构Gartner给出了定义,"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力 的 ...

  9. 转载(https://blog.csdn.net/qq_36738482/article/details/72823509)大数据的概念

    1.大数据定义 对于"大数据"(Big data)研究机构Gartner给出了定义,"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力 的 ...

最新文章

  1. 一款比较实用齐全的jQuery 表单验证插件
  2. Oracle工具类-生成数据库现有Job的创建脚本
  3. 云原生体系下 Serverless 弹性探索与实践
  4. 使用commons httpclient请求https协议的webservice
  5. win102004优化_windows 10新版2004和1909该如何选择
  6. c++_string与double/int互转
  7. 怎样利用计算机随机分组,随机分组编制方法哪家强
  8. android webview加载图片不显示,解决android webview中图片不显示问题
  9. java雷霆战机源代码_java spring雷霆战机(小游戏源码)
  10. 中华小子剧情介绍,中华小子在线观看
  11. 华为HCNA综合实验
  12. 必看五大安全趋势 Fortinet全球威胁态势报告发布
  13. 数据库系统-关系模式
  14. 阿里面试官对面试者的忠告
  15. backpackII
  16. FT232RL变砖之后
  17. c++中的ignore和tie
  18. 数据结构精录总结Episode.6 数据结构入门之树(基于Visual C++)
  19. css图形动画,CSS3动画(1):transform实现cube动画
  20. 知识蒸馏论文翻译(8)—— Knowledge Distillation Meets Self-Supervision(自监督)

热门文章

  1. 杀毒软件的查杀病毒的原理以及木马、病毒的免杀伎俩(论杀或者不杀 )
  2. 书评《HTTP权威指南》
  3. 3dmax中如何隐藏骨骼
  4. 基于MSP430G2231实现多路数据采集器
  5. 计算机英语第4版答案解析,《计算机英语(第4版)》课后练习参考答案解析.doc
  6. 浅谈动态内存分配的意义
  7. 在Ubuntu中安装Android投屏软件scrcpy
  8. win10如何显示文件扩展名
  9. 最扎心的社会潜规则,你知道几个
  10. CHATROOM项目整理