python123空气质量提醒_Python制作提取指定站点的空气质量数据监控脚本

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于Python干货铺子，作者INUYASHA123

前言

对于我们下载的多数数据集，我们可能需要提取其中指定的来使用，比如这个空气质量数据集，全国那么多站点，我只想要我研究的区域的站点数据，然而，当我打开文件夹的时候，失望了，因为这些数据都是一个一个的csv文件。有一个方法就是excel可以用脚本把这些单独的csv合并为一个csv，但可能伴随的问题就是数据超出excel的存储上限，so，我们换一种做法提取指定站点的数据。

这次实验用到的数据是全国2014-2020年的站点空气质量数据，每小时的分辨率的，截图看看长什么样子：

要是一个一个的打开去提取自己需要的，那会疯掉的，So,上神器--Python来完成这次实验操作

targets就是你指定的想提取的站点，想提取谁就指定谁，就输入谁的站点代号就可以啦

整体代码如下：

import os

import pandas as pd

# 定义相关参数

dataPath = './data' # 数据目录

targets = ['1001A','1002A','1003A','1004A','1005A','1006A','1007A','1008A'] # 目标站点

result = [[] for i in range(len(targets))] # 用于保存结果

# 开始遍历

for filepath in os.listdir(dataPath): # 遍历每个文件夹

for filename in os.listdir('%s/%s'%(dataPath,filepath)):

if not filename.endswith('.csv'): # 去重非csv数据文件

continue

data = pd.read_csv('%s/%s/%s'%(dataPath,filepath,filename))

for i in range(0,len(data),15):

for k in range(len(targets)):

try:

item = {'date':data['date'][i], # 日期

'hour':data['hour'][i]} # 小时

for j in range(i,i+15):

item[data['type'][j]] = data[targets[k]][j]

result[k].append(item)

except:

pass

print('%s处理完毕'%filename)

# 保存结果

for i in range(len(targets)):

pd.DataFrame(result[i]).to_csv('%s.csv'%targets[i],index=False)

Run，启动就可以运行，结果输入是这几个站点的csv数据，里面包含了所记录的时间范围的所有要素(比如PM10之类的)的数据

python123空气质量提醒_Python制作提取指定站点的空气质量数据监控脚本相关推荐

python写空气质量提醒_Python数据可视化：2018年空气质量分析
就在本周,我碰巧看到一个学生抱怨天津的空气,我不禁思考的日子他是如此善良的和完善的.没有真相,就无图下面的图片证据.左边的图片是去年2月份.这样的空气真是少见!右边的是Tucao和我第一次买一个口罩! ...
从勘界图批量提取宗地红线到shapefile工具，从CAD图中批量提取指定类型图形到shp数据实现方法。
在实际工作中可能会遇到需要从勘界图dwg中提红线的工作,当面对成百上千的勘界图时,人工逐一提取将非常繁琐耗时.下面介绍一个利用FME从勘界图批量提取宗地红线的方法. 关注薇信工众号:"GIS ...
python mysql批量更新_Python批量删除mysql中千万级大量数据的脚本分享
场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
python处理千万级数据_Python批量删除mysql中千万级大量数据的脚本分享
场景描述线上Mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只 ...
python123空气质量提醒_空气质量接口调用示例
#!/usr/bin/python # -*- coding: utf-8 -*- import json, urllib from urllib import urlencode #-------- ...
python实现空气质量提醒程序_基于Python实现空气质量指数可视化
前面我们已经爬取了全国城市空气质量数据( 基于Python实现城市空气质量爬取 ),基于之前我们爬取的数据,本文将使用Python将空气质量最好的前20个城市以柱状图的形式展示出来,点击对应的柱状图能 ...
python处理分组_Python在groupby分组后提取指定位置记录方法
在进行数据分析.数据建模时,我们首先要做的就是对数据进行处理,提取我们需要的信息.下面为大家介绍一些groupby的用法,以便能够更加方便地进行数据处理. 我们往往在使用groupby进行信息提取时, ...
python爬取某城市各监测站点历史空气质量数据
python爬取某城市各监测站点历史空气质量数据引言正文一.安装Web driver 二.安装selenium 三.数据爬取引言由于要使用某地各监测站点的空气质量数据做数据预测,因此需要去网 ...
python做疫情数据分析的框架_Python制作新冠疫情世界地图
目录 pyecharts模块简介 Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可.而 Python 是一门富有表达力的语言,很适合用于数据处 ...

python123空气质量提醒_Python制作提取指定站点的空气质量数据监控脚本

python123空气质量提醒_Python制作提取指定站点的空气质量数据监控脚本相关推荐

最新文章

热门文章