Python：善用query,从excel数据中批量提取数据到新文件

最近新到一批气象数据，数据格式为xlsx，每组数据时间间隔为1小时。

STATION_NAME	DATEVAL	PROVINCE	CITY	CNTY	STATION_ID_C	STATION_ID_D	LAT	LON	ALTI	YEAR	MON	DAY	HOUR	TEM	PRE_1H	PRE_24H	WIN_S_AVG_2MI	WIN_S_AVG_10MI	WIN_S_MAX
顺义	2020-12-31 16:00:00+00:00	北京市			54398	54398	40.1333	116.6167	28.6	2021	1	1	0	-8.1	0	0	1.2	1.3	1.5
海淀	2020-12-31 16:00:00+00:00	北京市	市辖区	海淀区	54399	54399	39.9833	116.2833	45.8	2021	2	1	12	-9.8	0	0	0.3	0.3	0.9
延庆	2020-12-31 16:00:00+00:00	北京市	县	延庆县	54406	54406	40.45	115.9667	487.9	2021	3	1	15	-7.1	0	0	2.8	2.8	3.4
密云	2020-12-31 16:00:00+00:00	北京市			54416	54416	40.3833	116.8667	71.8	2021	9	1	23	-12.9	0	0	1.6	1.1	1.5

需要对每小时的数据进行一次插值，因此要将数据按小时提取出来，2022010100，即为1月1日0时的所有站点数据。

对相关工具进行了解后，发现query完美满足需求。

另外由于需要批量处理，query中使用了变量名，这时候需要在query前加上@。

import pandas as pd
import xlwtwb= pd.read_excel(r"F:\test.xlsx")  # pandas方法读取xlsx
print("列名{}".format(wb.columns.values))for m in ['1', '3', '5', '7', '8', '10', '12']:for i in range(1, 32, 1):  # 逐日循环for j in range(24):month = int(m)info = int(i)joy = int(j)var = wb.query("(MON == @month)& (DAY == @info)& (HOUR == @joy)")#[wb.DAY == m & wb.DAY.isin(i) & wb.HOUR.isin(j)]  # 按小时筛选行数据filepath = r'F:\testresult\2022'+ '.'+str(m)+'.'+str(i)+ '.'+str(j)+'.xls'print(filepath)var.to_excel(filepath)
for mo in ['2', '4', '6', '9', '11']:for io in range(1, 31, 1):  # 逐日循环for jo in range(24):montho = int(mo)infoo = int(io)joyo = int(jo)var0 = wb.query("(MON == @motho)& (DAY == @infoo)& (HOUR == @joyo)")#[wb.DAY == m & wb.DAY.isin(i) & wb.HOUR.isin(j)]  # 按小时筛选行数据filepath = r'F:\testresult\2022'+ '.'+str(mo)+'.'+str(io)+ '.'+str(jo)+'.xls'print(filepath)var0.to_excel(filepath)

最后需要对2月的数据进行处理，删除掉多的29号、30号结果。

Python：善用query,从excel数据中批量提取数据到新文件相关推荐

从Word中批量提取数据到Excel中，Word导出到Excel的利器
从Word文件中取值并导出到Excel中,有现成的工具可实现. 不过要通过工具来批量取值,Word文件中的目标字符必须有规律才行,例如都处于表格中,或者都有下划线,只要目标符合指定的规则就可以批量提取 ...
利用NCO或者CDO从nc文件中批量提取数据
nco提取数据方法: ncrcat -v bsf MMEAN*.nc -o bsf.nc cdo提取数据方法: cdo select,name=PRECT NBF1850_f19_tn11*.nc P ...
如何在Excel表中快速提取想要的数据
如何在Excel表中快速提取数据目录如何在Excel表中快速提取数据 1.例如:需要提取右侧表格中蔬菜二月计划与销售数量 2.在白菜计划数量的单元格中输入函数公式=VLOOKUP("*& ...
html中文本信息导出表格中,大量word填写的表格资料，如何批量提取数据到Excel表里？...
大量word填写的表格资料,要批量提取数据到Excel表里,一页对应一行,首先看一下这个word本身是什么来源的,大致可以分以下2种情况来处理. 一.网上直接生成的带html标记的word文件如一些 ...
python pandas库读取excel/csv中指定行或列数据详解
通过阅读表格,可以发现Pandas中提供了非常丰富的数据读写方法,下面这篇文章主要给大家介绍了关于python利用pandas库读取excel/csv中指定行或列数据的相关资料,需要的朋友可以参考下 ...
python处理excel表格数据-利用Python处理和分析Excel表中数据实战.doc
利用Python处理和分析Excel表中数据实战 [利用python进行数据分析--基础篇]利用Python处理和分析Excel表中数据实战原创 2017年06月28日 15:09:32 标签: p ...
【Python数据分析】利用Python替换EXCEL表格中指定的数据
如何利用Python替换EXCEL表格中指定的数据?今天与大家一起分享一下DataFrame对象的replace()函数,replace()函数可EXCEl中的数据内容,其语法格式如下: 表达式.re ...
Excel表格中重要的数据如何隐藏不显示
Excel表格中重要的数据如何隐藏不显示目录 Excel表格中重要数据值如何隐藏不显示 1.选中需要隐藏的单元格数值 2.鼠标右键点击"设置单元格格式" 3.点击"自 ...
根据ID从FASTA文件中批量提取序列【Python】
根据ID从FASTA文件中批量提取序列[Python] 生信问题记录我的需求 input: FASTA文件,含六千余个蛋白序列.命名为FA.fasta txt文件,经过interpro注释后,筛选出 ...

Python：善用query,从excel数据中批量提取数据到新文件

Python：善用query,从excel数据中批量提取数据到新文件相关推荐

最新文章

热门文章