python处理wrf气象数据_利用python-cdo处理气象数据
如果你不喜欢命令行的操作方式,那么你可以尝试使用python-cdo,利用python脚本语言的优势来处理气象数据。命令行的方式有其优势,比如简单易操作,可扩展性更强等,利用CDO的python接口也有其特有的优势,比如:
通过numpy/narray可以进行直接的数据操作
临时文件自动处理
灵活的并行化计算
条件处理操作
扩展新操作符
安装
安装方式非常简单,运行以下命令即可:
pip install cdo
或
conda install python-cdo
操作符
一般情况下导入库时不建议使用如下方式导入的,建议使用 from ... import ... as ... 。为了调用所有操作符,建议按照 In [5] 方式执行赋值语句,以防出现属性调用错误。
查看文件信息
In [4]: from cdo import *
In [5]: cdo = Cdo()
In [6]: cdo.sinfon(input = "wrfout_d02_2016-06-23_06_00_00")
Out[6]:
['File format : NetCDF2',
'-1 : Institut Source Steptype Levels Num Points Num Dtype : Parameter name',
'1 : unknown unknown instant 1 1 48240 1 F32 : LU_INDEX',
.....
'175 : unknown unknown instant 1 1 1 7 I32 : SEED2',
'Grid coordinates :',
'1 : curvilinear : points=48240 (240x201)',
'XLONG : 115.839 to 123.957 degrees_east',
'XLAT : 30.0914 to 35.6799 degrees_north',
........
'7 : generic : points=1',
'Vertical coordinates :',
'1 : surface : levels=1',
........
'4 : generic : levels=4',
'lev : 1 to 4 by 1 level',
'Time coordinate : 36 steps',
'YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss',
'2016-06-23 06:00:00 2016-06-23 06:10:00 2016-06-23 06:20:00 2016-06-23 06:30:00',
.....
'2016-06-23 11:20:00 2016-06-23 11:30:00 2016-06-23 11:40:00 2016-06-23 11:50:00']
查看文件信息的操作符与CDO命令行操作符相同,在python中是以方法的方式调用。
通过 input 参数指定输入文件,如果需要输出文件时,则通过 output 参数指定:
In [8]: cdo.timmean(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfmean.nc")
性能对比
对比CDO命令行和Python-cdo接口的执行效率:
以下两个命令执行相同的操作:先选择1-5时步的所有变量数据,然后在结果中选择指定的变量。
In [21]: %time os.system("cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc")
CPU times: user 0 ns, sys: 3.29 ms, total: 3.29 ms
Wall time: 36.9 s
Out[21]: 0
In [22]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub_python.nc")
CPU times: user 0 ns, sys: 3.65 ms, total: 3.65 ms
Wall time: 41.4 s
Out[22]: 'wrfsub_python.nc'
In [23]: %time os.system("cdo copy wrfout_d02_2016-06-23_06_00_00 wrfcopy_cdo.nc")
CPU times: user 2.3 ms, sys: 174 µs, total: 2.48 ms
Wall time: 10min 1s
Out[23]: 0
In [24]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy_python.nc")
CPU times: user 0 ns, sys: 3.73 ms, total: 3.73 ms
Wall time: 10min 43s
Out[24]: 'wrfcopy_python.nc'
从上述结果中可以看出,CDO命令行的耗时和python接口的耗时差别不大。测试数据大小:19G。如果是对大量数据进行操作的话,可以优先使用命令行方式,效率相对会高一些。
注:未进行完全测试,结果可能存在一定偏差。
参数
在利用 CDO转换数据集格式 时,需要指定输出文件格式,比如选择变量或时步时也需要指定操作符的参数。
在使用pyhon接口时如何指定CDO命令行方式的参数呢?
In [25]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy.grb", option = "-f grb")
CPU times: user 0 ns, sys: 4.12 ms, total: 4.12 ms
Wall time: 12min 18s
Out[25]: 'wrfcopy.grb'
只需要在调用方法时添加 option参数即可。
为每个操作符添加参数时,只需要将参数作为方法的第一个参数即可。比如:
In [26]: %time cdo.seltimestep("1/3",input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub1.grb", option = "-f grb")
CPU times: user 244 µs, sys: 3.87 ms, total: 4.11 ms
Wall time: 44.9 s
Out[26]: 'wrfsub1.grb'
链式操作
python-cdo中完整的支持类似CDO命令行的链式操作符,执行顺序和CDO命令行操作相同。
In [27]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub.grb", option = "-f grb")
CPU times: user 4.58 ms, sys: 349 µs, total: 4.93 ms
Wall time: 37.6 s
Out[27]: 'wrfsub.grb'
通过上述命令可以看出,除了 selname操作的参数时在方法内单独给出之外,其余操作符(seltimestep)的调用方式和CDO命令行调用方式相同。
相当于:
cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc
临时文件
CDO命令行的链式操作可以省却中间临时文件的输出,从而节省了不必要的空间存储,python-cdo也提供了临时文件的处理。
当不指定 output参数时,当前文件夹下是不会生成输出文件的,但是从输出结果可以看出,输出文件存放到了临时文件夹下。
In [28]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00")
CPU times: user 3.05 ms, sys: 4.09 ms, total: 7.14 ms
Wall time: 38.2 s
Out[28]: '/tmp/cdoPy_f_c2j0l'
类似临时文件的处理方式,当需要处理大量数据时,可以控制输出文件的输出,从而节省大量的时间(前提是不需要输出文件或是输出文件本身已经存在了)。可以通过以下两种方式控制输出文件的输出:
设置全局属性
cdo.forceoutput = True/False
操作符选项
cdo.selname("SCW", input = "wrfout_d02_2016-06-23_06_00_00", force = False)
多线程处理
python-cdo提供了多线程处理方式,可以处理能并行执行的任务。比如:
from cdo import *
import multiprocessing
def showlevel(arg):
return cdo.showlevel(input=arg)
cdo = Cdo()
cdo.debug = True
ifile = '../wrfsub.nc'
pool = multiprocessing.Pool(1)
results = []
for i in range(0,5):
results.append(pool.apply_async(showlevel, [ifile]))
pool.close()
pool.join()
for res in results:
print(res.get())
python-cdo最重要的更新之一就是支持 numpy/narray 数组操作。通常有3中方式来获取数据:
文件句柄
使用文件句柄可以非常方便的获取变量,属性,维度等信息。可以使用 returnCdf关键词或 readCdf 方法。比如:In [50]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnCdf = True).variables["T"][:]
In [51]: t.shape
Out[51]: (3, 59, 201, 240)
In [46]: ff = cdo.readCdf("wrfout_d02_2016-06-23_06_00_00")
In [47]: t = ff.variables["T"]
In [48]: t.shape
Out[48]: (36, 59, 201, 240)
numpy/narray 对象
当需要读取特定变量时可使用此方式
In [52]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnArray = "T")
In [53]: t.shape
Out[53]: (3, 59, 201, 240)
掩膜数组
如果目标变量含有缺省值,即有FillValue之类表示缺省值的属性,则会影响返回结果。比如:对海洋区域数据进行掩膜。
oro = cdo.setrtomiss(-10000, 0, input = cdo.topo( options = '-f nc'), returnMaArray = 'topo')
setrtomiss 表示将在 -10000, 0 之间的数设置为缺省值。
绘图
能够直接操作 numpy/narray 数据的好处之一就是处理好之后既可以直接进行绘图。当然,CDO也可以编译为支持 Magics++,然后在操作之后进行绘图操作,但是仍没有在python中利用 matplotlib 等绘图库要方便。
由于变量 t 在上面已经获取并且处理了,因此此处直接使用。
In [62]: import matplotlib.pyplot as plt
In [63]: plt.contourf(t[1, 6, :, :])
Out[63]:
In [64]: plt.colorbar()
Out[64]:
In [65]: plt.show()
关于python-cdo中提供的方法的使用方式,可以查看帮助。如果帮助看不明白,可以查看单元测试脚本,单元测试脚本中基本上包含了所有使用方式,比官方文档要更靠谱 [注1]。
注1:https://github.com/Try2Code/cdo-bindings/blob/master/python/test/test_cdo.py
python处理wrf气象数据_利用python-cdo处理气象数据相关推荐
- python处理行情数据_利用Python脚本来获取期货行情数据
因为自己最近在学习做期货交易,想要下载期货的行情数据来做分析.有一些交易软件是可以导出数据的,但是导出的过程还是需要很多的手工操作,自己在想能不能通过Python程序来实现呢. 新浪期货数据接口介绍 ...
- python处理nc数据_利用python如何处理nc数据详解
利用python如何处理nc数据详解 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: 利用python如何处理nc数据详解.txt ] (友情提示:右键点上行txt ...
- 利用python从网页查找数据_利用Python模拟淘宝的搜索过程并对数据进行可视化分析...
数据挖掘入门与实战 公众号: datadw 本文讲述如何利用Python模拟淘宝的搜索过程并对搜索结果进行初步的数据可视化分析. 搜索过程的模拟:淘宝的搜索页面有两种形式, 一种形式是, 2019/2 ...
- python爬去百度文库_利用Python语言轻松爬取数据[精品文档]
利用 Python 语言轻松爬取数据 对于小白来说,爬虫可能是一件非常复杂. 技术门槛很高的事情. 比如有人认为学爬虫必须精通 Python ,然后哼哧哼哧系统学习 Python 的每个知识点,很久之 ...
- python爬取百度文库_利用Python语言轻松爬取数据
利用 Python 语言轻松爬取数据 对于小白来说,爬虫可能是一件非常复杂. 技术门槛很高的事情. 比如有人认为学爬虫必须精通 Python ,然后哼哧哼哧系统学习 Python 的每个知识点,很久之 ...
- dataframe修改数据_利用Python进行数据分析(语法篇)
一.数据 结构化数据: 1.多维数组--矩阵 2.表格型数据(关系型数据库中的数据) 3.通过关键列相连接的表 4.间隔平均或者不平均的时间序列 二.关于iPython 三.Numpy学习 numpy ...
- pandas 转化np数据_利用Python进行数据分析(语法篇)
一.数据 结构化数据: 1.多维数组--矩阵 2.表格型数据(关系型数据库中的数据) 3.通过关键列相连接的表 4.间隔平均或者不平均的时间序列 二.关于iPython 三.Numpy学习 numpy ...
- python爬取网易云_利用python爬取网易云音乐,并把数据存入mysql
作者:sergiojune Python爱好者社区--专栏作者 个人公众号:日常学python 专注python爬虫,数据可视化,数据分析,python前端技术 公众号:Python爱好者社区 获取本 ...
- python爬取电脑本地数据_利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息...
原标题:利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息 新型肺炎肆虐全国,可以预知,最近一两年地理学中会有一部分论文研究新型肺炎的空间分布及与其他指标的关联分析.获取其患病人 ...
- 如何用python完成评分功能呢_利用python基于电影评分数据进行
本文以Movielens 1M数据集为例,利用Python,对电影的各项数据进行分析,分析对于不同的性别的电影评分,以及性别差异对评分的差异 加载python库以及数据: import pandas ...
最新文章
- 国际域名转出ICANN投诉
- Caffe学习系列(6):Blob,Layer and Net以及对应配置文件的编写
- 事半功倍:推荐系统Pre-train预训练方法
- 并发数据结构 : SpinWait
- element ui 中 el-menu 如何添加链接router-link标签
- 数据库连接池_DataSource_数据源(简单介绍C3P0和Druid)
- 根据输入汉字获取其全拼及简拼
- 解决“Cannot merge new index 67208 into a non-jumbo instruction”的问题
- 如何默认选择一个单选按钮? [重复]
- uber_像Uber这样的Android Google地图样式
- Ian Goodfellow等提出自注意力GAN,ImageNet图像合成获最优结果!
- 华为路由器第三方插件_为什么路由器不开 SSH 就等于失去了很多乐趣?
- TortoiseGit-创建分支、合并分支
- 郭天祥 新概念51单片机C语言教程.入门、提高、开发.pdf下载地址
- php企业微信扫码登录
- 【转载】怎样编写CSS?
- 大批量快速插入数据方法
- glassfish java ee_GlassFish 3.1.2发布 开源的JavaEE应用服务器
- Android挂机 屏幕,游戏蜂窝新版支持全面屏手机 简单几步教你如何设置挂机
- PHP对接支付 alipay支付