气象数据的常用格式以及处理的工具

这次我们来简单了解下气象数据常用的格式以及处理的工具，常用的数据格式包括普通的二进制格式、文本数据、NetCDF、HDF4/5以及GRIB1/2数据。我们可以利用编程语言例如python、matlab以及c语言，根据数据的说明文档或者相应的数据api开发文档进行读取，此外我们也可以根据提供的command命令行进行高效提取数据。

二进制文件和文本数据
气象中的二进制文件是指利用ASCII及扩展ASCII字符编写的数据或程序指令的文件，一般没有格式，用文本编辑器打开只能看到无意义的乱码，需要特定的解码说明才能使用，例如气象雷达的数据；文本数据的以记录的形式存在，每一条记录是以ASCIIVS的回车符CR（OD）加换行符LF（OA）来结束的，可以用文本编辑器查看，但也需要变量的说明文档，例如NOAA提供的ghcn以及isd数据都需要进行处理提取数据
IR000407540.dly 文本数据
IR000407540194406PRCP -9999 -9999 10 S 0 S-9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -9999 -
python

NetCDF(Network Common Data Form)
NetCDF数据是常用的气象和卫星数据存储的数据格式，结构形式包含维数、变量、属性和数据四个子域,公众号前几期有过利用python对netCDF数据处理的介绍，有感兴趣的同学可以关注公众号查看历史精彩文章使用python处理NetCDF格式文件，这里介绍大家利用CDO如何处理netCDF格式的文件
CDO（Climate Data Operators）是用来处理气候数据的命令行的集合，支持netCDF3/4以及Grib1/2数据格式，常用功能：

GRIB1和GRIB2文件
GRIB（GRIdded Binary）和GRIB2（General Regularly-distributed Information in Binary Form）是与计算机无关的压缩的二进制编码，主要用来存放数值天气分析和预报产品资料。处理grib文件的常用工具包pygrib，Grib格式数据处理有详细介绍，gribapi也自带python接口，可以通过ECMWF提供的ecCodes或cgrib安装包进行安装使用。此外利用wgrib以及wgrib2命令行工具也可以高效处理grib文件。

HDF、HDF-EOS、HDF5和HDF-EOS5
HDF(Hierarchical Data Format)数据格式是一种具有自描述性、可扩展性、自我组织形的数据存储格式。HDF5数据克服了HDF4的不足，可以支持超过2G大小的文件，以及并行I/O；HDF-EOS是NASA开发专门处理EOS产品，可以有效的存储地理定位数据。HDF、HDF-EOS、HDF5和HDF-EOS5数据多用于卫星资料的存储和发布。

本文分享自微信公众号 - MeteoAI（meteoai），作者：Young

原文出处及转载信息见文内详细说明，如有侵权，请联系 yunjia_community@tencent.com 删除。

原始发表时间：2019-01-28

气象数据的常用格式以及处理的工具相关推荐

气象数据的各种插值问题 | 小骏不抬杠
文章目录将网格数据插值到另一个坐标.分辨率不同的网格数据上将网格数据插值到站点数据上将二维的站点数据转为三维的网格数据将网格数据插值到站点数据将三维网格数据转为二维将站点数据插值到网格数据 ...
利用Excel VBA批量计算气象数据多个台站多年来春季和冬季降水量和平均气温
气象数据是地理数据的重要组成部分,存储量虽然不大,但是处理过程非常繁琐,长时序数据更不用说.本文总结了一个气象数据的基本处理方法. 如下图所示,气象数据的排列格式是区站号→年→月→降水量→平均气温,时 ...
pyhton读取json格式的气象数据
原文关于读取pm25.in气象数据的pyhton方法,以及浅析python json的应用以pm25.in网站数据为例. 1.方法介绍首先感谢pm25.in提供了优质的空气污染数据,为他们的辛勤劳 ...
python如何读取数据保存为新格式_Python Numpy中数据的常用保存与读取方法
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多. 下面就常用的保存数据到二进制文件和保存数据到文本文件 ...
windows下气象grib/grib2数据转Tiff格式输出
材料:Win10+Python3.8+wgrib/wgrib2 目录 ①Grib/Grib2数据转为CSV/NC格式数据 ②NC格式数据转为GeoTiff格式数据 ①Grib/Grib2数据转为CSV ...
sklearn 读取csv_气象数据再分析数据的读取方式（GRIB格式为例）
在对全球环境进行研究中,我们总会遇到欧洲中期预报中(European Centre for Medium-Range Weather Forecasts)等发布的气象再分析数据,例如,我在ESA官网上 ...
arcgis风向_ArcGIS10.2读取NetCDF格式的气象数据含风向
ArcGIS读取NetCDF格式的气象数据尝试使用Make netCDF File的Tool 参数设置: 变量:PM2_5DRY X维度:XLONG Y维度:XLAT Dimension:南北+东西 ...
气象数据Grib格式解析的Python代码和Matlab代码
以.grb/.grb1/.grb2为扩展名的都是气象数据,气象数据中可以存储多个内容,如云量.雪深.气压.风速等内容,或者具有时间序列的云量等.这些文件不可以直接打开成图片,若想直观地查看grib数据 ...
气象数据统一服务接口（MUSIC）简介
气象数据统一服务接口(MUSIC:Meteorological Unified Service Interface Community),基于国省统一的数据环境(CIMISS),面向气象业务和科研,提 ...

气象数据的常用格式以及处理的工具

气象数据的常用格式以及处理的工具相关推荐

最新文章

热门文章