本文对应代码和数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

在上一篇文章中我们对geopandas中的坐标参考系有了较为深入的学习,而在日常空间数据分析工作中矢量文件的读入和写出,是至关重要的环节。

作为基于geopandas的空间数据分析系列文章的第三篇,通过本文你将会学习到geopandas中的文件IO。

2 文件IO

2.1 矢量文件的读入

geopandas将fiona作为操纵矢量数据读写功能的后端。

使用geopandas.read_file()读取对应类型文件,而在后端实际上是使用fiona.open来读入数据,即两者参数是保持一致的,读入的数据自动转换为GeoDataFrame。

下面是geopandas.read_file()主要参数:

filename:str类型,传入文件对应的路径或url

layer:str类型,当要读入的数据格式为地理数据库.gdb或QGIS中的.gpkg时,传入对应图层的名称

下面结合上述参数,来介绍一下使用geopandas.read_file()在不同情况下读取常见格式矢量数据的方法。

使用到的示例数据为中国地图,CRS为EPSG:4326。

本文使用到的所有数据都可以在文章开头提及的Github仓库对应本文路径下找到:

图1

2.1.1 shapefile

作为非常常见的一种矢量文件格式,geopandas对shapefile提供了很好的读取和写出支持。

下面分为不同情况来介绍:

完整的shapefile

如图2,这是一个完整的shapefile:

图2

使用geopandas来读取这种形式的shapefile很简单:

import geopandas as gpd

data = gpd.read_file('geometry/china_provinces/china_provinces.shp')

print(data.crs) # 查看数据对应的crs

data.head() # 查看前5行

图3

缺少投影的shapefile

当shapefile中缺失.prj文件时,使用geopandas读入后形成的GeoDataFrame会缺失crs属性:

图4

如果已经知道数据对应的CRS,可以在读入数据后补充上crs信息以进行其他操作:

import pyproj

data.crs = pyproj.CRS.from_user_input('EPSG:4326')

data.crs

图5

直接读取文件夹

当文件夹下只有单个shapefile时,可以直接读取该文件夹:

图6

读取zip压缩包中的文件

geopandas通过传入特定语法格式的文件路径信息,以支持直接读取.zip格式压缩包中的shapefile文件,主要分为两种情况。

当文件在压缩包内的根目录时,使用下面的语法规则来读取数据:

zip://路径/xxx.zip

譬如我们要读取图7所示的压缩包内文件:

图7

按照对应的语法规则,读取该类型数据方式如下:

图8

而当文件在压缩包内的文件夹中时,如图9:

图9

使用下面的语法规则来读取数据:

zip://路径/xxx.zip!压缩包内指定文件路径

将上述语法运用到上述文件:

图10

2.1.2 gdb与gpkg

对于Arcgis中的地理数据库gdb,以及QGIS中的GeoPackage,要读取其包含的矢量数据,就要涉及到图层的概念。

对应geopandas.read_file()的layer参数,只需要将gdb或gpkg文件路径作为filename参数,再将对应的图层名称作为layer参数传入:

gdb

data = gpd.read_file('geometry/china_provinces.gdb',

layer='china_provinces')

print(data.crs) # 查看数据对应的crs

data.head() # 查看前5行

图11

gpkg

类似读入gdb文件:

data = gpd.read_file('geometry/china_provinces.gpkg',

layer='china_provinces',

encoding='utf-8')

print(data.crs) # 查看数据对应的crs

data.head() # 查看前5行

图12

2.1.3 GeoJSON

作为web地图中最常使用的矢量数据格式,GeoJSON几乎被所有在线地图框架作为数据源格式,在geopandas中读取GeoJSON非常简单,只需要传入文件路径名称即可。

下面我们来读入图13所示的文件:

图13

图14

2.1.4 过滤

geopandas在0.1.0版本中新增了bbox过滤,在0.7.0版本中新增了蒙版过滤和行过滤功能,可以辅助我们根据自己的需要读入原始数据中的子集。

下面一一进行介绍:

bbox过滤

bbox过滤允许我们在read_file()中传入一个边界框作为参数bbox,格式为(左下角x, 左下角y, 右上角x, 右上角y),这样在读入的过程中只会保留几何对象与bbox有相交的数据记录。

下面我们仍然以上文中使用过的中国地图数据为例,我们在读入的过程中,传入边界框:

from shapely import geometry

data = gpd.read_file('geometry/china_provinces.json',

bbox=(100, 20, 110, 30))

%matplotlib widget

ax = data.plot()

# 绘制bbox框示意

ax = gpd.GeoSeries([geometry.box(minx=100,

miny=20,

maxx=110,

maxy=30).boundary]).plot(ax=ax, color='red')

图15

可以看到只有跟红色框有相交的几何对象被读入。

蒙版过滤

蒙版过滤和bbox过滤功能相似,都是筛选与指定区域相交的数据记录。

不同的是蒙版过滤通过mask参数可以传入任意形状的多边形,不再像bbox过滤那样只接受矩形:

data = gpd.read_file('geometry/china_provinces.json',

mask=geometry.Polygon([(100, 20), (110, 30), (120, 20)]))

ax = data.plot()

# 绘制bbox框示意

ax = gpd.GeoSeries([geometry.Polygon([(100, 20),

(110, 30),

(120, 20)]).boundary]).plot(ax=ax, color='red')

图16

可以看到只有跟红色多边形相交的几何对象被读入。

行过滤

行过滤的功能就比较简单,通过参数rows控制读入原数据的前若干行,可以用于在读取大型数据时先快速查看前几行以了解整个数据的格式:

图17

2.2 矢量文件的写出

在geopandas中使用to_file()来将GeoDataFrame或GeoSeries写出为矢量文件,主要支持shapefile、GeoJSON以及GeoPackage。

不像geopandas.read_file()可以根据传入的文件名称信息自动推断类型,我们在写出矢量数据时就需要使用driver参数来声明文件类型:

ESRI Shapefile

我们将上文最后一次读入的GeoDataFrame写出为ESRI Shapefile,设置driver参数为ESRI Shapefile。

如果你对文件编码有要求,这里可以使用encoding参数来指定,譬如这里我们指定为utf-8:

'''在工程根目录下创建output文件夹'''

import os

try:

os.mkdir('output')

except FileExistsError:

pass

data.to_file('output/output.shp',

driver='ESRI Shapefile',

encoding='utf-8')

可以看到在output文件夹下,成功导出了完整的shapefile:

图18

而如果导出的文件名不加后缀扩展名,则会生成包含在新目录下的shapefile:

data.to_file('output/output_shapefile',

driver='ESRI Shapefile',

encoding='utf-8')

图19

也可以向指定的文件夹下追加图层:

data.to_file('output/output_shapefile_multi_layer',

driver='ESRI Shapefile',

layer='layer1',

encoding='utf-8')

data.to_file('output/output_shapefile_multi_layer',

driver='ESRI Shapefile',

layer='layer2',

encoding='utf-8')

data.to_file('output/output_shapefile_multi_layer',

driver='ESRI Shapefile',

layer='layer3',

encoding='utf-8')

图20

GeoPackage

对于gdb文件,由于ESRI的限制,暂时无法在开源的geopandas中导出。

但我们可以用QGIS中的GeoPackage作为替代方案(开源世界万岁O(∩_∩)O~~),只需要将driver参数设置为GPKG即可。

这里需要注意一个bug:在使用geopandas导出GeoPackage文件时,可能会出现图21所示错误:

图21

但我观察到即使出现了上述错误,GeoPackage文件也是成功保存到路径下的且整个程序并未被打断,因此可以无视上述错误:

图22

GeoJSON

写出为GeoJSON非常容易,只需要设置driver='GeoJSON'即可:

图23

以上就是本文的全部内容,如有笔误望指出!

php中pandans,Python地信专题 | 基于geopandas的空间数据分析-文件IO篇相关推荐

  1. Python地信专题 | 基于geopandas的空间数据分析-文件IO篇

    本文对应代码和数据已上传至Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 在上一篇文章中我们对geopandas中的坐标 ...

  2. Python地信专题 | 基于geopandas的空间数据分析-坐标参考系篇

    文章来源于Python大数据分析,作者费弗里 本文对应代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 在 ...

  3. Python地信专题 |基于geopandas的空间数据分析-深入浅出分层设色

    点击蓝字关注我,有干货领取! 本文对应代码和数据已上传至我的Github仓库: https://github.com/CNFeffery/DataScienceStudyNotes[1] 已发布: P ...

  4. Python地信专题 | 基于geopandas的空间数据分析—数据结构篇

    作者:费弗里 博客地址: https://www.cnblogs.com/feffery/p/11898190.html 说明:本文经作者授权转载,禁止二次转载 全文8500字 本文对应代码已上传至我 ...

  5. Python地信专题 | 基于geopandas玩转地图可视化

    文章来源于Python大数据分析,作者费弗里 本文对应代码和数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes[1] ...

  6. 基于geopandas的空间数据分析——空间计算篇(下)

    本文示例代码及数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 在基于geopandas的空间数据分析系列 ...

  7. 基于geopandas的空间数据分析—geoplot篇(下)

    文章来源于Python大数据分析,作者费弗里 本文示例代码.数据及文件已上传至Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 ...

  8. 【Python文本处理】基于运动路线记录GPX文件解析,心率、速度、时间、功率、踏频、海拔等参数的生成和更改,以及GPX循环拼接

    [Python文本处理]基于运动路线记录GPX文件解析,心率.速度.时间.功率.踏频.海拔等参数的生成和更改,以及GPX循环拼接 GPX文件本身其实就是坐标.海拔.时间.心率等综合性的xml文件 如图 ...

  9. 【Python文本处理】基于运动路线记录GPX文件的基础运动速度求解,并转为SRT字幕格式(不需要安装三方库)

    [Python文本处理]基于运动路线记录GPX文件的基础运动速度求解,并转为SRT字幕格式(不需要安装三方库) 解析 GPX文件格式 GPX文件本身其实就是坐标.海拔.时间.心率等综合性的xml文件 ...

最新文章

  1. elasticsearch解决控制台中文乱码问题
  2. linux给普通用户sudo权限
  3. c++find函数_Excel中八大经典函数组合,帮你整理齐了
  4. Python 一个判断对象是否是一个已知类型的函数-isinstance()
  5. php curl 句柄 复用,PHP-curl multi批处理CPU负载过高的解决办法
  6. 读书笔记--101个shell脚本 之#13--猜数字
  7. smart filter无法从smart business应用获得值的问题分析
  8. AutoCAD .net 二次开发官方教程及源码C#版(4)-(源码下载)
  9. Android官方开发文档Training系列课程中文版:后台服务之IntentService的使用
  10. 每个tabpage中都有一个dategridview_宇宙中每个原子里都隐藏着一个巨大的秘密
  11. linux命令 bind,Linux bind命令
  12. linux自动ping脚本,linux 自动ping ip的shell脚本
  13. 拒绝版权流氓!阿里巴巴重磅发布免费商用字体
  14. 艾宾浩斯英语单词记忆表格生成器
  15. python tkinter 图片_如何用python tkinter插入显示图片?
  16. 试题 算法提高 断案
  17. 关闭WinSAT.exe Windows 系统评估工具服务
  18. 项目mysql数据导入数据的Java程序
  19. Flutter入门系列-Flutter读取assets文件并写入应用程序路径
  20. 将文件中每一行字符反序(python3)

热门文章

  1. Java中xmp标签的作用_如何在Java中从JPEG读取XMP面部数据
  2. [蓝桥杯][2017年第八届真题]正则问题(DFS)
  3. Android 指纹调试流程(高通、MTK均适用)
  4. linux下启动solr命令,如何自动启动Solr?
  5. 个人网站备案起名_郑州诚信个人商标注册电话
  6. 深度学习(27)随机梯度下降五: 单输出感知机梯度
  7. 计算机考研备考指南,计算机专业考研复习指南篇
  8. 数据结构--链式栈--C++实现
  9. 无向图求割(找桥)tarjan
  10. linux应用之----进程通信