postgis/postsql 导入dem栅格数据到数据库

导入单个tif文件

环境

系统： windows 8

数据库：PostgreSQL:9.6
gis版本：PostGIS: 2.4

单个文件大小： 530M

使用的raster2pgsql命令导入数据到PostgreSQL数据库

命令如下

（具体参数可自行查看命令的帮助文档）

文档：http://postgis.net/docs/using_raster_dataman.html

raster2pgsql -s 4326 -d -k -N -e -I -C -M "D:\dem\dem.tif" -F -t auto  test | psql -U postgres -d dataBase -h localhost -p 5432 -W

需要说明的是：
-t参数指定了数据的分块大小，auto 自动计算Tile进行划分存储。
-F参数在关系表中增加名为filename的列用于保存原始文件的名称，这在批量导入进行Tile的合并的时候有用。

结果

在数据库中可以看到

遇到的问题与原因

编码转换的问题

大文件的raster2pgsql加载失败，N字节的字符串对于编码转换而言太长？

参考文档： http://postgis.net/docs/RT_FAQ.html#qa_raster_fails_encoding_conversion

https://trac.osgeo.org/postgis/ticket/2209

生成要加载的文件时，raster2pgsql不会与数据库建立任何连接。如果数据库设置的显式客户端编码与数据库编码不同，则在加载大型栅格文件（大小超过30 MB）时，您可能会遇到bytes is too long for encoding conversion。

例如，如果的数据库使用UTF8，但是通常情况下会发生这种情况，但是要支持Windows应用，必须将客户端编码设置为WIN1252。

要变通解决此问题，请确保客户端编码与加载期间的数据库编码相同。可以通过在加载脚本中显式设置编码来实现。例如，如果在Windows上：

set PGCLIENTENCODING = UTF8

如果您使用的是Unix / Linux

export PGCLIENTENCODING=UTF8

导入时遇到内存溢出， ....内存不足以ERROR 结束失误回滚

我开始就认为这是一个内存问题，但是在看到“编码”一词和栅格文件的大小之后，在网上搜了一通后，发现与PostgreSQL有关。raster2pgsql对客户端编码的数据库设置一无所知，因为它永远不会（永远！）接触数据库

在PostgreSQL的源代码中允许进行编码转换的最大大小为〜250 MB。

相关文档： https://doxygen.postgresql.org/memutils_8h_source.html

postgis/postsql 导入dem栅格数据到数据库相关推荐

【唠叨两句】如何将一张树型结构的Excel表格中的数据导入到多张数据库表中...
小弟昨天遇到一个相对比较棘手的问题,就像标题说的那样.如何将一张树型结构的Excel表格中的数据导入到多张数据库表中,在现实中实际是七张数据库表,这七张表之间有着有着相对比较复杂的主外键关系,对于我这 ...
ASP.NET Excel导入到SQL Server数据库
提供把Excel里的数据导入到SQL Server 数据库,前提是Excel里的字段在Sql Server表里都有,不然会出现错误.注释很详细哦!要引用的命名空间是: using System.Dat ...
grafana导入json文件没有数据_XAMPP客户端环境无法导入较大Mysql数据库文件的解决方法...
一般我们本地的网站环境是使用的PHPSTUDY软件客户端,但是一般的MacOS下会使用XAMPP客户端,以前我在MAC上也是有使用过的,总感觉没有国产的软件好用所以就没有使用. 今天遇到有网友出现XA ...
php上传查询excel到mysql_PHP上传Excel文件导入数据到MySQL数据库示例
PHP上传Excel文件导入数据到MySQL数据库示例2020-06-20 00:34:11 最近在做Excel文件导入数据到数据库.网站如果想支持批量插入数据,可以制作一个上传Excel文件,导入里 ...
批量导入数据到mssql数据库的
概述批量导入数据到数据库中,我们有好几种方式. 从一个数据表里生成数据脚本,到另一个数据库里执行脚本从EXCEL里导入数据上面两种方式,导入的数据都会生成大量的日志.如果批量导入5W条数据到数据 ...
php导入关系表,PHP导入Execl表到数据库
PHP导入Execl表到数据库 /** * 上传文件 */ function uploadFileforExcel() { // 允许上传的图片后缀 //$allowedExts = array(&q ...
Civil 3D 中使用COM API导入DEM数据创建曲面
Civil 3D提供的基于.net的API和基于COM的API,现在推荐大家使用.net API,但有时也需要使用COM API. 这个例子演示如何使用COM API来导入DEM数据生成Civil 3 ...
access数据库文件导入mysql数据库文件怎么打开,Access数据库从外部数据导入文本文件和VF数据库-dbf文件怎么打开...
亲爱的小伙伴们,我们又见面了! 上一期我们学习了Access数据库从外部数据导入Excel文件,下图学生成绩表2就是我们新导入的数据: 导入Excel文件今天我们来学习如何从外部数据导入文本文件和V ...
plsql如何导入csv文件,PLSQL导入csv文件到数据库
搜索热词好久不用oracle了,突然忘记怎么导入数据了.今天再记录一下吧. 1.建表.目的是:被导入到数据的存储位置. 因为数据库中曾经有过相同表结构的表,所以直接使用sql建表. sql" ...
帆软填报--导入Excel前清空数据库表
也可以参考需求自定义一个导入Excel前清空数据库表的按钮模板Web属性中的清空导入并不能真正实现清空数据库表实现思路通过在填报页面设置中添加「Excel导入前」事件,设置在 Excel 导 ...

postgis/postsql 导入dem栅格数据到数据库

postgis/postsql 导入dem栅格数据到数据库相关推荐

最新文章

热门文章