三十七. geotrellis使用 COG 基础介绍

前言
Geotrellis 已经迭代到了 2.0 版本（截止写作此文时为 2.0.0-SNAPSHOT 版），2.0 版多了很多新的特性，其中最重要的应该就是 COG，COG 是什么鬼？刚看到时我也是一脸懵，认认真真的学习了一天，稍有体会，本文对此进行简单介绍。

一、COG 简介
1.1 什么是 COG
COG 是 Cloud Optimized GeoTIFF’s 的简称，从这个名字就能大概猜出他的意义——云端优化的 GeoTIFF。GDAL 官方 WIKI 定义如下：

A cloud optimized GeoTIFF is a regular GeoTIFF file, aimed at being hosted on a HTTP file server, whose internal organization is friendly for consumption by clients issuing HTTP GET range request (“bytes: start_offset-end_offset” HTTP header).

It contains at its beginning the metadata of the full resolution imagery, followed by the optional presence of overview metadata, and finally the imagery itself. To make it friendly with streaming and progressive rendering, we recommand starting with the imagery of the smallest overview and finishing with the imagery of the full resolution level.

简单来说 COG 是规则的 GeoTIFF 文件，只是对普通 GeoTIFF 文件加了些概览等元数据信息，使得可以通过 HTTP 进行局部数据的读取，即需要哪部分的数据就下载哪部分数据。

那么这有什么好处呢？

1.2 COG 的好处
COG 的产生是针对云端文件的（cloud），现在有很多云存储供应商，如 S3、Google Cloud Storage、Azure 等等，GeoTIFF 文件存在云端最大的问题是每次对文件进行处理都需要将其全部取回到本地，处理完成后再上传到云端，这会耗费大量下载和上传的时间、占用存储空间，并且云存储多是根据流量收费，多次下载、上传又会增加网络费用支出。

于是 COG 便应运而生，他以云端为工作流的中心而非本地，不需每次处理 GeoTIFF 文件时将整个文件下载下来，只需要下载需要处理的部分，并且尽量实现数据的云端处理。

1.3 创建 COG
最简单的方式是通过 GDAL 创建 COG，GDAL 无需多言，凡是接触过地理信息的应该都知道此框架，执行如下命令：

gdal_translate in.tif out.tif -co TILED=YES -co COPY_SRC_OVERVIEWS=YES -co COMPRESS=DEFLATE
这样就可以将普通 GeoTIFF 文件转为 COG 文件，而后只需要将其发布为 HTTP 服务即可（文件下载服务），但是此 HTTP 服务必须支持 HTTP range queries，当前 Nginx、Apache 等都是支持此特性的，这也是断点续传的实现方式。当然你也可以直接将其上传到 S3 等云存储，会达到相同的效果。

二、COG 在 Geotrellis 中的应用
2.1 Geotrellis 当前工作流的弊端
在 Geotrellis 中要对一个数据进行处理，首先进行 ETL 操作，将数据 ingest 到其支持的后端中（S3、Hadoop、Accumulo、HBASE 等）形成 Layer 的概念，这样其实在后端中存储的是切割好的不同层级的大量小瓦片；然后再根据需求读出相应的瓦片进行处理或者发送到前端。

到了 2.0 版开发人员意识到一个问题，或者说是早就意识到了这个问题，那就是与 COG 建立的初衷相似，无论是 S3 还是 HDFS 其实都对大量小文件的支持不好、性能不高且占用大量的存储空间，严重影响服务性能。

2.2 COG 支持
于是 Geotrellis 开发人员想到将 COG 运用到此框架中。简单来说不再需要 ETL 操作，或者说是另外一种的 ETL 操作——将普通的 GeoTIFF 文件转换为 COG 文件。在转换的过程中也同样生成对应的元数据，这个元数据里描述的是如何找到x、y、z（SpatialKey 等）请求对应的数据，包括文件名称、存储位置、数据范围（HTTP Range）等，这样就可以通过此范围请求到此数据，并可以对此数据进行其他处理。

有了 COG 的支持，对 Geotrellis 来说无疑是如虎添翼，不仅解决了瓦片数据性能及占用大量存储空间的问题，也解决了瓦片切割耗时长的问题，数据处理不再耗用大量时间，当然任何事情都是辩证的，我猜测在数据读取的时候会比原有方式稍慢（未经过实际测试），这个还是要看系统的需求，平衡各方利弊之后设计满足自身需要的合理解决方案，这也正是一个“资深”程序员应当考虑的事情。

三、总结
本文简单介绍了 COG 以及其在 Geotrellis 中的使用，此处仅是理论和概念探讨，会在后续文章中详细介绍如何在 Geotrellis 中使用 COG。

三十七. geotrellis使用 COG 基础介绍相关推荐

[Python从零到壹] 三十七.图像处理基础篇之图像融合处理和ROI区域绘制
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
三十八. geotrellis使用 COG 写入和读取
前言上一篇中简单介绍了 COG 的概念和 Geotrellis 中引入 COG 的原因及简单的原理,本文为大家介绍如何在 Geotrellis 中使用 COG 来写入和读取 GeoTIFF数据. 一 ...
Python编程基础：第三十七节石头剪刀布游戏Rock, Paper, Scissors Game
第三十七节石头剪刀布游戏Rock, Paper, Scissors Game 前言实践前言我们这一节的内容主要是对前边学习内容的一个综合应用,以石头,剪刀,布游戏为例讲解列表.随机数.用户输入 ...
【零基础学Java】—包装类（三十七）
[零基础学Java]-包装类(三十七) 一.包装类包装类:基本数据类型,使用起来十分方便,但是没有对应的方法来操作这些基本类型的数据可以使用一个类,把基本的数据装起来,在类中定义一些方法,这个类叫做 ...
九宫怎么排列和使用_剪映零基础入门教程第三十七篇：一学就会系列之九宫格小程序配音...
很多玩儿抖音的朋友都看过九宫格视频,但是并不是每个玩抖音的人都会制作这个九宫格视频,实际这个需要借助小工具来帮忙,而常用抖音的朋友们会对剪映更加熟悉一些,且九宫格视频在剪映内的制作方式则比较简单.那么 ...
【Visual C++】游戏开发笔记二十七 Direct3D 11入门级知识介绍
游戏开发笔记二十七 Direct3D 11入门级知识介绍作者:毛星云邮箱: happylifemxy@163.com 期待着与志同道合的朋友们相互交流上一节里我们介绍了在迈入Dire ...
OpenCV学习笔记（三十六）——Kalman滤波做运动目标跟踪 OpenCV学习笔记（三十七）——实用函数、系统函数、宏core OpenCV学习笔记（三十八）——显示当前FPS OpenC
OpenCV学习笔记(三十六)--Kalman滤波做运动目标跟踪 kalman滤波大家都很熟悉,其基本思想就是先不考虑输入信号和观测噪声的影响,得到状态变量和输出信号的估计值,再用输出信号的估计误差加 ...
Android NDK开发之 NEON基础介绍
原文:http://blog.csdn.net/app_12062011/article/details/50434259 Android NDK开发之 NEON基础介绍这是官方介绍: http:/ ...
ai一个线段多个箭头_初学设计却分不清PS和AI？超详细的AI基础介绍包你一看即会！...
以前提到AI,第一个想到的就是人工智能.自从扎进设计的神坑,再提到AI,我可只认软件了~ 包括小ke在内的很多设计小伙伴在最开始入行的时候都认为,只要学好PS就可以稳打设计圈了~毕竟那么多公号一提到设 ...

三十七. geotrellis使用 COG 基础介绍

三十七. geotrellis使用 COG 基础介绍相关推荐

最新文章

热门文章