优化的NPP夜光月度数据下载

NPP 夜光

之前发表了中科院版的全球夜光数据集。

但是不少科研课题还是需要从较前端的产品开始做,因而之后有同事联系我批量拷贝原始数据。

在我们的研究工作中发现原始的数据格式可用性较差。我们这里在格式上做了一些改动,而且提供一个国内较快速的下载途径。

原始数据

美国国家海洋大气管理局NOAA下属的国家环境信息中心NCEI下有专门对夜光数据加以处理的小组,他们发布每个月份的合成产品。

但是使用他们的数据存在以下问题:

1)下载速度慢,很可能只有几十KB或者上百KB,而目前整个数据集的大小是180GB;

2)界面上下载文件需要逐个点击,如果需要全球全序列,必须要做大量无聊的人机操作;

3)下载的格式是.tgz压缩,解压费时很长,解压后是标准无压缩的2.5GB的TIFF文件,这样前完整的全球数据集占用盘空间大小超过1TB。

总而言之,这个原始数据集文件较大,而且在美国的服务器上下载速度很慢,缺少简单的一次性下载的功能,而且下载后还要解压,解压后文件要占用超过1T的硬盘空间,这样一般的电脑还不容易开展研究工作。

改进数据

为了更好的服务中国的科技人员,我们将原始数据集做了一些优化处理。

第一,将数据的格式改成内在无损压缩的TIFF格式,它的大小甚至比原始下载压缩文件还要小一些;

第二,把文件名做了简化处理,更容易拼写,更容易查找,更容易使用。

例如,下面的一个TILE的原始下载文件的大小是389MB,解压后要占2580.1MB,而我们处理完可以直接使用的两个TIF文件是364MB,相比原始下载文件还减小了6.5%,而又比解压后的标准TIFF文件小了90%。另外文件名也缩短到原来的1/4长度。

原始文件 261.7MB 以此为基础即 100%SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.tgz 261.7MB

解压后 2580.1MB 是原始文件的 986%SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.avg_rade9h.tif 2073.7MB

SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.cf_cvg 506.4MB

我们处理后 246.3MB 是原始文件的 94%201706_75N180W_AVE.TIF 199.3MB

201706_75N180W_CNT.TIF 47.0MB

采用我们的新格式后,经测试使用上没有什么问题。

无需解压,下载后直接可以用PHOTOSHOP、ENVI等软件打开操作

可以用matlab等科学软件包读入,文件名大幅度缩短,而且读入速度变快了(因为文件大小只有原始格式解压后的10%左右)。

测试表明,原来读取解压后文件大概要100秒,而读取我们改进后的格式只要33秒。

百度盘地址

联系方式

陈甫 副研究员

中国科学院遥感与数字地球研究所

chenfu@radi.ac.cn

13811147935

npp夜光数据介绍 viirs_优化的NPP夜光月度数据下载相关推荐

  1. npp夜光数据介绍 viirs_npp夜光数据介绍 viirs_DMSP/OLS与NPP/VIIRS两类夜间灯光数据整合...

    一.数据整合方法 参考Li等在叙利亚夜光动态研究中的数据相互校正方法,以DMSP/OLS数据为标准,利用NPP/VIIRS数据拟合生产对应年份的DMSP/OLS数据(Li X et al.,2017) ...

  2. npp夜光数据介绍 viirs_惊艳!珞珈一号卫星“眼中”的夜光衡水

    11月20日,阜城县气象局技术人员刘馨利用珞珈一号夜光遥感卫星提取了衡水全区域灯光遥感影像并进行处理解译,于是一张卫星"眼中"的衡水灿烂夜光影像被呈现出来. 夜景图出炉后,刘馨经过 ...

  3. npp夜光数据介绍 viirs_最新 夜光遥感影像VIIRSDMSP下载总结

    夜光遥感影像数据主要分为两种: 1.DMSP/OLS(旧)   1992-2013年间由美国军事气象卫星(DMSP)搭载的线性扫描业务系统(OLS)拍摄 2.NPP-VIIRS(新)          ...

  4. npp夜光数据介绍 viirs_科研成果快报第177期:中国地区长时序AVHRR气溶胶数据的主要问题: 气溶胶反演频次与重污染天气...

    中国地区长时序AVHRR气溶胶数据的主要问题:气溶胶反演频次与重污染天气 A critical view of long-term AVHRR aerosol data record in China ...

  5. npp夜光数据介绍 viirs_利用NPP-VIIRS夜光数据识别中国收缩城市

    来源:北京城市实验室BCL 本文多图,建议阅读5分钟. 我们比较了2013年至2016年可见光红外成像辐射计套件(NPP-VIIRS)数据的调整后的夜光强度,以准确地识别出整个中国正在收缩的城市. [ ...

  6. NOAA NPP灯光数据介绍和下载

    NOAA NPP灯光数据介绍和下载 NOAA NPP灯光数据介绍与描述 NOAA NPP灯光数据下载 NOAA NPP灯光数据介绍与描述 NOAA / NCEI的地球观测组(EOG)正在使用来自可见光 ...

  7. npp夜光数据介绍 viirs_1.夜间灯光遥感数据概述

    1.夜间灯光遥感数据概述: 夜间灯光遥感数据主要来自于由美国国防气象卫星搭载的可见光成像线性扫描业务系统(DMSP/OLS)和国家极轨卫星搭载的可见光近红外成像辐射仪(NPP/VIIRS)获取的夜间灯 ...

  8. Suomi NPP VIIRS夜间灯光遥感数据简介与下载(一)——数据介绍,FTP下载与hdf5读取

    失踪人口回归+爷青回,本篇介绍下Suomi NPP VIIRS夜间灯光遥感数据下载. 文章目录 1 夜间灯光遥感数据简介 2 夜间灯光遥感数据下载 1 年和月尺度产品下载 2 日尺度产品下载 3 NP ...

  9. MODIS产品MCD12Q1数据介绍、下载与拼接重投影格式转换处理

    1.MODIS数据介绍 2.MCD12Q1数据介绍 MODIS三级数据土地覆盖类型产品(Land Cover data)是根据一年的Terra和Aqua观测所得的数据经过处理,描述土地覆盖的类型.该土 ...

最新文章

  1. Boost之正则表达式_[转]
  2. qt设置文本背景透明_Qt修改图片的背景色及设置背景色为透明的方法
  3. thinkphp如何跨模块调用方法呢?
  4. Linux之命令行快捷键(记住的我没写)
  5. 直播预告 |【数据挖掘主题报告】多样流量复杂场景中智能技术的研究与应用...
  6. TensorFlow笔记(11) GoolgeNet
  7. python安装numba_安装与Python 3.5适配的numba
  8. 异贝,通过移动互联网技术,为中小微实体企业联盟、线上链接、线上线下自定义营销方案推送。案例7
  9. web前端开发面试题(三)
  10. iphone 模拟滑动_如何在iPhone或iPad上滑动输入
  11. 银河麒麟桌面V10微信不能登录
  12. 屏幕录像机(bb flashback pro 4)pjb v4.1.21
  13. 苹果cms试看提示文字怎么改[苹果CMS技术教程]
  14. Scrapy去重操作
  15. 机器周期、振荡周期、时钟周期、状态周期???
  16. CornerStone —— 医学影像显示的JavaScript库简介
  17. ABP 多租户 对应多数据库 租户启动报错
  18. 荣耀magic鸿蒙版,荣耀Magic新机生猛:折叠屏+骁龙888+鸿蒙系统,赵明:超越华为...
  19. 布朗的计算机排名,布朗计算机工程硕士排名,千万好好考查
  20. 最简单web工程接收消息图片--微信企业号

热门文章

  1. 鲜花海报,文字与花儿碰上的时候,美妙
  2. 集设分享最全字体帮合集,愿这些作品能给你带来灵感和启迪。
  3. 超强干货素材!制作平面设计专辑模板
  4. 设计师中国风作品必备汉字毛笔字偏旁部首大集合
  5. python 浏览器自动化_Python利用splinter实现浏览器自动化操作方法
  6. Cookie,Session解决用户的会话跟踪问题
  7. AutoFDO自动反馈式优化
  8. ncurses鼠标事件:mousemask(),ALL_MOUSE_EVENTS,KEY_MOUSE,getmouse(),mouse_grafo(),wmouse_trafo()
  9. Java实现将二进制文件显示为图片(SU中的ximage)
  10. python基础字典(七)