CALIPSO Data User’s Guide - Lidar Level 1B v4.x Data Quality Statement

2016年11月8日发布的CALIPSO 4.10版本激光雷达1B级数据产品概要
- 更新后的数码高程图(DEM)
- 包括MERRA-2数据
2014年3月发布的CALIPSO 4.00版本激光雷达1B级数据产品概要
- 532nm夜间校准
- - 图1:2010年10月夜间测量的月平均532 nm校准系数。为3.01版本数据发布计算的校准系数如左图所示。在版本4.0算法的预发布测试中计算的校准系数如右图所示。
- 引用:
- 532nm日间校准
- - 图2:2010年7月日间晴空减弱散射比(a)版本3和(b)版本4。面板(c)显示了从版本3到版本4日间晴空衰减散射比的百分比变化(红色表示增加)。南大西洋异常被排除在外。
  - 图3:2010年1月、4月、7月和10月(a)第3版和(b)第4版中24 - 30公里处日间和夜间晴空衰减散射比。南大西洋异常区被排除在外。
  - 图4:2010年10月日间测量的月平均532纳米校准系数。为3.01版数据发布计算的校准系数显示在左侧。在版本4.0算法的预发布测试中计算的校准系数显示在右侧。
- 引用:
- 1064nm日间和夜间校准
- - 图5:2010年10月的月平均1064纳米校准标度因子。版本3比例因子显示在左侧；版本4比例因子显示在右侧。上面板显示夜间数据，下面板显示白天数据。
  - 图6:2010年10月的月平均1064纳米校准系数。1064纳米校准系数是532纳米校准系数和1064纳米比例因子的乘积。版本3校准系数显示在左侧；版本4校准系数显示在右侧。上面板显示夜间数据，下面板显示白天数据。
- 引用：
- QC Flag 2
- 新参数
- Surface_Saturation_Flag_xxxx
- Surface_Saturation_Index_xxxx
- Negative_Signal_Anomaly_Index_xxxx

2016年11月8日发布的CALIPSO 4.10版本激光雷达1B级数据产品概要

2016年11月8日，CALIPSO项目开始发布CALIPSO激光雷达1B级数据产品的4.10版本。CALIPSO版本4.10 (V4.10)激光雷达1B级数据产品使用的校准算法与2014年3月发布的版本4.00 (V4.00)中首次采用的相同，都经过了很大的改进(见下文)。V4.10版本的改进在于用于表面检测和校准的辅助数据。V4.00中使用的GTOPO30数字高程模型(DEM)已被CloudSat项目开发的更精确的DEM所替代。仪器小组(FP-IT)气象预报产品的全球建模和同化办公室(GMAO)正向处理已被更高质量的现代回顾性分析研究(MERRA-2)再分析产品所取代。

更新后的数码高程图(DEM)

自CALIPSO任务开始以来，地面高程一直参照GTOPO30 DEM。许多地表高度的误差已被查明，特别是在格陵兰岛和南极洲以及偏远山区。为了解决这些差异，并补充改进新2级产品的表面检测技术，GTOPO30已被CloudSat团队开发的新DEM所取代。使用CloudSat DEM也将使两个任务有一个共同的表面参考。释放前分析表明，新DEM的应用显著提高了CALIPSO 2级地表探测精度。

包括MERRA-2数据

通过用现代研究回顾分析(MERRA-2)产品取代仪器团队(FP-IT)全球气象产品的全球建模和同化办公室(GMAO)正向处理，提高了CALIOP校准的准确性和可靠性。MERRA-2吸收了光晕上微波肢体传感器(MLS)的温度测量结果，而FP-IT分布则没有。MLS同化提供的校正提高了校正系数，特别是在极地地区。目前的GMAO和MERRA-2之间的分析显示臭氧数密度差别很小，但分子密度有可测量的差别。分子密度的差异不超过5%，但主要集中在南部高纬度地区，并反映了MERRA-2相对于FPIT的温度变化。

2014年3月发布的CALIPSO 4.00版本激光雷达1B级数据产品概要

2014年3月31日，CALIPSO项目开始发布CALIPSO激光雷达1B级数据产品的4.00版本。版本4激光雷达1级数据产品目前仅在再处理模式下生成，还没有相应的2级激光雷达数据产品。在可预见的未来，所有CALIPSO 3.3版本数据产品(即、激光雷达、wells, IIR)将继续生产的处理方式,使用版本3.3与3.3版本2级产品一级产品作为输入的卡利普索激光雷达一级b 4.00版本数据产品生成使用大幅升级分析软件,结合改进的校准算法对532 nm和1064 nm在夜间和白天数据采集时间。这些和V4激光雷达1B级产品的其他更改将在下面的部分中描述。

532nm夜间校准

在4.00版本中使用的CALIOP 532 nm夜间校准算法进行了重大更改。在以前的版本中，这个校准是通过在30-34公里高度范围内的分子归一化来进行的，假设这些高度上几乎没有气溶胶(Powell et al.， 2009)。然而，现在已经证明，该地区的气溶胶负荷大于发射前的预期，特别是在热带地区(Vernier et al.， 2009)。由于版本3的校正没有考虑到这些气溶胶，偏差(即在532 nm夜间数据的校准系数中引入了高估)，这些偏差随后扩展到532 nm白天和1064 nm白天和夜间数据。在版本4中，分子归一化应用于36-39千米，这接近于CALIOP测量的上限。来自SAGE II和GOMOS的独立数据表明，该地区几乎完全没有颗粒物。为了弥补由于移动到更高的校准高度而造成的信噪比损失，version 4校准算法现在对多个夜间颗粒(即轨道段)。校准系数的相对不确定度总体上在1-2%左右，最高值出现在南大西洋异常和极地地区。由于在版本3校准软件中发现编码错误，版本3数据产品中报告的532 nm夜间校准不确定度低估了实际不确定度约3倍。这个bug已经在版本4软件中消除了。

与第三版相比，修正后的校正方法总体上使纬向平均校正系数降低了约3%。x值。这进而导致总衰减后向散射系数增加相同的数量。30-34公里区域的衰减散射比(SR)比以前的版本增加了5%，表明季节变化与Vernier等人(2009)的预测一致。在这些高度的平流层气溶胶负荷现在已被卡利普测量清楚地捕捉到，表现为与平流层动力学一致的空间结构。同样，在8-12公里的晴空散射比中，热带地区出现了异常的下沉(SR < 1)。x数据产品现在不再这样做了。版本3显示了在SR < 1的极地区域的扩展区域。在版本4校准区域中改进的数据过滤策略现在基本上消除了在以前版本中发现的这些异常。

图1:2010年10月夜间测量的月平均532 nm校准系数。为3.01版本数据发布计算的校准系数如左图所示。在版本4.0算法的预发布测试中计算的校准系数如右图所示。

图1显示了2010年10月夜间月平均532纳米校准系数，该系数是针对版本3.01(左)和版本4.00算法的预发布测试(右)计算的。在3.01版本的数据中，热带平流层烟雾层的存在作为位于赤道和北纬20度之间的高校准系数区域是清晰可见的。南大西洋异常区(SAA)也是以约20 S和约40 W为中心的简化校准系数椭圆形。相比之下，4.00版本的数据中没有出现这两种地球物理特征。在这两幅图像中，当卫星接近昼夜终止点时，南半球校准系数的减小表明机载热环境的变化干扰了激光发射器和接收器之间的对准。从3.01版到4.00版，校准系数的中值减少约3%。

引用:

Powell, K. A. et al., 2009: “CALIPSO Lidar Calibration Algorithms:
Part I - Nighttime 532 nm Parallel Channel and 532 nm Perpendicular
Channel”, J. Atmos. Oceanic Technol., 26, 2015-2033,
doi:10.1175/2009JTECHA1242.1.
Vernier, J.-P. et al., 2009: “Tropical stratospheric aerosol layer
from CALIPSO lidar observations”, J. Geophys. Res., 114, D00H10,
doi:10.1029/2009JD011946.

532nm日间校准

白天532 nm的校准是通过将未校准的白天信号引用到在假设背景气溶胶负荷的昼夜变化不存在的空间匹配区域中校准的夜间信号得到的(Powell et al. 2010)。在第4版中，夜间-今天校准转换区域被提升到更高的高度，以避免云层，并增加用于计算白天校准系数的样本数量。与版本4转移地区仍然是4公里深,与以前的版本一样,但现在在400 K等熵面,总是在对流层顶,从气象学角度看上面活跃气氛斯(1991)的一部分,从而更好的满足假设没有转移地区的昼夜变化。由于夜间校准系数的相应降低，对流层中4号白天532纳米校准系数比3号小约5%。随后，对流层的衰减散射比(或等效衰减后向散射系数)现在要高几个百分点，在两极附近最大增加约5%(图2c)。

图2:2010年7月日间晴空减弱散射比(a)版本3和(b)版本4。面板©显示了从版本3到版本4日间晴空衰减散射比的百分比变化(红色表示增加)。南大西洋异常被排除在外。

白天对两个532纳米通道的1级处理也增加了新的校正，以提高信号水平较低的高海拔地区的测量精度。虽然校正很小，但在反向散射信号也很小的高海拔地区，它的相对影响很大。因此，修正降低了版本3(图2a)中对高海拔散射比的过高估计，使得版本4(图2b)中该区域的平均衰减散射比等于1。

在版本3中，高海拔地区白天和夜晚的晴空衰减散射比之间的一致性很差，并且随纬度而变化，这可能是由于气溶胶载荷和云的日变化减少了版本3校准转移区8-12公里的晴空样本的潜在数量(图3a)。第4版显示，在第4版校准转移区域之上，白天和夜晚的晴空衰减散射比之间的一致性有了显著的改善(达到1 3%以内)，证明了(1)假设在这些高度平流层气溶胶载荷没有日变化的有效性，(2)晴空衰减散射比的白天/夜晚一致性甚至保持在它们被迫一致的昼夜校准转移区域之上，以及(3)第4版校准程序针对白天和夜晚仪器行为的差异进行了调整。

图3:2010年1月、4月、7月和10月(a)第3版和(b)第4版中24 - 30公里处日间和夜间晴空衰减散射比。南大西洋异常区被排除在外。

版本3中提供的日间校准不确定性的粗略估计已在版本4中被使用严格误差传播导出的改进估计所取代。除极点附近外，所有纬度的日间校准系数的随机不确定性都小于1%，并且通常小于相应的夜间校准不确定性，因为日间校准平均了更多样本。版本4的校准不确定度估计值在昼夜终端上是连续的，并且在版本4中，白天校准不确定度在极点附近增加，以便与夜间对应值平滑合并。

图4:2010年10月日间测量的月平均532纳米校准系数。为3.01版数据发布计算的校准系数显示在左侧。在版本4.0算法的预发布测试中计算的校准系数显示在右侧。

图4显示了2010年10月针对版本3.01(左)和版本4.00算法预发布测试计算的日间月平均532纳米校准系数(右)。从版本3.01到版本4.00的校准系数的中值减少约6%。

引用:

Hoskins, B. J., 1991: “Towards a PV-Θ view of the general
circulation”, Tellus, 43AB, 27-35,
doi:10.1034/j.1600-0889.1991.t01-3-00005.x.
Powell, K. A. et al., 2010: “The CALIOP 532-nm Channel Daytime
Calibration: Version 3 Algorithm”, Proceedings of the 25th
International Laser Radar Conference, 5-9 July 2010, St.-Petersburg,
Russia, 1367-1370, ISBN 978-5-94458-109-9.

1064nm日间和夜间校准

版本4包括为1064纳米日间和夜间校准重新设计的算法(Vaughan等人。，2012年)。CALIOP 1064信道没有足够的分子反向散射来参考高海拔的晴空，因此计算比例因子来匹配来自卷云的1064 nm信号和相应的532 nm信号，假设卷云的1064/532反向散射比应该接近1。1064纳米校准系数是该1064纳米比例因子和532纳米校准系数的乘积。在版本4中，这些1064纳米比例因子作为颗粒经过时间的函数进行计算和应用，以更好地表示532和1064信号沿轨道段的相对变化。比例因子计算中使用的卷云选择标准在第4版中也发生了显著变化(沃恩等人。，2012年)。新标准在南纬地区提供了大量的云样本，并从参考集合中移除了水云、许多极地平流层云和非常薄的卷云。因此，1064纳米校准衰减后向散射的精度比CALIOP版本3有了很大提高，方法是将测量伪像引起的纬度变化降至最低，并选择更合理地预期具有接近1的1064/532信号比的参考目标。

图5显示了2010年10月夜间数据(顶行)和白天数据(底行)在版本3(左)和版本4(右)之间1064纳米比例因子的变化。第3版比例因子显示非常高的夜间值和非常低的白天值之间有很大的不连续性，同时相邻轨道段之间的值也有突变。另一方面，版本4的比例因子作为轨道运行时间的函数平滑变化，在两个终端都有连续的值。夜间平均标度因子从V3到V4的变化幅度在20%低(北半球)到7%高(南半球)之间，夜间平均差值低6%。白天的平均比例因子在14%以下(北半球)到19%以上(南半球)之间，中间的白天差异低3%。

图5:2010年10月的月平均1064纳米校准标度因子。版本3比例因子显示在左侧；版本4比例因子显示在右侧。上面板显示夜间数据，下面板显示白天数据。

图6显示了2010年10月夜间数据(顶行)和白天数据(底行)在版本3(左)和版本4(右)之间1064纳米校准系数的变化。图6顶行的数据表示图1所示的532纳米夜间校准系数乘以图5顶行所示的1064纳米夜间校准比例因子。同样，图6底部行的数据表示图4所示的532纳米日间校准系数乘以图5底部行所示的1064纳米日间校准比例因子。版本3 1064纳米校准系数显示出由版本3 532纳米校准系数和版本3 1064纳米比例因子引起的空间伪影和不规则性。与第3版数据相比，由新的校准和比例因子算法产生的第4版1064纳米校准系数在纬度和经度上变化平稳。夜间平均1064纳米校准系数从V3到V4的变化幅度在较低的22%(北半球)到较高的8%(南半球)之间，夜间平均差值低8%。日间平均1064纳米校准系数的范围在较低的20%(北半球)到较高的10%(南半球)之间，日间平均差值再次降低了8%。

图6:2010年10月的月平均1064纳米校准系数。1064纳米校准系数是532纳米校准系数和1064纳米比例因子的乘积。版本3校准系数显示在左侧；版本4校准系数显示在右侧。上面板显示夜间数据，下面板显示白天数据。

引用：

Vaughan, M. A. et al, 2012: “Chaos, Consternation and CALIPSO
Calibration: New Strategies for Calibrating the CALIOP 1064 nm
Channel”, in Reviewed and Revised Papers Presented at the 26th
International Laser Radar Conference (ILRC 2012), 25-29 June 2012,
Porto Heli, Greece, 655-658.

QC Flag 2

QC Flag_2中的位设置规则已被修改，以提供更准确的坏数据指示。从4.00版开始，

任何位的值为0表示数据良好
位11-16中的值1总是表示坏数据
对于所有其他位，值1表示超出正常预期范围的数据值，这可能表示坏数据，也可能不表示坏数据
偶尔随机出现的值1通常是由于辐射引起的噪声尖峰，并不表示数据不好。这些在穿过南大西洋异常区时将是最常见的。
除了下面提到的，值1持续几分钟可能是坏数据的指示，应该在使用数据之前进行调查。
位20-22中的值1可能表示极地平流层云的存在。这些只发生在极地冬季，可能会持续10分钟以上。它们并不表示坏数据。

QC_Flag_2的其他文档可在CALIPSO数据用户指南中找到。

新参数

描述表面回波特性的九个新参数被添加到版本4激光雷达等级1B数据产品中:

Surface_Saturation_Flag_532Par
Surface_Saturation_Index_532Par
Negative_Signal_Anomaly_Index_532Par
Surface_Saturation_Flag_532Perp
Surface_Saturation_Index_532Perp
Negative_Signal_Anomaly_Index_532Perp
Surface_Saturation_Flag_1064
Surface_Saturation_Index_1064

Surface_Saturation_Flag_xxxx

版本4第1级分析包括一个新的算法来估计从行星表面返回的信号饱和的可能性。对于三个测量通道中的每一个，使用8位整数分别报告该信息，该整数的值表示表面反向散射信号饱和的可能性。标志值如下:

0 = Not_Saturated
1 = Possibly_Saturated
2 = Certainly_Saturated

Surface_Saturation_Index_xxxx

该SDS是一个16位整数，用于在表面饱和标志xxxx可能饱和或肯定饱和的情况下识别最大信号值的高度阵列索引。对于表面饱和标志xxxx不饱和的情况，表面饱和指数xxxx设置为-1。否则，数值将介于277(约8.2公里)和577(0.5公里)之间。

使用表面信号导出光学深度的1B级数据用户被告知，只要表面饱和标志xxxx可能饱和或肯定饱和，激光雷达1B级衰减后向散射数据中记录的值可能基本上不代表真实信号值。

Negative_Signal_Anomaly_Index_xxxx

一种被称为“负信号异常”的现象发生在1B衰减后的反向散射水平在突然的强散射目标(如行星表面或致密云)开始时变得异常负的时候。这种效果可以出现在三个激光雷达通道中的任何一个，并且出现在所有版本的CALIOP级别1B产品中。此时，只有一个距离仓被认为在包含异常的剖面中受到影响。CALIPSO数据用户指南中提供了其他文档。CALIPSO团队目前正在调查负信号异常的原因。使用负信号异常索引xxxx SDS中的16位整数报告此现象的发生。对于不存在负表面异常的剖面，负信号异常指数xxxx设置为-1。否则，数值将介于277(约8.2公里)和577(0.5公里)之间。

建议1B级数据用户从他们的分析中排除由负信号异常指数识别的距离仓中衰减的反向散射。532纳米总衰减反向散射数据的用户应考虑平行和垂直通道的负信号异常指数。

原网页：CALIPSO - Data User’s Guide
https://www-calipso.larc.nasa.gov/resources/calipso_users_guide/data_summaries/l1b/CAL_LID_L1-Standard-V4-10.php

【粗翻】CALIPSO数据用户指南-激光雷达等级1B 4.x数据质量声明相关推荐

《鲜活的数据：数据可视化指南》第2章收集数据 Python3.3源码
全部源码和数据文件下载:仅供参考 <鲜活的数据:数据可视化指南>书中的python代码为2.x,在看书过程中把部分源代码转换为Python3.3格式. 运行环境:Windows7, Py ...
python数据科学指南是什么_《Python数据科学指南》——导读
前言如今,我们生活在一个万物互联的世界,每天都在产生海量数据,不可能依靠人力去分析产生的所有数据并做出决策.人类的决策越来越多地被计算机辅助决策所取代,这也得益于数据科学的发展.数据科学已经深入到 ...
WEB应用数据验证指南
WEB应用数据验证指南 1．为什么要验证数据? 如果不验证数据,容易导致WEB应用出现多种漏洞,比如:SQL注入攻击,命令注入攻击,跨站点脚本攻击,编码攻击,文件系统攻击和缓冲区溢出.因此,为了保护W ...
数据工程指南高级技能：处理框架
在之前的文章中,我们探讨了数据工程的入门知识和基础技能,接下来继续探讨高级技能. 数据工程指南系列: <数据工程指南:初学者入门> <数据工程指南:基础技能> <数据工程 ...
大数据用户画像之基本概念（一）
什么是大数据用户画像? 大数据用户画像指的是基于大数据技术和算法,对用户进行多维度的数据分析和挖掘,从而构建用户的详细描述和分析模型. 通过分析用户的基本信息.消费行为.兴趣爱好.社交行为.地理位置 ...
【2017年第4期】ISO/IEC JTC1/WG9大数据国际标准研究及对中国大数据标准化的影响...
光亮1,张群2 1.华为技术有限公司,北京 100085:2. 中国电子技术标准化研究院,北京 100007 摘要:ISO/IEC JTC1/WG9是制定大数据基础性国际标准的官方组织,WG9在研的大 ...
【CALIPSO】星载激光雷达CALIPSO产品数据下载教程
[CALIPSO]星载激光雷达产品下载教程星载激光雷达产品下载教程一.下载地址二.注册登录三.选择数据 1. 选择产品 2. 时间选择 3. 区域选择 4. 确认提交 5. 下载文件预览 6. ...
【Scikit-Learn 中文文档】34 预处理数据 - 数据集转换 - 用户指南 | ApacheCN
中文文档: http://sklearn.apachecn.org/cn/stable/modules/preprocessing.html 英文文档: http://sklearn.apachecn ...
《数据中心虚拟化技术权威指南》一2.2　数据中心网络拓扑
本节书摘来自异步社区<数据中心虚拟化技术权威指南>一书中的第2章,第2.2节,作者[巴西]Gustavo A. A. Santana,更多章节内容可以访问云栖社区"异步社区&qu ...

【粗翻】CALIPSO数据用户指南-激光雷达等级1B 4.x数据质量声明