An image transform to characterize and compensate for spatial variationsin thin cloud contamination of Landsat images

1.BackGround
- 1.1.存在问题
- 1.2.现有方法
- 1.3.本文贡献
2.HOT算法
- 2.1.基本思路
- 2.2.问题
3.对云和气溶胶类型的敏感性
4.示例结果
5.HOT在可见光波段应用的调整
- 5.1.CL定义
- 5.2.HOT影像生成
- 5.3.直方图生成
- 5.4.辐射平差估计
- 5.5.图像调整
说实话，没完全看懂

1.BackGround

1.1.存在问题

即使在陆地卫星场景地理覆盖范围有限的情况下（例如185-185公里），感兴趣的时间窗口也很少有大气清晰的场景可用。
对于朦胧的场景，通常缺乏辅助数据来进行绝对大气校正。
空间变化的半透明云层和气溶胶层（以下简称“霾”）的污染是一个常见问题，影响到现有陆地卫星档案中的大部分场景。

光学深度（optical depth）指的是物质层不透明性的量度。即介质吸收辐射的能力的量度，等于入射辐射强度与出射辐射强度之比。

1.2.现有方法

- Dark Target Subtraction Methods
从直方图下界估计特定于波段的灰度偏移。然后在场景范围内应用这些偏移。可以通过将场景划分为子区域并估计每个子区域的直方图下限来扩展到场景内烟雾变化的建模
参考：An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data
问题：精确的直方图下限估计需要大量像素，这种扩展只能用于模拟粗略尺度的烟雾结构（即，在几十公里的尺度上）。
改进：结合DTSM和大气的物理特性.
参考：A dynamic regression algorithm for incorporating atmospheric models into image correction procedures.
**- 通过辐射测量变换分离出Haze **
在将Tasselled Cap（TC）变换扩展到TM传感器的过程中，烟雾主要显示在第四个TC分量中
问题：原始TC变换是专门为分离土壤和植被的表面辐射贡献（即“亮度”和“绿色”成分）而设计的，因此没有针对烟雾检测进行优化。
改进：开发了一种基于该TC变换的简化双波段版本（TM波段1和3）的气溶胶烟雾去除方法。

1.3.本文贡献

提出一种稳健的算法，提取霾和云在图像上的空间分布
提出一种利用烟雾变换图像对可见波段图像进行辐射调整的方法。对TM场景进行了处理和定量评估。

2.HOT算法

2.1.基本思路

找到一种变量可以量化大气对卫星图像辐射测量的影响，但同时对表面反射效应不敏感。必须满足：

选择一个光谱空间（即光谱波段的混合），在该空间内，在晴朗大气条件下，不同土地覆盖类型的光谱响应高度相关。这将在光谱空间中形成定义良好的表面响应向量。此后，我们将此矢量称为**“清晰线”（CL）。**
在选定光谱空间中，雾在不同波段的影响应当是不同的，因此当大气污染增加时，这个光谱空间的表示应当远离CL值
合适的变换是其系数定义为与CL正交的方向，并且响应幅度与偏离该线成比例的变换。因为光谱空间中对地表覆盖和大气变化的光谱响应不是正交的，所以变换响应将仅与大气诱导的辐射成比例。

由两个可见波段组成的简单光谱空间满足前两个标准，例如，陆地卫星TM（以下简称TM1和TM3）的波段1和3：

TM1–TM3光谱空间示意图，在晴朗的天空条件下，编码为A–K的常见地表覆盖类型的辐射显示出高度相关性，并定义了“清晰线”（CL）。
数值序列1-18表示0.5μm处的云深度在0-6.7之间被均等分为18分，说明了光学深度增加的雾度对像素“迁移”离开CL的影响。HOT通过其在光谱空间中与CL的垂直距离量化像素位置处的大气污染水平。

可以看到，不同的地表覆盖对应的TM1TM3在图上的点呈现出强烈的相关性，也就存在定义明确的CL，当存在大气污染（即云雾霾），就会偏离这条线
HOT量化像素从该线的垂直位移的变换如下：
HOT=B1sinθ-B3cosθ

2.2.问题

大多数场景中大气条件的绝对信息将不可用。
解决：角度必须根据从视觉上被认为是最清晰的场景区域中选择的像素进行估计，并且在场景之间会有所不同。然后使用HOT将场景的其余部分调整为与这些最清晰区域相同的大气条件，
对于每个表面类，“云雾”所在点产生的轨迹随着云雾增加（光学深度增加）会从CL发生迁移，并且：

恒定云线的斜率类似CL的斜率，光学深度类似于真实 CL 的斜率。如，图 1 中晴空 CL 的斜率是 1.03，而19 级云线的斜率为 0.98。这意味着雾度的一阶辐射调整可以是使用适当缩放.
对于上述选定波段，那些绝对反射率增加的表面，烟雾轨迹的斜率单调减小，说明所剔除的HOT对表面反射率存在一定的敏感度，或许需要二阶项对表面进行拟合
如何解决表面反射率变化带来的影响？
以HOT和TC转换的第四分量对应的相应水平来看（后一个波段是为了说明对光谱可见部分以外的波段应用热效应的可能性。），以下是模型的预测结果：
对于相同的雾度等级，不同表面覆盖等级的HOT是相似的，因此对于一阶而言，这种HOT转换与覆盖等级无关。
TC值表现出显著的变化，表明TC变换对表面反射率更为敏感。
并且由于云层光学深度增加和地表反射率增加，TC响应趋于增加。这意味着在TC变换图像中，表面引起的增加可能会被误认为是雾。
在变换（如HOT或TC）的实际应用中，必须指定一个阈值，低于该阈值时，不尝试进行雾度补偿，假设较低的变换后的值是雾度和表面成分的未分辨混合物。为了排除表面效应，TC的HAZE等效阈值必须远高于HOT。（因为上一条）
从TM场景P21/R26的清晰区域中选择的像素的HOT和TC变换值与TM1 DN级别的散点图3。模型预测（见图2）表明，与TC变换相比，HOT对地表反射率明显不敏感，这一预测得到了真实图像的证实。

3.对云和气溶胶类型的敏感性

讨论HOT对不同类型烟雾的依赖性问题。为此，选择了一个表面类别（针叶林），并为其生成了各种云和气溶胶条件下的烟雾轨迹

比较MODTRAN模型预测的不同纯云和纯气溶胶类型的烟雾“轨迹”。对于五种仅含气溶胶的情况，数字绘制在数据点位置。对于相同的地表覆盖类型，这些轨迹几乎重合，这表明HOT以类似的方式对不同类型的大气污染作出响应是稳健的。另一方面，它不能用于独立估计光学深度。地表覆盖类型为针叶林。
VIS表示能见度。为了进行比较，还提出了一种没有云和气溶胶的理想大气（1型）。

对于四种类型的光学深度为0.55AM的大气颗粒（冰晶、水滴、城市气溶胶和农村气溶胶）（d0.55=1.27），由于散射和吸收特性的差异，每个TM波段中相应的辐射发生变化。TM可见光波段的视在辐射率随大气条件的变化而增加，依次为冰云、城市气溶胶、水云和农村气溶胶，和HOT的响应类似。在所有TM波段，冰云的反射比水云少，因此，在TM图像中，冰云比具有相同光学深度的水云显得更暗。在相同云层光学厚度下，冰云的HOT也低于水云。
此外，模型结果还表明，在云和气溶胶的低光学深度范围内，TM1和TM3 DNs增加，但TM4随着HOT响应的增加而保持不变。这意味着，至少对于针叶林上方光学非常薄的云层或气溶胶层，不需要对TM4数据进行辐射补偿。由于大气气溶胶的吸收和散射特性可能因气溶胶成分的不同而有很大差异，因此我们预计，表现出相同光学深度的不同气溶胶不会在给定TM波段引起相同的光谱辐射变化。

4.示例结果

为了测试HOT的有效性，我们将其应用于七个场景中，这些场景覆盖了典型的加拿大景观，涵盖了从晴朗到半透明薄雾到不透明云的各种大气条件。

七个TM测试场景的热参数摘要，包括CL斜率（SCL）、TM1和TM3变换系数（分别为sinHand cosH）和相关系数rCL

JC：急流尾迹和尾迹诱导云，Ci：卷云，St：薄层云或雾，Cu：积云，Mi：雾或薄卷云。A–M的表面类型与表1中的表面类型相对应。

a）薄薄的薄雾层覆盖了同一图像左侧的大片区域。图像的右侧部分看起来最清晰，该区域被用作晴空区域，用于定义HOT的“CL”。根据粗略的检查，虽然总体上看是清晰的，但HOT图像和更详细的视觉分析显示，场景左侧存在薄薄的薄雾层。
b）TC变换图像中存在明亮的特征，这些特征显然与雾度无关，而是与高可见波段反射地面特征相关，如建筑群、道路和裸露地面。另一方面，HOT对这些目标不太敏感。
c）覆盖了主要由成熟林分和采伐后再生区域组成的混交林山区。山峰通常是贫瘠的岩石，部分被冰雪覆盖。一层薄薄的层云覆盖着一个宽阔的山谷，占据了场景的中部。HOT详细地捕捉到了这一特征，
d）层云或卷云层覆盖了山谷景观，包括森林和更新的低植被斑块。
e）针叶林/落叶林和农田上方有两个轨迹和积云团
f）在图像右侧，一个广泛、薄、透明的卷云系统与明亮的白色积云团重叠。
g）有发育良好的厚积云团和薄冰云顶。薄薄的卷云层与这些对流云团重叠。
通过所提出的转换，可以详细地检测不同的大气条件。

HOT是基于这样一个假设，即TM1和TM3辐射将与场景最清晰部分内的像素高度相关，并且这种关系适用于所有地表覆盖类型。 当某些表面类型在不同程度上违反了这一假设，就可能触发虚假的、非大气的HOT。比如：

积雪和雪上的阴影。这些区域很容易与多云像素混淆。 幸运的是，这个问题可以克服，因为雪和云可以通过其他方式分离，例如，通过基于TM波段5数据的分析生成雪遮罩
水体。某些但并非所有水面上的HOT相对较高。 与雪一样，可以通过创建水体遮罩（例如，通过对近红外TM4图像进行阈值化）轻松克服此问题。
裸露的土壤。 裸露土壤区域的HOT响应似乎相对较低。在非常低的雾霾条件下，与邻近作物相比，休耕地在热图像中是暗的。

5.HOT在可见光波段应用的调整

一种使用热图像对陆地卫星图像的可见波段进行辐射调整的方法。简言之，本程序包括以下步骤。

CL定义
HOT影像生成
直方图生成
辐射平差估计
图像调整

5.1.CL定义

对场景进行目视检查，以确定其最清晰的区域。该区域中的示例子图像及其组成像素的TM1和TM3 DNs被回归以定义CL，从而定义HOT系数。

5.2.HOT影像生成

变换应用于每个像素以生成热图像（图7c的左面板）。主导场景中心部分的主要雾度特征显示的热值范围为30–40，而更高的值与周围的孤立云相关。

5.3.直方图生成

对于每个可见波段，将为根据其HOT级别分组的像素生成DN直方图。这一分组以从最清晰到最模糊的HOT级别的窄增量进行。

根据热级别分组的像素的TM3 DN级别直方图。观察到直方图下限值随着热度的增加而增加，这与烟雾对图像辐射测量的加性效应是一致的。
由于在可见光带中，霾增加了观测到的辐射，预计随着HOT辐射水平的增加，这些直方图将系统地迁移到更高的DN水平。

5.4.辐射平差估计

利用一种“暗目标”减法将图像标准化为最清晰区域的辐射水平。以TM1为例。对于这个波段，清晰像素（即热=30）的直方图下限约为20 DNs。考虑一个模糊的像素，观察到的HOT水平为40。它是具有下限27的直方图的成员。这意味着在辐射测量调整阶段，像素的波段1 DN级别应减少7。

5.5.图像调整

说实话，没完全看懂

遥感影像云检测-传统方法-：Haze Optimized Transformation（HOT）方法相关推荐

遥感影像云检测-云检测数据集信息及下载
常用云检测数据集信息及下载 1.LandSat7云量评估数据集 2.LandSat8-Biome生物群落云量评估数据集 3.LandSat8-38Cloud数据集 4.高分系列-GF1-WHU遥感影像 ...
遥感影像云检测-现有光学遥感卫星数据参数合集
现有光学遥感卫星 1.MODIS卫星介绍 1.1.MODIS传感器简介 1.2.MODIS传感器基本参数 1.3.MODIS 数据特点及波段分布特征 1.4.MODIS 数据产品产品级别及类型 1.4 ...
ISPRS2021/遥感影像云检测：一种地理信息驱动的方法和一种新的大规模遥感云/雪检测数据集
ISPRS2021/云检测:A geographic information-driven method and a new large scale dataset for remote sensin ...
TGRS2020/云检测：Deep Matting for Cloud Detection in Remote Sensing Images深度抠图在遥感图像云检测中的应用
TGRS2020/云检测:Deep Matting for Cloud Detection in Remote Sensing Images深度抠图在遥感图像云检测中的应用 0.摘要 1.概述 2.云 ...
2022TGRS/云检测：用于遥感图像云检测的无监督域不变特征学习Unsupervised Domain-Invariant Feature Learning for Cloud Detection
2022TGRS/云检测:Unsupervised Domain-Invariant Feature Learning for Cloud Detection of Remote Sensing Im ...
遥感影像目标检测：从CNN（Faster-RCNN）到Transformer（DETR）
我国高分辨率对地观测系统重大专项已全面启动,高空间.高光谱.高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全的基础性和战略性资源.未来10年全球每天获取的观测 ...
遥感图像云检测数据集CHLandsat8
CHLandsat8数据集数据集存储地址:https://pan.baidu.com/s/1dwKOuq-kDVAXebV8jy-DaQ?pwd=91jn 裁剪和拼接程序:https://githu ...
基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割
随着无人机自动化能力的逐步升级,它被广泛的应用于多种领域,如航拍.农业.植保.灾难评估.救援.测绘.电力巡检等.但同时由于无人机飞行高度低.获取目标类型多.以及环境复杂等因素使得对无人机获取的数据处理 ...
基于yolov5n的轻量级MSTAR遥感影像目标检测系统设计开发实战
做过很多目标检测类的项目了,最近看到一个很早之前用过的数据集MSTAR,之前老师给的任务是基于这个数据集来搭建图像识别模型,殊不知他也是可以用来做目标检测的,今天正好有点时间就想着基于这个数据集来做一 ...

遥感影像云检测-传统方法-：Haze Optimized Transformation（HOT）方法