论文阅读：Channel Augmented Joint Learning for Visible-Infrared Recognition
摘要
本文针对可见光红外识别问题，提出了一种强大的信道增强联合学习策略。对于数据增强，大多数现有方法直接采用为单模态可见光图像设计的标准操作，因此在可见光到红外匹配中没有充分考虑图像特性。我们的基本思想是通过随机交换颜色通道来均匀地生成与颜色无关的图像。它可以无缝地集成到现有的增强操作中，而无需修改网络，从而持续提高对颜色变化的鲁棒性。结合随机擦除策略，通过模拟随机遮挡，进一步丰富了多样性。对于跨模态度量学习，我们设计了一种增强的通道混合学习策略，以同时处理具有平方差的跨模态和跨模态变化，从而获得更强的可分辨性。此外，还进一步提出了一种信道增强联合学习策略，以明确优化增强图像的输出。对两个可见-红外识别任务进行深入分析的大量实验表明，所提出的策略持续提高了识别精度。
引言
数据增强方法
（1）通道可交换增强（CA）：在输入图像级别缩小间隙，同时保留信息丰富的颜色信息。主要思想的说明
。
上图所表示的意思是，消除模态差异的直接解决方案是恢复原始的三个颜色通道。然而，将单通道红外图像转换为三通道可见光图像是一个具有挑战性的问题，噪声不可避免。所以，我们建议直接了解可见光图像的每个R、G和B通道与单通道红外图像之间的关系。这可以作为可见光到红外学习过程的通道增强操作，以增强对颜色变化的鲁棒性。
（2）随机擦除（CRE）：进一步提出了一种用于遮挡模拟的随机擦除（CRE）技术。结合信道增强，我们的策略在信道级别执行擦除，以获得更好的多样性。
（3）灰度变换增强（GA）：包括一个灰度变换增强，减少色彩效果。
上述这些扩充操作极大地扩展了训练集，带来了更好的通用性。
度量学习：
增强的通道混合学习方案：使用相同的身份分类器和度量，在混合批次中直接优化原始可见光、红外和通道增强模式的特征嵌入。
具体地说，我们设计了一个加权正则化的三重态损失和增强的平方差用于跨模态度量学习，同时处理跨模态和跨模态的变化。我们的设计有两个主要优点：1）它充分考虑了增强图像集中所有可能的三重态关系。2） 平方差近似于大幅度度量学习原理，以提高可分辨性。
我们还开发了一种通道增强联合学习策略，以明确优化用于训练的通道增强图像。其基本思想是将通道增强的可见图像作为附加模态，形成一个三模态联合学习框架。它略微增加了每个训练步骤的计算负担，但在不增加额外成本的情况下持续提高了测试精度。
贡献：
（1）提出了一种新的用于可见光红外识别的通道可交换增强算法。它可以无缝地集成到现有的增强操作中，而无需修改网络结构或改变学习策略
（2）我们设计了一个增强的通道混合学习方案，以同时处理通道内和通道间的变化。通过联合学习策略，它明确地优化了通道增强图像
（3）我们评估了可见红外人员再识别和人脸识别，在各种设置下实现了显著的准确性提高。
本文提出的通道增强
跨模态可见红外匹配旨在学习可见光和红外特征提取网络。学习目标是根据上述损失函数优化三通道RGB空间中可见光图像的提取特征与单通道空间中近红外图像的特征之间的关系。
随机通道可交换增强（CA）：
进行随机通道可交换增强的原因：三通道彩色可见光图像包含丰富的外观信息，颜色信息有利于可见光红外匹配。
本文显式地学习匹配可见光图像的三个通道和红外图像单通道。通过挖掘可见光图像每个通道（R、G或B）与单通道红外图像之间的关系，引入了一种通道增强策略。
这种通道增强策略的主要思想：随机选择一个通道（R、G或B）来替换其他通道，通过集中在一个通道上生成新的训练图像。公式如下
对于这种通道增强生成的图像，为了优化与单通道空间中近红外图像的特征之间的关系，损失函数为：
通道可交换增强（CA）的作用：该策略模型f显式的学习可见光图像的三个通道和红外图像单通道之间的关系。
为了证明使用了CA后学习到的对颜色变化的鲁棒性，我们将下图中的成对正相似性分数（属于同一身份）和负相似性分数分布（属于不同身份）可视化。
注意：Variation-Infrared表示在测试集中RGB图像随机应用灰度变换或通道增强，模拟颜色变化。
上图中x轴表示余弦相似性得分（余弦相似度是通过衡量两个向量间的夹角大小，通过夹角的余弦值表示结果，余弦相似度的取值为[-1,1]，值越大表示越相似），y轴表示每个量化相似性单元的标准化值。
通过上图可以发现三点：
（1）通道增强增强了正匹配对的不变性，加了CA的成对正相似性分数通常没加CA的分数大得多。结果表明，当采用通道增强时，方差也会减小。这意味着使用CA训练的模型在输入颜色变化方面更稳定。
（2）通道增强还为负匹配对引入了更大的差异，即成对的负相似性也略微减少。主要原因是随机的颜色变化会给不匹配的负样本对带来更大的外观变化，从而引入更大的方差。
（3）所提出的通道增强方法大大提高了表示对颜色变化的鲁棒性（由右上图和右下图的rank1分数可以看出）。
通道级随机擦除（CRE）：
结合上述所讲的CA，我们设计了一种通道级随机擦除（CRE）策略，以丰富训练样本的多样性。
具体方法：
通道级随机擦除（CRE）的优点：(1)在通道级实现了增强，为跨模态特征表示学习提供更丰富的监督。与通道增强一起，删除的图像极大地扩大了训练样本集。
（2）擦除的图像还提高了对图像噪声的鲁棒性，例如部分遮挡、不完美检测。
灰度变换（GA）
将随机灰度变换作为增强补充操作，增强对可见红外识别颜色变化的鲁棒性。
跨模态度量学习
介绍了两种跨模态度量学习策略，即增强的通道混合学习策略和通道增强联合学习策略
增强的通道混合学习策略
如下图所示
基线：一般的跨模态匹配模型通常采用双向三重损失（可见光到红外、红外到可见光）的变形来指导跨模态特征学习，优化跨模态正、负对之间的相对距离。这种策略的缺点是不能处理模态内的变化，为了同时处理模态内和跨模态的变化，本文提出了通道混合（我的理解应该是模态混合）学习策略，构造了一个包含不同模态的batch,它在Lid和Lwrt的指导下直接优化关系，而不考虑模态变化。
Lid损失：
我的理解是是真实的标签值，
为真实标签所对应的值与所有值总和的比值。
Lwrt损失：
首先我们把加权正则化三元组损失和难样本挖掘三元组损失做对比
难样本挖掘三元组损失
从公式可以看出难样本挖掘挖掘三元组损失只考虑与最难正样本和最难负样本的距离，但是加权正则化三元组损失综合考虑所有的正样本和负样本。给所有的正样本和负样本一个权重，这个权重是根据他们与目标样本的距离计算。
加权策略为softmax函数的加权策略，使用这种策略的好处是大大增加了距离较大（较小）的硬样本对正（负）值的贡献。
增强平方差：
上式中画框的测量对距离的是l1范数，增强平方差即对这部分做了改进。改进如下：
使用了增强平方差之后的效果为：
图中x轴是ui，纵坐标是贡献度。从图中可以看出：
通道增强联合学习策略
如图所示
将通道增强可见光图像作为一种辅助模态，与原始的可见光和红外图像一起，制定了一个三模态联合学习框架。虽然通道增强图像作为一种附加模式，但它们与红外和可见光图像共享相同的身份分类器。这种策略可以使模型专注于学习不同的特征表示。
介绍
通道增强联合学习策略在不改变网络结构的情况下充分利用通道增强图像。对于相同数量的可见光和红外输入图像，它在训练过程中需要大量内存，但在测试阶段与标准设置保持一致。另一个好处是，这种策略形成了一个大批量，为跨模态特征学习提供了更多信息的硬样本。大量实验验证了在不同环境下的一致性改进。
实验结果
论文阅读：Channel Augmented Joint Learning for Visible-Infrared Recognition相关推荐
- 论文阅读32 | Channel Augmented Joint Learning for Visible-Infrared Recognition
论文:Channel Augmented Joint Learning for Visible-Infrared Recognition 出处:CVPR 2021 1.摘要 这篇文章介绍了一种通道增强 ...
- 论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition
论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition code: https://gitee.com/mind ...
- 论文阅读笔记——DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects)
论文阅读笔记--DLT-Net: Joint Detection of Drivable Areas, Lane Lines, and Traffic Objects 论文简介 1 引言 2 DLT- ...
- 论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要 简介和相关工作 方法 表征学习 语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
- Zero-shot Learning零样本学习 论文阅读（一）——Learning to detect unseen object classes by between-class attribute
Zero-shot Learning零样本学习 论文阅读(一)--Learning to detect unseen object classes by between-class attribute ...
- 年龄论文阅读——Deep Label Distribution Learning With Label Ambiguity
论文阅读--Deep Label Distribution Learning With Label Ambiguity 版权声明:本文为博主原创文章,未经博主允许不得转载.https://blog.c ...
- 论文阅读|node2vec: Scalable Feature Learning for Networks
论文阅读|node2vec: Scalable Feature Learning for Networks 文章目录 论文阅读|node2vec: Scalable Feature Learning ...
- 【论文阅读】Weakly Supervised Learning of Instance Segmentation with Inter-pixel Relations
一篇经典的弱监督分割论文,发表在CVPR2019上面 论文标题: Weakly Supervised Learning of Instance Segmentation with Inter-pixe ...
- 【论文阅读】Neural Transformation Learning for Deep Anomaly Detection Beyond Images 异常检测，可学习变换，时间序列，表格数据
本博客系博主阅读论文之后根据自己理解所写,非逐字逐句翻译,预知详情,请参阅论文原文. 论文标题:Neural Transformation Learning for Deep Anomaly Dete ...
最新文章
- Xonsh库——Python和Shell语法互通
- java+script+当前日期_如何在JavaScript中获取当前日期？
- canopy算法 java_mahout源码canopy算法分析之二CanopyMapper
- Illegal access: this web application instance has been stopped already
- ResorceGovernor--基础和Demo
- Windows开启远程桌面服务（Win10）
- LeetCode 50. Pow(x, n)（二分查找）
- java面试中mysql_面试官：Mysql 中主库跑太快，从库追不上怎么整？
- 05使用jmeter里调试一个下单接口
- Flash捕神--swf seeker 下载试用版
- 粗浅看 Tomcat系统架构分析
- javascript实现blob流、base64，file、base64的互相转换
- kotlin转java_Kotlin 与 Java 代码之间的转换
- 使用ShowDoc在线管理API接口文档
- elasticsearch对analyzed字段无法使用term方法的解决办法
- jquery动画顺序执行_深入理解jquery自定义动画animate()
- 可自定义存储数据总空间的的类int_128函数库
- 迪赛智慧数——柱状图（堆叠极扇图）：近5年各行业员工离职率
- 基于线性回归对男性体脂率的预测
- 计算机一级汉字录入在线联系,计算机一级考试指导：汉字录入题的操作(3)