课题文献调研

CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances

在上一篇SSD的阅读中提出，在OOD检测中，他的表现不如这篇文章（仅仅是ood检测，别的下游任务的表现还是很棒的），基于自己的工业数据，baseline仅达到了auroc78，所以还需要继续深入探讨如何优化模型

文章目录

课题文献调研
摘要
Introduction
- 研究了以下两个问题：
- 点子：
- 对比学习基础上的两个新贡献：
CSI: Contrasting shifted instances
- 2.1 Contrastive learning
- 2.2 Contrastive learning for distribution-shifting transformations
- - （1）contrasting shifted instances
  - （2）Classifying shifted instances
  - （3）OOD-ness: How to choose the shifting transformation?
- 2.3 Score functions for detecting out-of-distribution
- - Detection score for contrastive representation.（基本的检测分数）
  - Utilizing shifting transformations（我们融合了的）
- 2.4 Extension for training confidence-calibrated classifiers

摘要

（1）提出了一个简单有效的方法：contrasting shifted instances(CSI)

（2）除了将给定的样本和其他实例对比之外，还与自身的分布位移作对比

（3）基于这样的训练方案，提出了新的检测分数

Introduction

研究了以下两个问题：

（1）怎样学习到OOD数据的discriminative representation

（2）怎样设计一个评分函数

这和标准的表示学习有区别，即我们的任务是区别OOD数据和ID数据，而表示学习的目的是区别in-distribution samples

点子：

可以通过"hard" augmentations 例如rotation 来提升模型的表现（rotation对于对比学习来说是harmful and unused）
目前的对比学习方案将所有增强的数据拉近到原始的数据，我们提出的方案增加的想法是：将通过“hard or distribution-shifting augmentations”远离原始样本

对比学习基础上的两个新贡献：

（1）新的训练方法：除了将给定样本和其他实例对比外，还和自己的distribution-shifting augmentations进行对比

（2）分数函数，使之融合了对比学习方法和（1）中的方法

研究表明它在保持分类精度的同时，缓解了分类器在预测分布内和分布外样本时的过度自信问题。

CSI在hard(或接近ID分布)的OOD样本中给出了较大的改进*（本人的OOD数据都是很接近真实样本的数据）*

CSI: Contrasting shifted instances

2.1 Contrastive learning

见SimCRL损失函数

2.2 Contrastive learning for distribution-shifting transformations

Chen等人对在SimCLR中使用哪个增广T族导致更好的表示进行了广泛的研究，即，哪些变换应该被认为是阳性的。总的来说，作者报告了一些增强(如旋转)，有时会降低SimCLR的鉴别性能。我们的一项重要发现是，可以这种增强视为来自原始样本的“negative”。
在本文中，我们研究了一系列的增强（可以称这种变化为“distribution-shifting transformations”）将其视为negative 应用在SimCLR中用于异常检测。

（1）contrasting shifted instances

S=S0,S1,...,SK−1{S_0,S_1,...,S_{K-1}}S0,S1,...,SK−1 ,其中S0=identityIS_0=identity IS0=identityI,

视distributionally-shifted 样本（S1,S2,...S_1,S_2,...S1,S2,...）为原始样本产生的OOD样本，
con-SI鉴别了ID样本（i.e.S=Ii.e. S=Ii.e.S=I）和OOD样本(S∈S1,S2,...SK−1S \in {S_1,S_2,...S_{K-1}}S∈S1,S2,...SK−1)

虽然con-SI并没有改善标准分类的表示（即没有改善ID数据的分类），但它确实显著提高了OOD的检测

（2）Classifying shifted instances

除了（1）的任务之外，我们考虑了一个辅助任务，该任务预测对给定的输入x应用哪种移位变换，以便于fθf_θfθ区分每个移位实例。具体而言，我们在fθf_θfθ上添加一个线性层，用于建模一个辅助的softmax分类器

我们提出的方法CSI的最终损失是通过结合两个目标来定义的:

（3）OOD-ness: How to choose the shifting transformation?

我们选择能够产生最像OOD样本但又具有语义意义的样本的shifting transformation。直观地说，这样的样品可能是最有效的(“很接近”但“不是特别接近”)OOD样品，

通过in-distribution vs transformed samples 的AUROC，用2.3的（6）式来评价transform的好坏

2.3 Score functions for detecting out-of-distribution

我们首先提出一个检测分数，适用于任何对比表示。然后，我们提出融合“对比分类shifted instance"额外信息的检测分数

Detection score for contrastive representation.（基本的检测分数）

SimCLR表示的两个特点对于检测OOD样本是惊人的有效:

(1)与{xm}{\{x_m\}}{xm}中最近的训练样本的余弦相似度，即maxsim(z(xm),z(x))max sim(z(x_m), z(x))maxsim(z(xm),z(x))

(2)表示的范数，即∣∣z(x)∣∣||z(x)||∣∣z(x)∣∣。

将这两个特点结合起来，得到了：

Utilizing shifting transformations（我们融合了的）

2.4 Extension for training confidence-calibrated classifiers

这些extension都是Supervise的，由于答主是one-class，所以不做探讨

【文献阅读】CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances相关推荐

文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
文献阅读:SimCSE:Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS ...
谣言检测文献阅读四—Reply-Aided Detection of Misinformation via Bayesian Deep Learning
系列文章目录谣言检测文献阅读一-A Review on Rumour Prediction and Veracity Assessment in Online Social Network 谣言检测 ...
谣言检测文献阅读二—Earlier detection of rumors in online social networks using certainty‑factor‑based convolu
系列文章目录谣言检测文献阅读一-A Review on Rumour Prediction and Veracity Assessment in Online Social Network 谣言检测 ...
【论文阅读】【CVPR2022】Contrastive Learning of Class-agnostic Activation Map
Contrastive Learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and ...
文献阅读：《Generative Adversarial Active Learning for Unsupervised Outlier Detection》-2020 trans
文章工作:用GAN网络生成伪异常样本,结合已有正常样本,把异常检测转化为一个二分类任务贡献1: 本文提出用GAN作为异常样本的生成器,使生成的异常是有意义的异常.(针对问题:为了应对高维空间中异常样 ...
多模态机器学习入门——文献阅读（一）Multimodal Machine Learning: A Survey and Taxonomy
文章目录说明论文阅读 Abstract Introduction Introduction总结 Applications:A Historical Perspective 补充与总结 3 MULT ...
【文献阅读】Actor-Attention-Critic for Multi-Agent Reinforcement Learning
1 解决了什么问题? 多智能体强化学习算法主要有三种. 第一种方法是独立地训练环境中的每个 agent,以最大化个人的收益,将其他 agent 视为环境的一部分.该方法违反了强化学习的基本假设,即环 ...
文献阅读：Characterizing Label Errors: Confident Learning for Noisy-Labeled Image Segmentation
表征标签错误:对噪声标签图像分割的自信学习--Minqing Zhang. MICCAI 2020 卷积神经网络(CNNs)以其强大的拟合能力在图像处理中取得了显著的性能.然而,如果训练数据被噪声标签 ...
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
文献阅读:SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内 ...

【文献阅读】CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances