《Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders》
代码实现：https://github.com/plutoyuxie/AutoEncoder-SSIM-for-unsupervised-anomaly-detection-
Abastract 卷积自编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是，这个任务是通过基于`对距离对每像素重建误差设定阈值来完成的。然而，当重建包括边缘周围的轻微定位不准确时，这个过程会导致较大的残差。它也未能揭示当强度值保持大致一致时，视觉上已经改变的缺陷区域。我们表明，这些问题阻止了这些方法应用于复杂的现实世界场景，并且不能通过使用更精细的体系结构（如变分或特征匹配自动编码器）来轻松容易避免。我们建议使用基于结构相似性的感知损失函数，它检查局部图像区域之间的相互依赖关系，同时考虑亮度、对比度和结构信息。
通常使用监督方法，即系统通过训练缺陷样本和无缺陷样本来学习如何分割缺陷区域。然而，它们需要花费大量的精力来注释数据，而且所有可能的缺陷类型都需要事先知道。此外，在一些生产过程中，报废率可能太小，无法产生足够数量的缺陷样本用于训练，特别是对于渴望数据的深度学习模型，AE和GAN （）
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,
Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron
Courville, and Yoshua Bengio. Generative Adversarial
Nets. In Advances in Neural Information Processing
Systems, pages 2672–2680, 2014
这些模型试图在存在瓶颈等某些约束的情况下重建它们的输入，从而设法捕捉高维数据（例如图像）在较低维空间中的本质

假设测试数据中的异常偏离训练数据流形，模型无法再现它们。因此，较大的重建误差表明存在缺陷。通常，所使用的误差度量是每像素p距离，这是为了简单和速度而作出的一种临时选择。然而，这些措施在重建只是稍微不准确的地方产生了高残留量。通常，所使用的误差度量是每像素`p距离，这是为了简单和速度而作出的一种临时选择。然而，这些措施在重建只是稍微不准确的位置产生高残差，例如，由于边缘的小定位不精确。当各自像素的颜色值大致一致时，它们也无法检测输入和重建图像之间的结构差异。我们表明，这限制了这种方法在复杂的现实世界场景中的有用性。

检测偏离训练数据的异常一直是机器学习中一个长期存在的问题，Marco AF Pimentel, David A Clifton, Lei Clifton, and
Lionel Tarassenko. A review of novelty detection.
Signal Processing, 99:215–249, 2014.
在计算机视觉中，需要区分这个任务的两个变体。首先，有分类场景，新的样本显示为完全不同的对象类，应该作为异常值预测。第二，有一种情况，异常表现在与其他已知结构的细微偏差中，并且需要对这些偏差进行分割。对于分类的方法Pramuditha Perera and Vishal M Patel. Learning Deep
Features for One-Class Classification. arXiv preprint
arXiv:1801.05365, 2018.
Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej
Karpathy, Aditya Khosla, Michael Bernstein, et al.
ImageNet Large Scale Visual Recognition Challenge.
International Journal of Computer Vision, 115(3):211–
252, 2015.
然而，GANs容易陷入模式崩溃，即不能保证非缺陷图像分布的所有模式都被模型捕获。此外，它们比自动编码器更难训练，因为对抗性训练的损失函数通常不能训练到收敛(Arjovsky和Bottou，2017)。
Martin Arjovsky and L´eon Bottou. Towards Principled
Methods for Training Generative Adversarial Networks.
International Conference on Learning Representations,
2017.
2018. 相反，训练结果必须在定期优化间隔后手动判断。
在Christoph Baur, Benedikt Wiestler, Shadi Albarqouni, and
Nassir Navab. Deep Autoencoding Models for Unsupervised Anomaly Segmentation in Brain MR Images.
arXiv preprint arXiv:1804.04488, 2018.提出了一个使用自编码架构的缺陷分割框架和一个基于`1距离的过像素误差度量。
其他的研究理论：变分自编码器Diederik P Kingma and Max Welling. Auto-Encoding
Variational Bayes. International Conference on Learning Representations, 2014.
Soukup和Pinetz（2018）Mohammad Sabokrou, Mohammad Khalooei, Mahmood
Fathy, and Ehsan Adeli. Adversarially Learned OneClass Classifier for Novelty Detection. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3379–3388, 2018
完全忽略了解码器的输出，而是将KL散度作为先验分布和编码器分布之间的一种新颖度量。这是基于这样的假设，即有缺陷的输入将以均值和方差值表现出来，这些值与先前的值有很大的不同
所有上述使用自动编码器进行无监督缺陷分割的工作已经表明，自动编码器可靠地重建无缺陷图像，同时在视觉上改变缺陷区域，以保持重建接近训练数据的学习流形然而，它们依赖于每个像素损失函数，使相邻像素值相互独立是不现实的SSIM的提出者Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P
Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE transactions on
image processing, 13(4):600–612, 2004.

e. Ridgeway et al. (2015)
show that SSIM and the closely related multi-scale version
MS-SSIM (Wang et al., 2003) can be used as differentiable loss functions to generate more realistic images
in deep architectures for tasks such as superresolution
表明可用作可微损失函数，用于在深层结构中为超分辨率等任务生成更真实的图像，但不检查其对缺陷分割的有用性。
自编码器的理论：

3.2 VAE

确定性自动编码器框架存在各种扩展。 VAEs(Kingma和Welling，2014)对潜在变量施加约束，使其遵循一定的分布z∼P(Z)。为了简单起见，通常选择分布为单位方差高斯。这将整个框架转化为一个概率模型，该模型能够进行有效的后验推理，并允许通过从潜在分布中采样从训练流形生成新数据。通过编码输入图像得到的近似后验分布Q(z|x)可以用来定义进一步的异常度量。一种选择是计算两种分布之间的距离，如KL-散度KL(Q(z|x)||P(Z))，并指出与先前P(Z)的大偏差的缺陷(Soukup和Pinetz，2018)。然而，为了使用这种方法对异常进行像素精确的分割，必须对输入图像的每个像素执行单独的前向传递。第二种利用后部手术的方法（它的原文）

结果：

*
此外，它检测到的缺陷表现为结构的变化，而不是像素强度的大差异。对于在这个特定的玩具示例中添加的缺陷，对比函数产生最大的残差。
*

In contrast to the `2
-error map, SSIM gives more importance to the visually more
salient disturbances than to the slight inaccuracies around reconstructed edges.

3.1.2 Feature Matching Autoencoder.

Alexey Dosovitskiy and Thomas Brox. Generating Images
with Perceptual Similarity Metrics based on Deep Networks. In Advances in Neural Information Processing
Systems, pages 658–666, 2016。

因此，它们无法检测输入和重建之间的结构差异。通过调整损失和评估函数来捕获图像区域之间的局部相互依赖关系，我们能够大大改进上述所有体系结构。在第3.2节中，我们具体地激励使用结构相似性度量SSIM(x，ˆx)作为自动编码器的损失函数和评估度量，以获得残差映射RSSIM。

3.2 SSIM

由于SSIM是可微的，因此它可以作为使用梯度下降进行优化的深度学习架构中的损失函数使用。

4.1 训练过程

The
resulting residual maps are thresholded to obtain candidate
regions where a defect might be present.

4.2 定性分析

计算ROC曲线作为评价指标，真正的阳性率被定义为整个数据集被正确归类为缺陷的像素的比率。假阳性率是误分类为缺陷的像素之比。AUC的值
We further tested the sensitivity of the SSIM autoencoder to different hyperparameter settings

Paolo Napoletano, Flavio Piccoli, and Raimondo Schettini. Anomaly Detection in Nanofibrous Materials by
CNN-Based Self-Similarity. Sensors, 18(1):209, 2018.
Figure 8 depicts qualitative advantages that employing
a perceptual error metric has over per-pixel distances such
as `2

论文阅读笔记《Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders》相关推荐

《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记主要挑战贡献: KG上的推理挑战主要 ...
论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录标题翻译:基于Beta分布引导方面感知图的方面类别情感分析原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
[论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构解 ...
论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机很多机器 ...
论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询路径查询连接查询 Query2box 示例:生物医学图知识图谱上的预测查询我们是否可以进行多跳推理,即在 ...

论文阅读笔记《Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders》