ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
ICLR2019
Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A. Wichmann, Wieland Brendel

一、简介

经过ImageNet训练的CNN强烈偏向于识别纹理，而不是形状。

如果在合适的数据集上训练，标准神经网络的纹理偏差可以被克服，并向形状偏差转变。并且，具有较高形状偏好的网络对许多不同的图像失真具有内在的更强的鲁棒性。

如图，a是大象的皮；b是猫；c是一只有着大象外皮纹理的猫。然而，卷积神经网络更倾向于用纹理和颜色来进行预测，最后会将c认为是大象的皮。

二、评估实验

实验一：

原图和纹理图都可以被卷积神经网络正确的识别出来；然而，对于黑白图和边缘图，卷积神经网络的识别准确率就相当的低，但是人类还是可以通过形状来识别出物体。

因此，我们可以得出结论，卷积神经网络对于颜色和纹理有较强的偏好，而忽略了形状。

实验二：

实验基于有自然特征但是纹理和形状相矛盾的图像。即可能是纹理正确但是形状不对的图像，也可能是纹理不对但是形状正确的图像。

红圈是人类观察者，其余的是卷积神经网路。越靠近左边就对形状的偏好性越强，越靠近右就对纹理的偏好性越强。

从中可以看出，卷积神经网络不能很好的处理域转移，即图像从自然图像到草图的变化。

实验三：

如上图所示，通过风格转换去除局部线索的数据集SIN，从而迫使网络超越纹理识别。我们用随机选择的艺术绘画的非信息风格替换了与对象相关的局部纹理信息。

BagNet卷积神经网络更加强调局部特征，IN表示原始图像数据集，SIN表示风格替换的图像。

IN -> SIN表示在IN数据集上训练，在SIN数据集上测试。

从结果中可以看出，由于纹理不在是可预测的特征，SIN -> SIN的准确率变得相对较低。其中BagNet因更加关注局部特征而在SIN数据集上训练的效果更加差劲。

实验四：

实验使用ResNet模型，唯一的区别是训练集不同。

结果可以看出Shape-ResNet的效果要由于其他。揭示了ResNet-50模型可以基于对象形状学习识别对象，CNN的纹理偏好不是由设计引起的。

三、结论

卷积神经网络表现出强烈的局部纹理偏好，而不是全局对象形状。一个原因是训练任务的本身，模型走一条专注于局部纹理的捷径，只需整合来自许多局部纹理特征就可以实现任务，而不需要经历整合和分类全局形状的过程。

使用风格转换的SIN数据集可以让模型基于形状去学习识别对象，从而减少纹理偏好。

基于形状的表示对于依赖于预先训练的卷积神经网络的图像识别任务是有益的。对于领域问题，基于形状的表示可能比基于纹理的表示更有益。

ImageNet-trained CNNs are biased towards texture； increasing shape bias阅读笔记相关推荐

论文笔记-2019-ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy
ImageNet训练的神经网络偏向于纹理,增加形状偏置可以提高精度 ImageNet-trained CNNs are biased towards texture; increasing shape ...
论文阅读笔记之——《Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform》
本博文是文章<Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform&g ...
HLSL Texture Object Sample 的一些笔记
Practical Rendering And Computation With D3D11 书上的解释 "The Sample method allows for hardware tex ...
【论文阅读笔记】Incremental Network Quantizatio：Towards Lossless CNNs with Low-Precision Weights
全文概括先前的量化方法(同时量化所有的weight)都太粗暴了,这导致了量化损失严重,作者提出一种分组量化-分组re-train的方法来拟补量化带来的损失. INQ方法步骤: 将为量化的参数 ...
Temporal action localization in untrimmed videos via Multi-stage CNNs SCNN论文阅读笔记
文章标题:Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs 文章链接:Shou_Temporal_Action ...
Self-training with Noisy Student improves ImageNet classification阅读笔记
论文地址:https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法,使用部分带标签数据进行训练,在ImageNet上top-1为87.4%. 方法: 1. ...
《Deep Learning for Computer Vision with Python》阅读笔记-ImageNetBundle(第7章)-在ImageNet上训练VGGNet
//2022.2.27日下午18:33开始学习笔记 7.在ImageNet上训练VGGNet 在本章中,我们将学习如何在ImageNet数据集上从零开始训练VGG16网络架构.卷积神经网络的VGG家族 ...
Learning Texture Generators for 3D Shape Collections from Internet Photo Sets(2021BMVC) 阅读笔记
输入:一个三维形状以及从各种视点捕获的同一类对象的大量照片. 目标:训练形状感知纹理生成器. 注:对照片没有具体要求,可以是从互联网上随机下载的照片. 参数化(Texture Parameteriza ...
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现
本期要讲的是来自MSRA的何恺明的论文<Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet ...

ImageNet-trained CNNs are biased towards texture； increasing shape bias阅读笔记

一、简介

二、评估实验

三、结论

ImageNet-trained CNNs are biased towards texture； increasing shape bias阅读笔记相关推荐

最新文章

热门文章