https://www.toutiao.com/a6709315155982811655/

“穿件马甲就不认识我了？”

如果把大象的纹理披在猫身上，CNN识别出的就是大象 (详见下文) 。

图宾根大学的博士僧发现，ImageNet训练出来的CNN做图像分类时，强烈依赖纹理/质地，居然不怎么看形状。

所以给图像做个风格迁移，轻轻松松就能蒙骗AI。

这么好骗的AI必须治，团队制造了一个升级版ImageNet，不让纹理再给AI任何提示，逼迫它学习形状。

调教后的AI不止更加准确，面对噪音等各种干扰的时候，还更加鲁棒了。

这项研究中选了ICLR 2019的Oral。

这个CNN有点蠢

这里有一只橘猫：

还有一块只有纹理的大象皮：

把大象皮给橘猫披上，橘猫就被认成了大象？？？

CNN未免太好骗了吧？

来自德国图宾根大学的团队发现，与以往的认知不同，CNN并不是通过将低级特征（例如边缘）组合成复杂的形状，以此来对物体进行分类的。

此前已有研究表明，即使全局形状完全被破坏，CNN仍然可以出色地完成对纹理化图像的识别，似乎对于ImageNet训练出来的CNN来说，局部纹理就已经给分类提供了足够多的信息。

那么问题就来了，对于CNN图像识别来说，到底是对象纹理影响大还是全局形状影响大呢？

实践才能出真知，图宾根大学的小伙伴们为此精心设计了实验。他们利用风格迁移创建了像披着象皮的猫这样纹理与形状相冲突的图片，用它们来测试CNN到底更偏向于哪一边。

用于测试对象包括用ImageNet训练过的AlexNet、VGG-16、GoogLeNet、强大的ResNet-50，以及97名人类选手。

⬇️⬇️⬇️

橘猫，识别成功。灰掉的橘猫，也能识别。涂黑了的橘猫，emmm，有点懵比。素描风格的橘猫，呃，更加尴尬。

纹理越不明，AI越懵比。纹理 VS 形状，CNN对纹理的依赖竟然占了绝对上风。

别急，能治的

团队发现，CNN对局部纹理有超强的bias，而不重视全局形状。

那么，就要用强硬的方法，把bias掰到形状那一边去。

研究人员用ImageNet做基础，造起一个风格化的数据集，叫做Stylized-ImageNet，简称SIN：

把每一张图的原始纹理除掉，然后用一种随机选择的绘画风格代替。

目的就是让AI在没有纹理线索的情况下，也能准确判断物体的类别。

这里用的是AdaIN风格迁移方法，风格化系数为α=1.0。

风格的来源，则是Kaggle的Painter by Numbers数据集。

新数据集的搭建过程，已经开源了，请见文底传送门。

疗效显著

在SIN数据集上，纹理已经风格化，没有太多能帮助分类的有效信息了。

用SIN训练并用SIN测试的结果是，top-5准确率只有79%。

同样的网络，在普通ImageNet上训练并用ImageNet测试，top-5准确率有92.9%。

这说明，SIN比ImageNet的任务要难许多，少了判断依据，多了干扰信息。

有趣的是，ImageNet的特征在SIN上的泛化能力很差：用前者训练，后者测试，top-5准确率只有16.4%。

相反，在SIN上学到的特征却在ImageNet上泛化不错：不做任何微调的情况下，top-5准确率高达82.6%。

然后，还要详细证明一下，只学纹理的模型真的搞不定SIN。

研究人员想起了2018年发布的BagNet，就是仅靠局部纹理搞定ImageNet的那只前辈：

BagNet也是ResNet-50架构，不过最大感受野大小被限定在9×9, 17×17或33×33像素。这样就没有办法学习任何长距离的空间关系，用来分类。

有了这些限制，BagNet在ImageNet上面表现很好 (70%) ，但在SIN上就不太好了 (10%) 。

这明确地表示，SIN数据集可以除去局部纹理给AI带去的线索，逼迫它去学习长距离的空间信息。因为BagNet自身限制没办法学习全局，才扑街了。

更重要的是，线索冲突实验 (Cue Conflict Experiment) 证明，用SIN训练的ResNet-50，强烈地偏爱形状线索：bias从ImageNet上的22%，提升到了SIN上的81%。

在许多类别的判断上，甚至和人类对形状的依赖一样强。

还有惊喜

除了学到形状特征之外，SIN还附赠许多意想不到的优势。

第一，重点学习了形状的ResNet，在top-1和top5准确率上，都胜过了原始的ResNet。

这表示，SIN很可能是一个数据扩增的好方法。

第二，团队还用Faster R-CNN模型，测试了新老ResNet作为Backbone的表现。

把SIN揉进训练数据，大大提升了目标检测准确率：从70.7到75.1。这也和目标检测基于形状表征的天性有关。

第三，研究人员系统测试了，当给图像加入一些干扰：比如均匀噪音或相位噪音、对比度改变、高通与低通滤波等等，准确度会发生怎样的变化。

虽然损失了几个百分点的准确率，用SIN训练的神经网络还是在绝大多数任务上，战胜了用IN训练的结果。

传送门

论文：https://arxiv.org/abs/1811.12231

Github：https://github.com/rgeirhos/texture-vs-shape

SIN数据集：https://github.com/rgeirhos/Stylized-ImageNet

— 完 —

愚蠢的CNN，换个马甲就认不出猫！但，这病能治 | ICLR Oral相关推荐

cnn风格迁移_愚蠢的CNN，换个马甲就认不出猫！但，这病能治 | ICLR Oral
鱼羊栗子发自凹非寺量子位报道 | 公众号 QbitAI "穿件马甲就不认识我了?" 如果把大象的纹理披在猫身上,CNN识别出的就是大象 (详见下文) . 图宾根大学的博 ...
首付贷换了马甲，又重现江湖了
据<每日经济新闻>报道,广州某小贷公司通过无抵押信用贷款,一个月入万元左右的普通市民可以获得30万元贷款,高者可获得50万元无抵押信用贷款用于垫付首付款.首付贷以"消费贷&quo ...
成神结局量子计算机雏惨,成神之日：消失数月之后雏再次出现，不过形象却差点让人认不出...
<成神之日>第9话是一个重要的转折点,女主角雏被抓走,也意味着本作的日常剧情正式宣告完结.随之而来的便是观众们最为期待的主线.而到了本话,一直在背后活动的铃木央人首次出现在阳太面前. 在和 ...
潦草字体在线识别_小学生“狂草”字体走红，字迹凌乱老师认不出，网友：谁翻译一下...
对于一些小学生来说,每天最不喜欢做的事情就是写作业了,一是因为写作业的时候会耽误玩耍的时间,二是因为写作业的时候容易被父母"男女混合双打". 但是就算再不喜欢,作为学生也不能脱离写 ...
ibm服务器如何查看内存型号,ibmx3650m4不识别|认不出内存怎么办|内存安装规则要求...
IBM X3650 M4 服务器内存不识别内存怎么解决: 1.内存安装规则根据服务器型号,服务器至少随附一条安装在插槽1 中的2 GB 或4 GB DIMM.如果要安装更多DIMM,请按照下图中所示 ...
京东7天无理由退货换货运费应该谁来出是商家支付还是买家支付？
京东7天无理由退货换货运费自营.包含运费险的是商家支付京东退货换货运费,而非自营商家不包含运费险的需要买家自己购买运费险或退换货时买家支付运费.所以,买家在京东购物时一定要认清看准退换货运费是由商家承 ...
网页认不出USBKEY
网页认不出USBKEY 提供一种办法:进安全模式->控制面板->恢复->系统还原.
42张图详解 NAT : 换个马甲就能上网
点击关注公众号,Java干货及时送达上帝视角初识 NAT IP 地址分为公网地址和私有地址.公网地址有 IANA 统一分配,用于连接互联网:私有地址可以自由分配,用于私有网络内部通信. 私网和公网 ...
服务器换完主板后无盘进不了系统,更换主板后主板认不出硬盘无法进入系统的办法 – 手机爱问...
系统重装技术问题只需要一张系统光盘,和一张随机驱动光盘.如果没有驱动光盘,在安装系统前,用超级兔子或"驱动精灵".备份驱动程序.安装好系统后恢复驱动即可.其它不需要方法:步骤: ...

愚蠢的CNN，换个马甲就认不出猫！但，这病能治 | ICLR Oral

这个CNN有点蠢

别急，能治的

疗效显著

还有惊喜

愚蠢的CNN，换个马甲就认不出猫！但，这病能治 | ICLR Oral相关推荐

最新文章

热门文章