模型的鲁棒性和泛化性

鲁棒性：对于输入扰动或对抗样本的性能。
加入小扰动，或进行数据增强。对于我们正常使用的模型，或者小数据集，需要进行数据增强，增强模型的鲁棒性，并且可以提升模型泛化能力，即在测试集上的性能。
加入对抗样本训练。针对模型的安全，而找到对抗样本进行专门训练，提升模型在对抗样本的鲁棒性；但是会降低模型的泛化能力，在真实的测试集上性能下降。

泛化性：
训练集训练的模型在测试集上的性能；(xys更科学的说法：泛化性指模型经过训练后，应用到新数据并做出准确预测的能力。)
不同数据集之间、不同任务之间模型的泛化能力。

1)加入小扰动：一般模型都是欠鲁棒性，数据增强可以提高鲁棒和泛化性；也就是欠鲁棒，泛化能力会低，提升鲁棒性可以提升泛化。
2)加入对抗样本训练：使得模型过于鲁棒，对攻击样本效果好，提升模型安全。但是在测试集上性能会下降，泛化能力差。也就是模型过于鲁棒的话，泛化性能也差。

模型的Robustness和Generalization是什么关系？

Robustness是模型对input perturbation的变化程度；
统计学习中的Generalization是模型对来自与训练集同分布数据的预测能力；
近期还有OoD generalization的概念，考虑的是对与训练数据分布有差别的数据的泛化能力。

经验上来说，毫无疑问他们两者是存在联系的。体现的比较明显的领域在于弱监督学习（例如，半监督学习），会使用各种个样的数据增强（例如，加入噪声，反转，裁切，甚至对抗等），让模型变得对输入的细微扰动不敏感，从而减少过拟合（因为在标注数据少的情况下，过拟合是容易发生的），提升泛化性能。
(类似的工作比如Tarvainen and Valpola 2017: Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning resultsMiyato et al. 2019: Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning)
但是，把鲁棒性做的极端一点，即使是大幅度的扰动，也无法改变模型的输出，那么模型就会变成过平滑/随机模型，从而降低预测性能。

我个人的理解，鲁棒性和泛化是一个权衡的关系，权衡体现在上面说的，过鲁棒无法泛化，欠鲁棒也无法泛化(xys：欠鲁棒则泛化性不好，但过鲁棒泛化性也不好)。这个权衡，我们可以分两方面看。

在现实中，一般模型是都欠鲁棒的，一个间接的证据就是很多看起来很离奇的正则化都可以让模型test accuracy变高，例如mixup(Zhang et al. 2018), StochasticDepth(Huang et al. 2016), Shake-shake (Gestaldi et al. 2017)等等，所以在实际应用中鲁棒性应该是越强越好。

在权衡的另一端，鲁棒性的一个很强的例子是对对抗样本鲁棒（adversarial robustness），是一个非常强的约束，从而会导致test accuracy大幅下降。这体现了过鲁棒-无法泛化，在刚才提到的paper里也有论证这一点。

什么是对抗样本？——稳健性和泛化性的交集

深度学习模型泛化性小结

泛化性指模型经过训练后，应用到新数据并做出准确预测的能力。一个模型在训练数据上经常被训练得太好即过拟合，以致无法泛化。

模型的鲁棒性和泛化性相关推荐

简单描述模型的鲁棒性和泛化性的区别
鲁棒性鲁棒性:对于输入扰动或对抗样本的性能. 加入小扰动,或进行数据增强.对于我们正常使用的模型,或者小数据集,需要进行数据增强,增强模型的鲁棒性,并且可以提升模型泛化能力,即在测试集上的性能. 加 ...
深度学习中，人们常说的鲁棒性和泛化性是什么意思？通俗的给你解释清楚，一看你就明白了。
在深度学习中,鲁棒性和泛化性都是评估模型质量的重要指标. 鲁棒性:指的是模型对于输入数据的健壮性,即模型在遇到各种不同的数据输入时,仍然能够保持高效的表现.一个鲁棒性强的模型能够在噪声.缺失数据或者其 ...
强化学习泛化性综述论文阅读 A SURVEY OF GENERALISATION IN DEEP REINFORCEMENT LEARNING
强化学习泛化性综述论文阅读摘要一.介绍二.相关工作:强化学习子领域的survey 三.强化学习中的泛化的形式 3.1 监督学习中泛化性 3.2 强化学习泛化性背景 3.3 上下文马尔可夫决策过 ...
【PhD Debate-9】浅谈自然语言处理中的泛化性
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 作为机器学习的一个基础的方向和问题,泛化性一直是学术研究热点.同时站在应用视角来说,一个缺乏泛化性的模型是很难广泛应用到复杂的现实场景中 ...
图灵奖得主Bengio又出新论文：用强化学习提升模型泛化性！网友崩溃：idea撞车了......
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达转载自:新智元来源:reddit | 编辑:LRS [导读]Bengio又 ...
清华大学出品：罚梯度范数提高深度学习模型泛化性
关注公众号,发现CV技术之美 1 引言神经网络结构简单,训练样本量不足,则会导致训练出来的模型分类精度不高:神经网络结构复杂,训练样本量过大,则又会导致模型过拟合,所以如何训练神经网络提高模型的泛化 ...
提升深度学习模型泛化性的方法
一个好的深度学习模型的目标是将训练数据很好地推广到问题领域的任何数据.这使我们可以对模型从未见过的数据进行将来的预测. 首先,当模型泛化性差的时候,我们需要找到其原因,当训练集能够很好地拟合,但是测试 ...
中集世联达飞瞳全球工业人工智能AI领军者，全球顶尖AI核心技术高泛化性高鲁棒性稀疏样本持续学习，工业级高性能成熟AI产品规模应用
中集世联达飞瞳全球工业人工智能AI领军者全球顶尖AI核心技术实现生产环境的高性能表现:高泛化性,高鲁棒性,稀疏样本持续学习,工业级高性能港航人工智能AI产品成熟化大规模应用.中集世联达人工智能企业CI ...
中集集团全球港航人工智能独角兽中集飞瞳，全球顶尖AI核心技术高泛化性高鲁棒性稀疏样本持续学习工业级高性能港航AI产品全球规模应用
新一代人工智能新技术高歌猛进,日益成为推动生产力跃升的驱动力量.国务院发布<"十四五"数字经济发展规划>提出,以数字技术与实体经济深度融合为主线,不断做强做优做大我国数 ...

模型的鲁棒性和泛化性

模型的鲁棒性和泛化性相关推荐

最新文章

热门文章