【转载】 深度学习中的鲁棒性与稳健性（稳定性）
转载原文地址： （这里总结了两篇文章）
（1） https://baijiahao.baidu.com/s?id=1654782903971643114&wfr=spider&for=pc
（2） https://blog.csdn.net/weixin_44222014/article/details/103565351
深度学习的鲁棒性与稳定性解析
1、 鲁棒性问题
以深度学习为代表的机器学习方法已经在计算机视觉、语音识别、医学影像分析、电子竞技等领域得到了成功的应用，其发展引发了学术界、工业界甚至政界的广泛关注。然而，现有深度学习方法的有效性依赖于对训练数据集的高质量要求，当训练集呈现蕴含显著复杂噪声、异常点入侵、类别不均衡等问题时，其有效性往往无法得以保证，这被称之为深度学习的鲁棒性问题。
以计算机视觉为例，其代表性任务主要包括底层视觉与高层视觉两类。
1.1 底层视觉
底层视觉任务主要指在像素级别的图像处理任务，例如图像去噪、图像超分辨、图像去模糊等。其处理方法主要分为传统模型驱动方法与现代数据驱动方法。模型驱动方法大多需要针对问题构建优化模型进行求解，优化目标中通常包括误差与正则两项，分别对图像噪声与图像结构两部分的先验信息进行建模。通过对该优化模型进行算法设计和最优化求解，可收敛得到预期的复原图像。数据驱动方法采用更为简单直接的策略，首先收集模拟问题输入与输出的图片对（如对于去噪问题，需要预先分别收集蕴含噪声图片以及相应干净图片的数据对），然后输入一个预先构建的深度网络，通过调用网络参数优化的算法工具包（如随机梯度下降（SGD）等），获得对噪声图片能够直接输出干净图片的深度网络预测函数。
1.2 高层视觉
高层视觉任务主要面对的是语义级别的图像分析任务，例如目标识别、目标检测等。与底层视觉的用法相似，深度学习在此类任务上的应用同样依赖于一个预先标记的数据集，包括大量模拟网络输入及其预期输出的数据对。以最为普遍的目标识别问题为例，一个网络能够被有效训练的前提，是需要预先对大量蕴含某类目标的图片标记其目标信息，然后将获得的图片一标记数据集置于网络中进行参数训练与学习，从而获得能够对测试图片进行有效标记预测的深度网络函数。
1.3 两种视觉层次对比
以上任务尽管已经取得了可喜的进展以及令人鼓舞的实验效果（对于绝大部分底层及高层视觉任务，深度学习方法均已成为目前表现最好的方法），但是均面临极为严峻的鲁棒性学习问题。对底层视觉问题而言，无论是模型驱动还是数据驱动的方法，均对蕴含复杂形态，特别是非独立同分布（independent and identically distributed，i.i.d.）噪声的图像缺乏足够的处理精度与应用推广性。其本质原因在于：
（1）模型驱动的方法需要预先设定误差函数形式，如L2或L1范数的损失函数等，从贝叶斯的角度理解，这种设定可解释为将图像噪声分布假设为i.i.d.的高斯分布或者拉普拉斯分布，而现实图像中的噪声通常既不是这种相对简单的分布形式，也不是i.i.d.的分布形态（如图像噪声通常呈现显著的空间相关特性）。这种偏离于实际的假设偏差往往导致对应优化问题对于蕴含复杂噪声的实际图片性能不佳，从而出现鲁棒性学习问题。
（2）而对于数据驱动的方法，需要预先收集大量的“带噪图片-干净图片对”供网络进行参数学习。即使设计海量的带噪图片类型，其所模拟的噪声仍然是人为设定与产生的，远远无法涵盖现实噪声的多样性与复杂性。因此所训练的网络仍然倾向于过拟合，对于蕴含于训练数据中偏差较大噪声的实际图片表现不佳。
2、 鲁棒性问题
而对于高层视觉问题而言，类似的鲁棒性学习问题在近年来同样引起了领域的广泛关注。其主要的问题体现在训练数据中标记的偏差，最具代表性的是噪声标记和类不均衡问题。噪声标记问题指训练样本标记中出现了大量错误标记，致使网络训练出现偏差。这一情况是极为常见的，如：为了在较小代价下获取有监督的标记数据，通常使用众包的方法将标记的任务以自愿或廉价的方式外包给大量志愿者执行，志愿者的不确定性、专长领域的多样性导致标记噪声，特别是对于极其需要领域知识的标记任务（如医学图像的病灶标注）。类不均衡问题特指训练数据中，不同类别的样本数目存在极大差异的现象。这是常见的鲁棒机器学习问题，在计算机视觉领域得到了更为普遍的关注与研究。
引起这一问题的原因，一方面是不同类别的图片具有不同的获取难度，例如猫、狗等常见的类别比史前或濒危动物更易获取。事实上，对于目前绝大部分著名的目标识别数据集，均存在类不均衡的“厚尾分布”现象。另一方面，当我们针对某一类别收集正负类样本时，相比领域知识确定的正类样本，负类数据的收集具有更大的自由度与多样性，从而导致正负类不均衡的现象。而在这些负类样本中，学者认为仅有位于分类面附近的边缘样本具有更为显著的信息量，大量的负类样本对于分类没有实质性作用，反而容易引起干扰，这一现象常被称为“难负样本挖掘（hard negative mining）”问题。这一问题也会对深度学习产生极大的干扰，从而产生鲁棒学习的需求。
3、 算法的鲁棒性与稳定性解析
3.1 引言
“鲁棒”的英文是robustness，中文译为强健，稳健，所以说算法的鲁棒性直白点说就是健壮的、稳健的算法。
在深度学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句——“L1范数比L2范数鲁棒”。
3.2 鲁棒性
Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念：
一是模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；
二是对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；
主要是：噪声（noise）
三是对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响。
主要是：离群点（outlier）
3.3 稳定性与鲁棒性区别
这里用一个形象生动的网络例子来阐述稳定性与鲁棒性区别，单身的研究学者如有不适，请点赞或留言发泄~
（这里是原博主的话，哎，我哭了。 像我这样的单身玩家如有同样的不适感，也请点赞或留言发泄~）
正说着话，我忽然见到一位非常漂亮且可爱的女生与他们在一起，灵机一动，就转身对着漂亮女生，给出了如下的解释。
- （1）稳定性：他是你的男朋友。那么，如果他对周围晃来晃去的其他年轻漂亮女孩子虽然也动了点心，但把持的住，依然很喜欢你，我们说他对你的感情是稳定的。
- （2）鲁棒性：也称为是强壮性、或者稳健性。当他的地位变了，升迁了，发达了，抑或变得与以前大不一样的时候，他依然还是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是鲁棒的（Robust）。
- （3）非脆弱性：前面说的都是假定你是坚定的、把感情作为矢志不渝的，他的反应。现在，再来一点更厉害的：当你变老了，不再漂亮了，或者遇到不幸的创伤，疾病而变得……总之情况很糟，或者他发现了你过去可能遭遇到的一段不愉快的历史等等。甚至更极端地，当你自己有点变心、花心、甚至犯了点错误的时候，他若依然是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是非脆弱的的。
【转载】 深度学习中的鲁棒性与稳健性（稳定性）相关推荐
- 转载 | 深度学习中的遥感影像数据集
本文转载自博主GISer_Lin原创文章<深度学习中的遥感影像数据集> 点击此处转跳原文 以下数据集均为网上开源数据集,若有遗误或不慎涉及侵权,烦请评论或留言联系 目前本项目共整理 场景分 ...
- 深度学习中，人们常说的鲁棒性和泛化性是什么意思？通俗的给你解释清楚，一看你就明白了。
在深度学习中,鲁棒性和泛化性都是评估模型质量的重要指标. 鲁棒性:指的是模型对于输入数据的健壮性,即模型在遇到各种不同的数据输入时,仍然能够保持高效的表现.一个鲁棒性强的模型能够在噪声.缺失数据或者其 ...
- 深度学习中的遥感影像数据集
[转载]深度学习中的遥感影像数据集 收集网络上公开的遥感数据集,欢迎补充 Ref: https://blog.csdn.net/weixin_36670529/article/details/8458 ...
- [转载] python实现语义分割_使用Keras实现深度学习中的一些语义分割模型
参考链接: Keras中的深度学习-数据预处理 Keras-Sematic-Segmentation 使用Keras实现深度学习中的一些语义分割模型. 配置 tensorflow 1.13.1+ten ...
- yolo-mask的损失函数l包含三部分_【AI初识境】深度学习中常用的损失函数有哪些？...
这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...
- Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用 首先,激活函数不是真的要去激 ...
- 深度学习中的内存管理问题研究综述
点击上方蓝字关注我们 深度学习中的内存管理问题研究综述 马玮良1,2, 彭轩1,2, 熊倩1,2, 石宣化1,2, 金海1,2 1 华中科技大学计算机科学与技术学院,湖北 武汉 430074 2 华中 ...
- 深度学习中的正则化技术详解
目录 基本概念 1. 参数范数惩罚 1.1 \(L^2\)正则化 1.2 \(L^1\)正则化 1.3 总结\(L^2\)与\(L^1\)正则化 2. 作为约束的范数惩罚 3. 欠约束问题 4. 数据 ...
- 深度学习中常用优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
本文转载自:https://www.cnblogs.com/guoyaohua/p/8542554.html 在机器学习.深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagr ...
最新文章
- 最佳时间 (DOM编程艺术)
- php使用supervisor管理进程脚本
- 基于C#.NET的高端智能化网络爬虫
- WordPress中输出当前页面SQL语句的方法
- Spring Boot中使用Spring Security进行安全控制
- android tsclib.so,续 某哩某哩APP之m3u8解密分析之跳过so文件 从APP日志入手(AES/CBC模式)...
- python实现的简版iconv
- Linux下shellcode编写
- 《流畅的Python》读书笔记——Python使用一等函数实现设计模式
- 配置多个数据源，spring profile 多环境配置管理
- 操作系统原理——第六章：页面置换算法
- 使用网络数据采集的好处
- 巧用“百度指数”，让软文推广效果最大化
- 2013年十大免费空间综合排行榜-稳定,可靠,速度快,可建站免费空间
- 算法题目：小于n的最大数
- android安装包资源提取,APK资源提取器
- 女生自学计算机方向建议
- 请使用hive udf或者spark udf实现父子关系树图分析，列举出所有的路径
- UUCTF(公共赛道)
- 安利！王一博与海飞丝的清爽秘籍