【机器学习】saturate的解释

最近在看机器学习的书籍时，经常会发现saturate这个术语。saturate这个词的直译是“浸透、饱和”，那么在机器学习里面应该怎样去理解saturate这个词呢？

一、什么是saturated model？

一个saturated model就是说：这个模型需要估计的参数，跟数据集的个数一样多（或者更多）。根据定义来说，这样的模型可以很好的fit所有的数据，但这样的模型在统计学的角度上讲并不是特别有用，因为它没有数据去estimate variance了。例如，用一个5阶的polynomial去fit 6个点的数据，就可以得到一个saturated model（one parameter for each of the 5 powers of your independent variable plus one for the constant term）。

总之，saturated model会得到high-variance的预测模型，受noise的影响也更多。但不是说saturated总是一无是处的。在human cognition、image compression and reconstruction（图像压缩和重建）等领域它也会有所应用。

二、什么是saturating activation function（激活函数）

一个saturating激活函数squeeze the input（对输入数据进行压缩）。那么non-saturating的含义是什么呢。

例如修正线性函数（ Rectified Linear Unit (ReLU)）就是non-saturating的激活函数，而sigmoid和tanh函数就是saturating的激活函数。原因如下图所示

如图所示sigmoid和tanh分布把数据压缩在了[0,1]和[-1,1]之间，因而属于saturating激活函数。

三、saturate

saturate的充分条件是：输出接近0或1，而且gradient vanish。例如下文这一段黄色标记部分是：当（1-2y）z负的非常多的时候，这个函数J才会saturate。其中softplus函数图如段落后的图所示，我们可以看出当x负的非常多的时候，这个函数的输出接近为0，即saturate。

【机器学习】saturate的解释相关推荐

报名 | AI Time：“ 论道自动机器学习与可解释机器学习”
深度学习在各个领域取得了骄人的成绩,基本是舍我其谁了.之前还存在如何调参.如何选架构的问题,最近随着自动机器学习(AutoML)的快速发展,Neural architecture search(NAS ...
【精品】机器学习模型可解释的重要及必要性
导语:不管你是管理自己的资金还是客户资金,只要你在做资产管理,每一步的投资决策都意义重大,做技术分析或基本面分析的朋友很清楚地知道每一个决策的细节,但是通过机器学习.深度学习建模的朋友可能就会很苦恼, ...
【机器学习】关于机器学习模型可解释(XAI），再分享一招！
随着时间的推移,学习模型变得越来越复杂,很难直观地分析它们.人们经常听说机器学习模型是"黑匣子",从某种意义上说,它们可以做出很好的预测,但我们无法理解这些预测背后的逻辑.这种说法 ...
机器学习词汇翻译解释（2）
词汇激活函数(Activation Function) Adadelta Adagrad Adam 仿射层(Affine Layer) 注意机制(Attention Mechanism) Alexn ...
可解释机器学习发展和常见方法！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货来源:新智元,编辑:数据派THU 本文约2000字,建议阅读5分钟本文 ...
一文读懂可解释机器学习简史，让你的模型再也不是“Black Box”
来源丨新智元编辑丨极市平台近年来,可解释机器学习(IML) 的相关研究蓬勃发展.尽管这个领域才刚刚起步,但是它在回归建模和基于规则的机器学习方面的相关工作却始于20世纪60年代.最近,arXiv上 ...
要强大的“黑匣子”，还是“可解释”的机器学习？| 清华AI Time激辩
来源:大数据文摘要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题. 把场景具体化,让我们先来看这样一道选择题. 如果你是 ...
《可解释机器学习》中文资源重磅来袭！复旦研究生翻译，原作者转发点赞！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转载自:量子位前言我曾经介绍过一本不错的书籍:<A Gudie for ...
12 月机器学习新书：《可解释机器学习方法的局限》，免费下载！
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达 12 月 9 日,一本机器学习新书上线了,它就是<Limitations of Inte ...

【机器学习】saturate的解释

【机器学习】saturate的解释相关推荐

最新文章

热门文章