归纳偏置 (Inductive Bias)

一、概念
Inductive Bias一般翻译为归纳偏置/归纳偏差（归纳偏置应该更容易理解些），是一个关于机器学习算法的目标函数的假设.其实说的是模型的指导规则。
归纳是自然科学中常用的两大方法（归纳与演绎，induction and deduction)之一,指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；
“bias”“偏置”是指我们对模型的偏好。
因此归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。

二、举例
深度神经网络就偏好性地认为，层次化处理信息有更好效果；
卷积神经网络认为信息具有空间局部性 (Locality)，可用滑动卷积共享权重的方式降低参数空间；
循环神经网络则将时序信息考虑进来，强调顺序重要性；
图网络则认为中心节点与邻居节点的相似性会更好引导信息流动。
三、意义
归纳偏置的意义或作用是使得学习器具有了泛化的能力。

对于上图中的 6 个离散实心点，可由很多不同的曲线拟合之。但训练的模型必然存在一定的 “偏好” 或者说 “倾向”，才能学习出模型自己认为正确的拟合规则。
显然，加了一定正则的偏置的实线 A 比虚线 B 更为简单而通用 (模型复杂度受到惩罚而更低，恰当拟合数据点，泛化性能更好)。

参考文章：
浅谈归纳偏置 (Inductive Bias)
归纳偏差
归纳偏差与选择性偏差（概念作用以及举例说明）
归纳偏置/归纳偏差/inductive bias

归纳偏置 (Inductive Bias)相关推荐

【机器学习】浅谈归纳偏置 (Inductive Bias)
目录一.概念二.例子三.意义一.概念在机器学习中,很多学习算法经常会对学习的问题做一些关于目标函数的必要假设,称为归纳偏置 (Inductive Bias). 归纳 (Induction) ...
归纳偏置/归纳偏差/inductive bias
归纳偏置/归纳偏差/inductive bias "归纳偏差"中的"偏差"容易让人想到数据估计中估计值与真实值的差别error,会让人认为"归纳偏差& ...
归纳偏置是什么？从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用
归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias). 归纳偏置这个译名可能不能很好地帮助理解,不妨拆 ...
机器学习中的Inductive bias理解
CNN的inductive bias应该是locality和spatial invariance,即空间相近的grid elements有联系而远的没有,和空间不变性(kernel权重共享) RNN的 ...
inductive bias:归纳偏置
为什么卷积神经网络(CNN)相比于全连接网络(FC)往往有更好的泛化性能,尤其在图像分类任务上?通常用更好的归纳偏置(inductive bias)来解释,然而在数学上并不严格,因为足够宽的全连接网络 ...
CNN中的Inductive bias(归纳偏置)
归纳偏置其实就是一种先验知识,一种提前做好的假设. 在CNN中的归纳偏置一般包括两类:①locality(局部性)和②translation equivariance(平移等变性) ① locali ...
独家 | 用归纳偏置来增强你的模型性能
作者:Sebastian Dick 翻译:王可汗校对:车前子本文约3800字,建议阅读13分钟. 本文为大家展示了在机器学习模型中编码现实生活中的对称性可以将其准确性提高几个数量级. 对称无处不在 ...
机器学习中的归纳偏置
机器学习中的归纳偏置带着偏见看世界,否则你根本没有看待世界的方式. 本文主要参考整理自知乎问题:如何理解Inductive bias? No-Free-Lunch(NLF)定理指出学习是不可能的,除 ...
推荐：用归纳偏置来增强你的模型性能
作者:Sebastian Dick 翻译:王可汗校对:车前子本文约3800字,建议阅读13分钟. 本文为大家展示了在机器学习模型中编码现实生活中的对称性可以将其准确性提高几个数量级. 对称无处 ...

归纳偏置 (Inductive Bias)

归纳偏置 (Inductive Bias)相关推荐

最新文章

热门文章