机器学习中的Inductive bias理解

CNN的inductive bias应该是locality和spatial invariance，即空间相近的grid elements有联系而远的没有，和空间不变性（kernel权重共享）

RNN的inductive bias是sequentiality和time invariance，即序列顺序上的timesteps有联系，和时间变换的不变性（rnn权重共享）

归纳偏置在机器学习中是一种很微妙的概念：在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置(Inductive Bias)。归纳偏置这个译名可能不能很好地帮助理解，不妨拆解开来看：归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and deduction)，指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；偏置(Bias)是指我们对模型的偏好。

因此，归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则(heuristics)，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。其实，贝叶斯学习中的“先验(Prior)”这个叫法，可能比“归纳偏置”更直观一些。

归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理，即希望学习到的模型复杂度更低，就是一种归纳偏置。另外，还可以看见一些更强的一些假设：KNN中假设特征空间中相邻的样本倾向于属于同一类；SVM中假设好的分类器应该最大化类别边界距离；等等。

在深度学习方面也是一样。以神经网络为例，各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络中，我们假设特征具有局部性(Locality)的特性，即当我们把相邻的一些特征放在一起，会更容易得到“解”；在循环神经网络中，我们假设每一时刻的计算依赖于历史计算结果；还有注意力机制，也是基于从人的直觉、生活经验归纳得到的规则。

在自然语言处理领域赫赫有名的word2vec，以及一些基于共现窗口的词嵌入方法，都是基于分布式假设：A word’s meaning is given by the words that frequently appear close-by. 这当然也可以看作是一种归纳偏置；一些自然语言理解的模型中加入解析树，也可以类似地理解。都是为了选择“更好”的模型。

机器学习中的Inductive bias理解相关推荐

inductive bias理解
写在前面写这个博文只是记录我现在想的,如果你好奇归纳偏置到底偏置的什么,你可以尝试去搜搜"卷积不变性"能解决你的疑惑.我接下来写的就不必看了-- 神经网络中有很多稀奇古怪的词,让 ...
关于机器学习中的似然函数的理解
最近在研究一些概率论的东西,今天说一说似然函数. 常说的概率是指给定参数后,预测即将发生的事件的可能性.拿硬币这个例子来说,我们已知一枚均匀硬币的正反面概率分别是0.5,要预测抛两次硬币,硬币都朝上的 ...
CNN中的Inductive bias(归纳偏置)
归纳偏置其实就是一种先验知识,一种提前做好的假设. 在CNN中的归纳偏置一般包括两类:①locality(局部性)和②translation equivariance(平移等变性) ① locali ...
机器学习中对核函数的理解
http://mp.weixin.qq.com/s?__biz=MzIxNDIwMTk2OQ==&mid=2649077019&idx=1&sn=e0c4a6c502e3668 ...
深入剖析机器学习中的统计思想
https://www.toutiao.com/a6649503554182578696/ 2019-01-23 09:58:23 现在机器学习中大家达成了一个共识: 如果你在用一个机器学习方法,而不 ...
机器学习基础__02__L1L2范数在机器学习中应用
目录 1. 范数概念 2. 为什么L1有稀疏性?L2则没有 3. 应用 1. 范数概念范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小. 范数的一般化定义:对实数p>=1, 范数定义如 ...
【机器学习】浅谈归纳偏置 (Inductive Bias)
目录一.概念二.例子三.意义一.概念在机器学习中,很多学习算法经常会对学习的问题做一些关于目标函数的必要假设,称为归纳偏置 (Inductive Bias). 归纳 (Induction) ...
如何理解inductive bias
inductive 归纳, deductive 演绎 inductive bias 经常翻译为归纳偏好.归纳偏置以下内容都是比较粗浅的理解和从各方收集来的加工内容,仅作增长见识. 理解一在西瓜书 ...
机器学习中的Bias、Variance
机器学习中的误差Error可以理解为偏差和方差的和. Error(误差) = Bias(偏差) + Variance(方差) Bias 偏差指的是样本输出与真实值之间的差距,即模型本身的拟合程度. 代 ...

机器学习中的Inductive bias理解

机器学习中的Inductive bias理解相关推荐

最新文章

热门文章