CNN中的Inductive bias(归纳偏置)

归纳偏置其实就是一种先验知识，一种提前做好的假设。

在CNN中的归纳偏置一般包括两类：①locality(局部性)和②translation equivariance（平移等变性）

① locality:假设相同的区域会有相同的特征，靠得越近的东西相关性能也就越强。局部性可以控制模型的复杂度。

②translation equivariance：由于卷积核是一样的所以不管图片中的物体移动到哪里，只要是同样的输入进来遇到同样的卷积核，那么输出就是一样的。利用平移等变形可以很好的提高模型的泛化能力。

总结：但是使用基于CNN的方法还是存在感受野有限的问题，不能很好的建模长远的依赖关系（全局信息），而基于transformer的方法可以很好的建模全局信息但是transformer反而缺乏类似于CNN的归纳偏置，这些先验信息必须通过大量的数据来进行学习，所以小的数据在CNN上取得的效果一般优于基于transformer的方法。训练基于CNN的方法通常只需要一个较小的数据集，而训练基于transformer的方法一般需要再大的数据集上进行预训练。

CNN中的Inductive bias(归纳偏置)相关推荐

inductive bias:归纳偏置
为什么卷积神经网络(CNN)相比于全连接网络(FC)往往有更好的泛化性能,尤其在图像分类任务上?通常用更好的归纳偏置(inductive bias)来解释,然而在数学上并不严格,因为足够宽的全连接网络 ...
机器学习中的Inductive bias理解
CNN的inductive bias应该是locality和spatial invariance,即空间相近的grid elements有联系而远的没有,和空间不变性(kernel权重共享) RNN的 ...
机器学习中的归纳偏置
机器学习中的归纳偏置带着偏见看世界,否则你根本没有看待世界的方式. 本文主要参考整理自知乎问题:如何理解Inductive bias? No-Free-Lunch(NLF)定理指出学习是不可能的,除 ...
归纳偏置 (Inductive Bias)
一.概念 Inductive Bias一般翻译为归纳偏置/归纳偏差(归纳偏置应该更容易理解些),是一个关于机器学习算法的目标函数的假设.其实说的是模型的指导规则. 归纳是自然科学中常用的两大方法(归纳 ...
归纳偏置/归纳偏差/inductive bias
归纳偏置/归纳偏差/inductive bias "归纳偏差"中的"偏差"容易让人想到数据估计中估计值与真实值的差别error,会让人认为"归纳偏差& ...
【机器学习】浅谈归纳偏置 (Inductive Bias)
目录一.概念二.例子三.意义一.概念在机器学习中,很多学习算法经常会对学习的问题做一些关于目标函数的必要假设,称为归纳偏置 (Inductive Bias). 归纳 (Induction) ...
归纳偏置是什么？从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用
归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias). 归纳偏置这个译名可能不能很好地帮助理解,不妨拆 ...
如何理解inductive bias
inductive 归纳, deductive 演绎 inductive bias 经常翻译为归纳偏好.归纳偏置以下内容都是比较粗浅的理解和从各方收集来的加工内容,仅作增长见识. 理解一在西瓜书 ...
inductive bias理解
写在前面写这个博文只是记录我现在想的,如果你好奇归纳偏置到底偏置的什么,你可以尝试去搜搜"卷积不变性"能解决你的疑惑.我接下来写的就不必看了-- 神经网络中有很多稀奇古怪的词,让 ...

CNN中的Inductive bias(归纳偏置)

CNN中的Inductive bias(归纳偏置)相关推荐

最新文章

热门文章