[经验分享] 【统计小百科】你知道AIC准则么？

2019独角兽企业重金招聘Python工程师标准>>>

AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，又由与它为日本统计学家赤池弘次创立和发展的，因此又称赤池信息量准则。它建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。

在一般的情况下，AIC可以表示为： AIC=2k-2ln(L)，其中：k是参数的数量，L是似然函数。假设条件是模型的误差服从独立正态分布。让n为观察数，RSS为剩余平方和，那么AIC变为： AIC=2k+nln(RSS/n)。

增加自由参数的数目提高了拟合的优良性，AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。

经常地，对一堆数据进行建模的时候，特别是分类和回归模型，我们有很多的变量可供使用，选择不同的变量组合可以得到不同的模型，例如我们有5个变量，2的5次方，我们将有32个变量组合，可以训练出32个模型。但是哪个模型更加的好呢？目前常用有如下方法：
AIC=-2 ln(L) + 2 k 中文名字：赤池信息量 akaike information criterion
BIC=-2 ln(L) + ln(n)*k 中文名字：贝叶斯信息量 bayesian information criterion
HQ=-2 ln(L) + ln(ln(n))*k hannan-quinn criterion

构造这些统计量所遵循的统计思想是一致的，就是在考虑拟合残差的同时，依自变量个数施加“惩罚”。但，倘若因此就说它们是同一个指标，恐怕还是有些不妥，毕竟“惩罚”的力度还是不尽相同的。此外，这些信息量的用途不仅限于选择模型，还能用于选取合适的变换等等。而在那些时候，这些信息量又是另一个模样，也就是说它们有许多变体。因此，它们也被称为AIC准则、BIC准则等等。它们中的每一个体现的都是一系列的标准，而非单独的一个简单式子。

注意这些规则只是刻画了用某个模型之后相对“真实模型”的信息损失（因为不知道真正的模型是什么样子，所以训练得到的所有模型都只是真实模型的一个近似模型），所以用这些规则不能说明某个模型的精确度，即三个模型A, B, C，在通过这些规则计算后，我们知道B模型是三个模型中最好的，但是不能保证B这个模型就能够很好地刻画数据，因为很有可能这三个模型都是非常糟糕的，B只是烂苹果中的相对好的苹果而已。

这些规则理论上是比较漂亮的，但是实际在模型选择中应用起来还是有些困难的，例如上面我们说了5个变量就有32个变量组合，如果是10个变量呢？2的10次方，我们不可能对所有这些模型进行一一验证AIC, BIC，HQ规则来选择模型，工作量太大。

因为AIC和BIC一般为负值也就是绝对值越大负得越多越好你可以查一下AIC和BIC的计算公式一般都是分为两个部分一部分是度量拟合效果，另一部分是对参数个数增加的惩罚

转载于:https://my.oschina.net/u/1161889/blog/1549141

[经验分享] 【统计小百科】你知道AIC准则么？相关推荐

小程序审核经验分享｜小程序发布如何快速过审？
首先说明下这只是经验分享,并非100%的结论,但是我们公司按照这几点执行后,的确审核效率大大提高,甚至有2次半小时就审核通过了. 相信有个小伙伴会遇到这个棘手的问题,事前已经跟市场部,广告推广商量了好 ...
跨专业考清华大学的计算机,18级学长跨考清华大学计算机考研经验分享
18级学长跨考清华大学计算机考研经验分享本站小编 Free考研网/2019-05-28 考清华计算机也考了两年,在这里得到了很多帮助,所以也是时候贡献一下了.先说下我的基本情况吧.我本科是天津大学精仪 ...
学计算机可以用算盘吗,看图猜成语黑板学生算盘计算机答案玩法经验分享
看图猜成语黑板学生算盘计算机答案玩法经验分享是小编今天给各位玩家老爷到来的内容,这道题是什么呢,4张不同形式的表达效果,每张图所指的方向都是同一点,还不了解的玩家跟着小编一起看看接下来的分析吧,希望能 ...
南京理工计算机考研经验,南京理工大学2020社会工作初试391分经验分享
南京理工大学2020社会工作初试391分经验分享本站小编免费考研网/2020-02-27 2020考研南京理工社会工作专业经验贴初试总分391 政治68 英二62 原理126 实务135 下面是我 ...
心理与行为科学统计_华东师范大学心理学考研备考经验分享
21考研必看:华东师范大学心理学考研备考经验分享 +考研同盟QQ群:1004896729 群内有海量免费资料.真题.经验贴 +考研同盟QQ群:1004896729 群内有海量免费资料.真题.经验贴学 ...
经验分享：微信小程序外包接单常见问题及流程
2019独角兽企业重金招聘Python工程师标准>>> 从九月底内测到现在已经三个半月.凌晨一点睡觉已经习以为常,也正是这样,才让无前端经验的我做微信小程序开发并不感到费劲. 最近才 ...
usb转ttl小板pl2303hx_TTL刷机经验分享，刷机后实现软件随便安装，电视直播免费看...
前言之前已经介绍过很多方法,把闲置运营商盒子刷出全网通盒子,实现软件任意装,电视免费看,网络视频任意点播.刷机方法针对不同盒子,方法各异,但适应性最强的就是TTL刷机了.这些分享一点刷机经验和注意事 ...
两个月入门深度学习，全靠动手实践！一位前端小哥的经验分享
两个月入门深度学习,全靠动手实践!一位前端小哥的经验分享在当前社会,技术日新月异,一个全栈工程师不及时学习新知识,掌握AI技能,再过两年就算不上"全栈"了. 产品发烧友.前端 ...
去年一个百万级的小软件项目经验分享，20来个功能模块，项目不太好做有些棘手...
别人总觉得是在显吧,干脆把这个项目认为是小项目了,不知道把这个项目是小了,别人会不会又觉得又显吧了?说大也不行.说小也不行,也的确没招了. 我想主要把项目里遇到的问题分享给大家一起探讨,也并不是为了什 ...
Kaggle比赛冠军经验分享：如何用 RNN 预测维基百科网络流量
Kaggle比赛冠军经验分享:如何用 RNN 预测维基百科网络流量 from:https://www.leiphone.com/news/201712/zbX22Ye5wD6CiwCJ.html 导语 ...

[经验分享] 【统计小百科】你知道AIC准则么？

[经验分享] 【统计小百科】你知道AIC准则么？相关推荐

最新文章

热门文章