信息准则:AIC、BIC、FPE、LILC
1.简介
信息准则(information criterion):经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个变量,2的5次方,我们将有32个变量组合,可以训练出32个模型。但是哪个模型更加的好呢?就用信息准则来衡量。
下面介绍四种信息准则方法:AIC、BIC、FPE、LILC。
信息准则有两部分组成,一部分是模型拟合情况e_factor ,如残差方差e_var(对y的实际值和预测值之差求方差),一部分是模型参数model_factor。如下:
info_criteria_value = e_factor + model_factor
其中e_factor = n_samples * np.log(e_var)。e_var为残差方差,n_samples为样本数。
下面假设,n_theta是参数的数量。
2.AIC
赤池信息量准则(Akaike information criterion,AIC)是1971年由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。
在一般的情况下,AIC可以表示为:
AIC=2*n_theta−2ln(L)
其中:n_theta是参数的数量,L是似然函数。
使AIC函数达到最小的模型被认为是最优模型。
我们可以用残差方差重写AIC公式,让n_samples为样本数,e_var为残差方差,那么AIC变为:
AIC=2n_theta+n_samplesln(e_var)。
即:
model_factor = 2 * n_theta
e_factor = n_samples * np.log(e_var)
info_criteria_value = e_factor + model_factor
该准则的指导思想是认为一个拟合模型的好坏可以从两方面去考察:一方面是大家非常熟悉的常用来衡量拟合程度的似然函数值;另一方面是模型中未知参数的个数。
通常似然函数值越大说明模型拟合的效果越好。模型中未知参数个数越多,说明模型中包含的自变量越多;自变量越多,模型变化越灵活,模型拟合的准确度就会越高。
模型拟合程度高是我们所希望的,但是我们又不能单纯地以拟合精度来衡量模型的好坏,因为这样势必会导致未知参数的个数越多越好。
未知参数越多,说明模型中自变量越多,未知的风险越多。而且参数越多,参数估计的难度就越大,估计的精度也越差。所以一个好的拟合模型应该是一个拟合精度和未知参数个数的综合最优配置。
3.BIC
BIC= Bayesian Information Criterions,贝叶斯信息准则。
BIC的惩罚项比AIC的大,考虑了样本数量,样本数量过多时,
可有效防止模型精度过高造成的模型复杂度过高。
公式:
model_factor = n_theta * np.log(n_samples)
e_factor = n_samples * np.log(e_var)
info_criteria_value = e_factor + model_factor
4.FPE
最终预报误差准则(Final Prediction Error Criterian,FPE)对AR模型的一种定阶法。此方法是赤池弘次于1969年提出的所谓改进的残差方差图方法。
公式为:
model_factor = n_samples * np.log((n_samples + n_theta) / (n_samples - n_theta)
)
e_factor = n_samples * np.log(e_var)
info_criteria_value = e_factor + model_factor
5.Lilc
Khundrin’s law of iterated logarithm criterion (LILC)。公式如下,和BIC类似,多了个对样本的log。
model_factor = 2 * n_theta * np.log(np.log(n_samples))
e_factor = n_samples * np.log(e_var)
info_criteria_value = e_factor + model_factor
6.代码汇总
if self.info_criteria == "bic":model_factor = n_theta * np.log(n_samples)
elif self.info_criteria == "fpe":model_factor = n_samples * np.log((n_samples + n_theta) / (n_samples - n_theta))
elif self.info_criteria == "lilc":model_factor = 2 * n_theta * np.log(np.log(n_samples))
else: # AICmodel_factor = +2 * n_thetae_factor = n_samples * np.log(e_var)
info_criteria_value = e_factor + model_factor
信息准则:AIC、BIC、FPE、LILC相关推荐
- 赤池信息量准则(AIC)和贝叶斯信息准则(BIC)
一 AIC 赤池信息量准则(Akaike information criterion,AIC)是评估统计模型的复杂度和衡量统计模型"拟合"资料之优良性(Goodness of fi ...
- 赤池信息准则AIC,BIC
很多参数估计问题均采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时带来一个机器学习中非常普遍的问题--过拟合.所以,模型选择问题在模型复杂度与模型 ...
- Java机器学习库ML之十模型选择准则AIC和BIC
学习任务所建立的模型多数是参数估计并采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时也带来一个机器学习中非常普遍的问题--过拟合.模型选择问题是在 ...
- AIC信息准则算法matlab实例
AIC是一种信息准则,通常用于模型选择和拟合,因此具体的实现取决于你要解决的问题.以下是一个简单的示例程序,演示如何使用AIC选择一个线性回归模型: scssCopy code% Generate s ...
- AIC+BIC+HQ+赤池信息量+贝叶斯信息量
AIC+BIC+HQ AIC=-2 ln(L) + 2 k 中文名字:赤池信息量 akaike information criterion BIC=-2 ln(L) + ln(n)*k 中文名字:贝 ...
- aic bic mdl
https://blog.csdn.net/xianlingmao/article/details/7891277 https://blog.csdn.net/lfdanding/article/de ...
- 序列的平稳性与纯随机性检验,模型的有效性,参数的显著性,最优模型准则AIC,SBC
问题:某城市过去63年中每年的降雪量数据(单位:mm). 判断该序列的平稳性与纯随机性 如果序列平稳且非白噪声,选泽适当模型拟合序列发展 利用拟合模型,预测该城市未来5年的降雪量 data <- ...
- 【统计学习系列】多元线性回归模型(六)——模型拟合质量评判:RMSE、R方、改进R方、AIC\BIC\SIC
文章目录 1. 前文回顾 2. 一些引理与离差平方和分解定理(可略) 2.1 引理1 2.2 引理2 2.3 引理3 2.4 平方和分解定理 3. 拟合优度评价指标I--均方根误差(RMSE) 4. ...
- R语言选模型/用AIC BIC adjustRsq 十折交叉验证 LOOCV等验证/择参 以fama三因子模型和CAMP模型为例@[理科班的习习同学
R语言选模型/用AIC BIC adjustRsq 十折交叉验证 LOOCV等验证/择参 以fama三因子模型和CAMP模型为例@理科班的习习同学 引入包与数据预处理 install.packages ...
最新文章
- mac os x安装php7.0和phalcon3.0
- 2021西南位育高考成绩查询,上海近40所高中2020高考录取情况汇总!
- 调用函数,计算分段函数的值
- win10 + mac双系统安装常用工具
- xadmin oracle 查询,Django admin 实现search_fields精确查询实例
- CSS3定位和浮动详解
- [渝粤教育] 西南科技大学 建筑制图 在线考试复习资料(1)
- [html] title与h1的区别、b与strong的区别、i与em的区别?
- 创意合成大片欣赏,进步都是从模仿开始
- 算法学习一:排序算法实现与算法性能分析
- Firefox-常用扩展
- Android之高仿墨迹天气桌面组件(AppWidgetProvider)
- python将pdf转换图片
- Maze勒索软件的最新样本分析
- 编码器解码器网络:神经翻译模型详解
- OpenGL如何显示透明PNG
- 螳螂科技接入百度“文心一言”,提升营销管理AI服务能力
- 测试dns的工具--rndc,dig命令----DNS排错,在线修改bind(nsupdate)
- Android 内存优化——常见内存泄露及优化方案
- #includealgorithm
热门文章
- 计算机类短视频论文,论新媒体环境下短视频平台的发展--以秒拍为例.docx
- linux xfs grub,XFS分区上装grub
- 高中阶段学计算机,高中阶段计算机学习方法分享
- 刚刚和ChatGPT聊了聊隐私计算
- 解决如何为扫描件图片PDF添加页眉页脚页码日期的问题
- 图卷积神经网络笔记——第一章:系统性地介绍,卷积为什么要从 欧式空间 转到 非欧式空间
- bigdecimal乘法_Java BigDecimal乘法()方法与示例
- V5shop 8.2版本下通杀注入漏洞
- 嵌入式硬件设计与实践(从硬件到产品)
- windows内存偏高,关闭应用后也降不下来的解决办法