模型选择准则之AIC和BIC
参考文章http://blog.csdn.net/lynnucas/article/details/47947943
转自：http://blog.csdn.net/jteng/article/details/40823675
此处模型选择我们只考虑模型参数数量，不涉及模型结构的选择。
很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。
人们提出许多信息准则，通过加入模型复杂度的惩罚项来避免过拟合问题，此处我们介绍一下常用的两个模型选择方法——赤池信息准则（Akaike Information Criterion，AIC）和贝叶斯信息准则（Bayesian Information Criterion，BIC）。
AIC是衡量统计模型拟合优良性的一种标准，由日本统计学家赤池弘次在1974年提出，它建立在熵的概念上，提供了权衡估计模型复杂度和拟合数据优良性的标准。
通常情况下，AIC定义为：
其中k是模型参数个数，L是似然函数。从一组可供选择的模型中选择最佳模型时，通常选择AIC最小的模型。
当两个模型之间存在较大差异时，差异主要体现在似然函数项，当似然函数差异不显著时，上式第一项，即模型复杂度则起作用，从而参数个数少的模型是较好的选择。
一般而言，当模型复杂度提高（k增大）时，似然函数L也会增大，从而使AIC变小，但是k过大时，似然函数增速减缓，导致AIC增大，模型过于复杂容易造成过拟合现象。目标是选取AIC最小的模型，AIC不仅要提高模型拟合度（极大似然），而且引入了惩罚项，使模型参数尽可能少，有助于降低过拟合的可能性。
BIC（Bayesian InformationCriterion）贝叶斯信息准则与AIC相似，用于模型选择，1978年由Schwarz提出。训练模型时，增加参数数量，也就是增加模型复杂度，会增大似然函数，但是也会导致过拟合现象，针对该问题，AIC和BIC均引入了与模型参数个数相关的惩罚项，BIC的惩罚项比AIC的大，考虑了样本数量，样本数量过多时，可有效防止模型精度过高造成的模型复杂度过高。
其中，k为模型参数个数，n为样本数量，L为似然函数。kln(n)惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。
模型选择准则之AIC和BIC相关推荐
- 一文帮你理解模型选择方法：AIC、BIC和交叉验证！
一文帮你理解[模型选择方法]:AIC.BIC 和交叉验证! 本文先讲透模型选择的基本思想,再逐一叙述几种比较典型和常用的模型选择方法,希望可以帮助你理解. 一.模型选择的基本思想 模型选择的核心思想就 ...
- aic值检验 p值_模型选择方法：AIC和BIC
经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个变量,2的5次方,我们将有32个变量组合,可以训练出32个模型.但 ...
- Java机器学习库ML之十模型选择准则AIC和BIC
学习任务所建立的模型多数是参数估计并采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时也带来一个机器学习中非常普遍的问题--过拟合.模型选择问题是在 ...
- 信息准则：AIC、BIC、FPE、LILC
1.简介 信息准则(information criterion):经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个 ...
- 赤池信息量准则（AIC）和贝叶斯信息准则（BIC）
一 AIC 赤池信息量准则(Akaike information criterion,AIC)是评估统计模型的复杂度和衡量统计模型"拟合"资料之优良性(Goodness of fi ...
- AIC和BIC相关知识
同步于音尘杂记 文章目录 1. 模型拟合优度检验 2. 调整R square 3. AIC和BIC 前面在回顾sklearn时,在广义线性模型中看到选择模型时可以采用AIC和BIC准则,特地复习了下统 ...
- 模型选择的几种方法：AIC，BIC，HQ准则
经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个变量,2的5次方,我们将有32个变量组合,可以训练出32个模型.但 ...
- 模型中AIC和BIC以及loglikelihood的关系
目录 1. AIC的解释 2. BIC的解释 3. AIC和BIC的比较 4. 实例演示 4.1 模型1的AIC和BIC 4.2 模型2的AIC和BIC 4.3 模型1和模型2比较 5. LRT似然比 ...
- 赤池信息准则AIC，BIC
很多参数估计问题均采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时带来一个机器学习中非常普遍的问题--过拟合.所以,模型选择问题在模型复杂度与模型 ...
最新文章
- Mac下文件的编码及修改编码
- C语言循环求出2的10次幂,C语言求2的100次幂的结果.doc
- 计算机网络(二十七)-IPv4
- Java中的main方法
- SpringAop @Pointcut(“@annotation“)\@Aspect练习
- 对抗机器学习（Adversarial Machine Learning）发展现状
- git merge分支不合并_合并分支使用Merge还是Rebase？
- Android 功耗（3）---高通功耗问题分析方法
- python实现单链表快速排序升序linkedqueue_数据结构回顾
- python 干什么工作具有明显优势-python语言的优势是什么
- 2021 CCF网络推荐会议时间列表
- SQL Server 添加Northwind数据库
- android与ios设计规范,Android和ios设计规范
- 密码学小知识(2)：密码学三大顶会，信息安全四大顶会，网络与信息安全CCF推荐会议和期刊
- Java日志框架的使用
- C盘中哪些文件可以删除?
- 【unity】FPS快速实现全息瞄准镜
- js中clearInterval的重新执行/重新开始
- 医生，我的眼球掉出来了，快帮我种回去！
- 微信小程序顶部透明状态标题栏搜索栏与胶囊对齐