【统计学习方法】统计学习方法概论（2）

一、模型评估和模型选择

1、训练误差与测试误差

2、过拟合和模型选择

经验风险最小化会出现过拟合问题。

二、正则化与交叉验证

1、正则化

模型选择的典型方法是正则化。

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项。

正则化符合奥卡姆剃刀原理。

2、交叉验证

另一种常用的模型选择方法是交叉验证cross validation

随机将数据集切分成三部分：训练集，验证集，测试集。

验证集用于多模型的选择。

交叉验证的基本想法是重复地使用数据，吧给定的数据切分，将切分的数据集合为训练集与测试集，反复训练，测试，模型选择。

（1）简单交叉验证

（2）S折交叉验证

（3）留一交叉验证

三、泛化能力

四、生成模型与判别模型

1、生成模型：生成反复由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。

典型的有：朴素贝叶斯法、隐马尔可夫模型

2、判别模型：判别方法由数据直接学习决策函数f(X)或者条件概率分布P(X|Y)作为预测的模型，即判别模型。

典型的有：k近邻法，感知机，决策树，逻辑斯蒂回归模型，最大熵模型，支持向量机，提升方法，条件随机场等。

【统计学习方法】统计学习方法概论（2）相关推荐

统计学习方法笔记_cbr：统计学习及监督学习概论
第一章笔记,统计学习及监督学习概论目录第一章笔记,统计学习及监督学习概论 1.1统计学习 1.统计学习的特点 2.统计学习的对象 3.统计学习的方法 4.统计学习的研究 1.2统计学习的分类 1. ...
《统计学习方法》读书笔记第1章: 统计学习及监督学习概论
第1章: 统计学习及监督学习概论统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称为统计机器学习(statstic ...
统计学习-机器学习方法概论
统计学习-机器学习方法概论机器学习的对象是:具有一定的统计规律的数据. 机器学习根据任务类型,可以划分为: 监督学习任务:从已标记的训练数据来训练模型. 主要分为:分类任务.回归任务.序列标注任务. ...
机器学习——统计学习方法——第1章统计学习及监督学习概论
监督学习是从标注数据中学习模型的机器学习问题,是统计学习的重要组成部分. 1.1 统计学习统计学习的特点统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科. 特点 ...
【统计学习方法】统计学习及监督学习概论
1.1 统计学习 1.1.1统计学习的特点数据对统计学习很重要学习: 如果一个系统更能够通过执行某个过程改进它的性能 1.1.2 统计学习研究对象统计学习研究对象:数据数据的基本假设是同类数据 ...
统计学习方法- 统计学习方法概论
1.统计学习统计学习是关于计算机数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,统计学习又称为统计机器学习. 它的主要特点包括: 统计学习是以计算机和网络为平台,是建立在计算机和网络之 ...
数字统计之统计页码数字出现的次数
给定一个十进制整数N,求出从1到N的所有整数中出现"1"的个数. 例如:N=2,1,2出现了1个"1". N=12,1,2,3,4,5,6,7,8,9,10,1 ...
1093. 大样本统计-正常统计
1093. 大样本统计-正常统计我们对 0 到 255 之间的整数进行采样,并将结果存储在数组 count 中:count[k] 就是整数 k 在样本中出现的次数. 计算以下统计数据: minimu ...
WordPress正确使用51la统计来统计网站访问数据[WP教程]
文章前言/文章引入今天给大家分享一个很简单使用的统计网站数据的网站,不需要添加任何代码只需要我们下载[51la统计插件]就可以实现实时统计网站访问数据蜘蛛数据等等,废话也是不多说了直接写教程吧,希望 ...
mysql四表统计数量:统计中国各个省份安装企业站点数量
[求助]四表统计数量:统计中国各个省份安装企业站点数量需要实现的效果表结构怎么才能得到????如下正解需要实现的效果表结构 # 地区表 CREATE TABLE `sys_region` ...

【统计学习方法】统计学习方法概论（2）

【统计学习方法】统计学习方法概论（2）相关推荐

最新文章

热门文章