分类问题

在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。
分类问题包括学习和分类两个过程。

评价指标

TPTPTP——将正类预测为正类数
FNFNFN——将正类预测为负类数
FPFPFP——将负类预测为正类数
TNTNTN——将负类预测为负类数
精确率：P=TPTP+FPP=\frac{TP}{TP+FP}P=TP+FPTP
召回率：R=TPTP+FNR=\frac{TP}{TP+FN}R=TP+FNTP
1F值：（精确率和召回率的调和均值）
2F1=1P+1R\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R}F12=P1+R1
F1=2TP2TP+FP+FNF_1=\frac{2TP}{2TP+FP+FN}F1=2TP+FP+FN2TP
精确率和召回率都高时，F1F1F1值也会高
Z.B.
k近邻法、感知机、朴素贝叶斯法、决策树、决策列表、逻辑斯谛回归模型、支持向量机、提升方法、贝叶斯网络、神经网络、 Winnow

标注问题

标注问题是分类问题的一个推广
标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。注意，可能的标记个数是有限的，但其组合所成的标记序列的个数是依序列长度呈指数级增长的。

过程

标注问题分为学习和标注两个过程

学习

T=(x1,y1),(x2,y2),...,(xN,yN)T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}T=(x1,y1),(x2,y2),...,(xN,yN)
基于学习构建一个模型，表示为条件概率分布：P(Y(1),Y(2),...,Yn∣X(1),X(2),...,X(n))P(Y^{(1)},Y^{(2)},...,Y^{n}|X^{(1)},X^{(2)},...,X^{(n)})P(Y(1),Y(2),...,Yn∣X(1),X(2),...,X(n))

标注

对一个观测序列xN+1=(xN+1(1),xN+1(2),...,xN+1(n))Tx_{N+1}=(x_{N+1}^{(1)},x_{N+1}^{(2)},...,x_{N+1}^{(n)})^TxN+1=(xN+1(1),xN+1(2),...,xN+1(n))T，找到使条件概率P((yN+1(1),yN+1(2),...,yN+1(n)),(xN+1(1),xN+1(2),...,xN+1(n))T)P((y_{N+1}^{(1)},y_{N+1}^{(2)},...,y_{N+1}^{(n)}),(x_{N+1}^{(1)},x_{N+1}^{(2)},...,x_{N+1}^{(n)})^T)P((yN+1(1),yN+1(2),...,yN+1(n)),(xN+1(1),xN+1(2),...,xN+1(n))T)最大的标记序列yN+1=(yN+1(1),yN+1(2),...,yN+1(n))Ty_{N+1}=(y_{N+1}^{(1)},y_{N+1}^{(2)},...,y_{N+1}^{(n)})^TyN+1=(yN+1(1),yN+1(2),...,yN+1(n))T
Z.B.
隐马尔可夫模型、条件随机场

回归问题

选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据

过程

回归问题分为学习和预测两个过程
回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最小二乘法（least squares）求解。

统计学习方法-李航（6）相关推荐

统计学习方法-李航（5）
统计学习方法-李航(5) 生成模型与判别模型监督学习方法生成方法(generative approach) 生成模型(generative model) 判别方法(discriminative a ...
统计学习方法-李航（4）
统计学习方法-李航(第一章4) 泛化能力泛化误差泛化误差上界考虑二分类问题的泛化误差上界泛化误差上界定理泛化误差上界定理证明泛化能力泛化误差学习方法的泛化能力是指由该方法学习到的模型对 ...
统计学习方法-李航（3）
统计学习方法-李航(第一章3) 模型评估与模型选择训练误差与测试误差过拟合与模型选择例如:多项式拟合正则化和交叉验证正则化例如:回归问题交叉验证简单交叉验证 S折交叉验证(S-fold ...
统计学习方法-李航（2）
统计学习方法-李航(第一章2) 如何对经验风险进行矫正经验风险最小化(ERM) 缺点结构风险最小化极大似然估计和贝叶斯估计(PR) 极大似然估计贝叶斯估计如何对经验风险进行矫正在现实中,由 ...
统计学习方法-李航(1)
统计学习方法-李航(第一章1) 第一章统计学习概论 1.1 统计学习 1.2 监督学习 1.3 统计学习的三要素第一章统计学习概论 1.1 统计学习 1.统计学习是关于计算机基于数据构建概论统计 ...
统计学习方法李航读书笔记
************************************************************ 李航教授<统计学习方法> 统计学教材总结主要介绍监督学习方法 * ...
统计学习方法---李航
统计学习方法笔记第一章:统计学习概论 1.1 统计学习统计学习( statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也 ...
统计学习方法-李航-第一章：统计学习方法概论-笔记1
文章目录 0 机器学习分类 0.1 监督学习 0.2 无监督学习 0.3 半监督学习 0.4 强化学习 1 统计学习方法概论 1.1 监督学习的步骤 1.2 统计学习三要素 1.3 模型评估 1.4 ...
统计学习方法-李航-期末复习流程图
<统计学习方法>流程图-期末复习(上) X-mind绘制,转载注明出处第一章-概论第二章-感知机第六章-逻辑回归

统计学习方法-李航（6）