机器学习基础（二十一）—— 分类与回归、生成模型与判别模型

无论是生成模型还是判别模型，都可作为一种分类器（classification）来使用；

1. 分类与回归

（1）分类的目标变量是标称型数据（categorical data），0/1，yes/no
（2）回归：连续型（numeric data），鲍鱼的年龄，玩具的售价

对于分类问题，监督学习从数据中学习一个分类模型或分类决策函数，称为分类器（classifier）。分类器对新的输入进行输出的预测（predication），称为分类（classification），可能的输出称为类 class。

评价分类器性能的指标一般是分类精确率（accuracy），其定义是：对于给定测试数据集，分类器正确分类的样本数和总样本数之比。也就是损失函数是 0-1 损失时测试数据集上的准确率。

L=1N∑n=1N1yn≠g(xn)

L=\frac1N\sum_{n=1}^N1_{y_n\neq g(\mathbf{x}_n)}

回归（Regression）是监督学习的另一个重要问题，回归用于预测输入变量（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是表示从输入变量到输出变量之间映射的函数，回归问题的学习等价于函数拟合。

回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最小二乘法（least squares）求解。

2. 生成模型与判别模型

生成模型根据联合概率 P(X,Y)P(X,Y)，然后求条件概率 P(Y|X)P(Y|X)，其提供了一种生成关系，故可还原联合概率分布 P(X,Y)P(X, Y)；
判别模型直接学习条件概率 P(Y|X)P(Y|X) 或决策函数 f(X)f(X)；

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式分为两类：

（1）决策函数：

Y=f(X)

Y=f(X)
（2）条件概率分布

P(Y|X)

P(Y|X)

监督学习方法又可分为生成方法（generative approach）和判别方法（discriminative approach），所学到的模型分别为生成模型（generative model）和判别模型（discriminative model）。

生成方法由数据学习联合概率分布 P(X,Y)P(X, Y)，然后求出条件概率分布 P(Y|X)P(Y|X) 作为预测的模型，即生成模型：

P(Y|X)=P(X,Y)P(X)

P(Y|X)=\frac{P(X,Y)}{P(X)}

这样的方法之所以称为生成方法，是因为模型表示了给定输入 XX 产生输出 YY 的生成关系。典型的生成模型主要有：

朴素贝叶斯法（P(ci|w)=P(ci)P(w|ci)P(w)P(c_i|w)=\frac{P(c_i)P(w|c_i)}{P(w)}）

因为贝叶斯分类器，其实说明了如何通过类条件概率（class-conditional probability）（p(w|ci)p(w|c_i)）以及类先验（prior，p(ci)p(c_i)）来生成数据的过程和方法。
隐马尔科夫模型（存在隐变量）

判别方法由数据直接学习决策函数 f(X)f(X) 或者条件概率分布 P(X,Y)P(X,Y) 作为预测的模型，即判别模型。判别方法关心的是，对给定的输入 XX，应该预测什么样的输出 YY。

生成方法的特点：

（1）生成方法可以还原出联合概率分布 P(X,Y)P(X,Y)，而判别方法则不能；
（2）生成方法的学习收敛速度更快，即当样本容量增加时，学到的模型可以更快地收敛到真实模型；
（3）当存在隐变量时，仍可以用生成方法学习，此时判别方法就不能用

判别方法的特点：

（1）判别方法直接学习的是条件概率 P(Y|X)P(Y|X) 或决策函数 f(X)f(X)，直接面对预测，往往学习的准确率更高
（2）由于直接学习 P(Y|X)P(Y|X) 或 f(X)f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。