本讲内容

1. VC dimension （Vapnik-Chervonenkis 维）

2. Model selection（模型选择） 

　　--cross validation（交叉验证）

　　--feature selection（特征选择）

3. Bayesian statistics regularization（贝叶斯统计正则化）

1. VC维

首先定义shatter：

给定一个训练集 ，如果一个假设类H，对S的任意一种标记方式都能实现完美的预测，那么我们认为一个假设类H能够shatters（分散）S。完美的预测是指：不管对S中的数据如何标注，H中都存在假设h，使得h对S的分类误差为0.

定义VC维：

一个假设类H的VC维（）是指能够被H  shatter的最大集合的尺寸。

例如存在包含三个训练样本的集合S，如下图所示，对S的任意一种标记方式，都存在一个二维的线性分类器能够对它们完美预测。如下图：

但是并不是包含三个样本的所有集合，二维线性分类器都可以shatter。比如：

这样就不存在线性二维分类器可以完美预测。

但是对于所有含有四个样本的训练集S，都不存在二维线性分类器能够实现对其任意标记的完美预测，因此我们说包含所有二维线性分类器的假设类H的VC维

 = 3

结论： 给定一个假设类H（可以是无限假设类）， = d，那么至少在  的概率下，对所有的假设h，有

由此可以推出，至少在  的概率下，有

引理：

为了保证  这个结论至少在  的概率下成立，充分条件为

对于ERM算法来说，样本复杂度和假设类的VC维呈线性关系，同时大多数，正常情况下，假设类的VC维和假设的参数数量差不多，因此可以得出，需要的训练样本数和参数数量大致是呈线性关系的。

对于SVM来说，即使我们将输入特征映射到无限维的特征空间，按照正常逻辑来说，SVM的VC维应该是无穷大。但是事实证明，具有较大间隔的SVM分类器，都具有较小的VC维。

假如我们只考虑半径为R以内的数据点，同时只考虑那些间隔大于  的假设，那么这样的假设类H的VC维具有如下的上界：

因此包含较大间隔线性SVM分类器的假设的假设类的VC维不依赖于X的维度。

2.模型选择

2.1 Hold-out cross validation（保留交叉验证）

split S into two subset :training subset(70%), cv subset(30%)

2.2 k-fold cross validation（k重交叉验证）

把S分成k部分，每次用k-1个部分进行训练，用剩下的一个部分用来验证。轮流交换验证的部分。最后对k个结果取平均。

通常取k=10比较常见

2.3 leave-one-out cross validation（留一交叉验证） 

k=m的k重交叉验证的特例。每次只留出一个样本进行验证。

3. 特征选择

有的时候，特征的数量是非常大的，但是可能只是很小一部分的特征跟学习任务是有关系的. 这个时候就需要特征选择算法减少特征的数量。对n个特征来说，每个特征都存在选择和不选择的情况，因此特征选择一共存在  个子集。采用枚举每个子集的方法来得到最优特征选择结果，代价是非常高的。对于不同的学习任务，通常会使用不同的启发式规则进行搜索。

3.1  前向搜索算法（forward search）

start with 

Repeat

{

　　(1)for i = 1:n

　　 　　 try adding feature i to F;

　　　     evaluate using cross-validation ;

　  (2)set  

}

output best hypothesis found.

每次都考虑从那些尚未被选择的特征中 选出最好的一个特征添加到F中。　

3.2 后向搜索算法 （Backward search）

Start with

delete features one at a time

当样本数远小于特征数时，该算法可能没有意义，因为会导致过拟合。

前向搜索和后向搜索 统称为 “封装（wrapper）”特征选择算法。这种算法在计算能力满足要求的情况下，性能是很不错的。但是对于文本分类这样的问题，特征数目特别多，前向选择的计算量会特别大。

"过滤（Filter）"特征选择算法

for each feature i

compute some measure of how informative xi is about y.

一种measure 是计算xi和y的相关度，然后选择相关度最高的k个特征

另外一种measure是计算xi和y的互信息（mutual information）

当xi和y相互独立时，xi和y的联合概率分布与xi和y的概率分布乘积得到的概率分布，其KL散度为0.

第十讲完。