K 近邻的数学表达

所谓 K 近邻的数学表达，也即统计计数（再进行表决）的数学表达。

y=argmaxcj∑xi∈Nk(x)I(yi=cj),i=1,2,…,N;j=1,2,…,K

y=\arg\max_{c_j}\sum_{x_i\in N_k(x)}I(y_i=c_j),\quad i=1,2,\ldots,N;\;j=1,2,\ldots,K

k 值的选择

k 值的选择会对 k 近邻法的结果产生重大影响。

如果选择较小的 k 值，就相当于用较小的邻域中的训练实例（xi∈Nk(x)x_i\in N_k(x)）进行预测。“学习”的近似误差（approximation error）会减少，只有与输入实例较近的（相似的）训练实例才会对预测结果起作用，但缺点是“学习”的估计误差（estimation error）会增大，预测结果对近邻的实例点非常敏感。如果近邻的实例点恰巧是噪声，预测就会出错。换句话说，k 值的减小就意味着模型变得复杂，容易发生过拟合。

如果选择较大的 k 值，将相当于用较大邻域中的训练实例进行预测。其优点是可以减少学习的估计误差，但会增大学习的近似误差。这时与输入实例较远的（不相似）的训练实例也会对预测起作用，使预测发生错误。k 值的增大意味着整体的模型变得简单。

如果 k=Nk=N，那么无论输入实例是什么，都将简单地预测它属于在训练实例中出现最多的类，这时，模型过于简单，完全忽视训练实例中的大量有用信息。

在应用中，k 一般取一个较小的值，通常采用交叉验证法来选取最优的 k 值。

#

机器学习基础（四十一）—— KNN相关推荐

机器学习基础（十一）—— Logistic Regression 梯度更新公式的推导
Logistic Regression 所要最佳化的问题是: minw1N∑n=1Nln(1+exp(−ynwTxn))Ein( ...
KNN算法的机器学习基础
KNN算法的机器学习基础 https://mp.weixin.qq.com/s/985Ym3LjFLdkmqbytIqpJQ 本文原标题 : Machine Learning Basics with ...
[Python从零到壹] 四十一.图像处理基础篇之图像采样处理
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
OpenCV学习笔记（四十一）——再看基础数据结构core OpenCV学习笔记（四十二）——Mat数据操作之普通青年、文艺青年、暴力青年 OpenCV学习笔记（四十三）——存取像素值操作汇总co
OpenCV学习笔记(四十一)--再看基础数据结构core 记得我在OpenCV学习笔记(四)--新版本的数据结构core里面讲过新版本的数据结构了,可是我再看这部分的时候,我发现我当时实在是看得太马 ...
计算机视觉面试宝典--深度学习机器学习基础篇（四）
计算机视觉面试宝典–深度学习机器学习基础篇(四) 本篇主要包含SVM支持向量机.K-Means均值以及机器学习相关常考内容等相关面试经验. SVM-支持向量机支持向量机(support vector ...
机器学习基础篇（十一）——主成分分析法
机器学习基础篇(十一)--主成分分析法一.简介当我们对含有多个变量的数据进行观测时,我们会收集大量的数据然后分析他们.大样本的数据集固然提供了丰富的信息,但是在一定程度上增加了问题的复杂性. 如果 ...
【机器学习基础】(四)：通俗理解支持向量机SVM及代码实践
上一篇文章我们介绍了使用逻辑回归来处理分类问题,本文我们讲一个更强大的分类模型.本文依旧侧重代码实践,你会发现我们解决问题的手段越来越丰富,问题处理起来越来越简单. 支持向量机(Support Vec ...
【零基础学Java】—哈希值（四十一）
[零基础学Java]-哈希值(四十一) 一. HashSet集合的介绍 java.util.Set接口 extends Collection接口 Set接口的特点: 不允许重复的元素没有索引,没有带 ...
机器学习（四）：CART分类树（基础篇）
机器学习(四):CART分类树(基础篇) 相关的决策树文章: 机器学习(四)ID3决策树机器学习(四)C4.5决策树机器学习(四)CART回归树机器学习(四)决策树绘图机器学习(四)剪枝技术 ...
机器学习（四）：剪枝技术（基础篇）
机器学习(四):剪枝技术(基础篇) 相关的决策树文章: 机器学习(四)ID3决策树机器学习(四)C4.5决策树机器学习(四)CART分类树机器学习(四)CART回归树机器学习(四)决策树绘图 ...

机器学习基础（四十一）—— KNN

K 近邻的数学表达

k 值的选择

#

机器学习基础（四十一）—— KNN相关推荐

最新文章

热门文章