【数学建模常用模型】分类专题
这次介绍一下数模国赛常用的分类方法,以下这方法也是现在应用比较广泛的分类方法:K-近邻算法(k-Nearest Neighbors,KNN)和支持向量机(Support Vector Machine, SVM)。
K-近邻算法
K-近邻算法的基本思想是:如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。以空间中k个点为中心进行聚类,对最靠近他们的对象归类。
KNN方法思路简单,易于理解,易于实现,无需计算参数;不足之处是计算量较大,需要计算每一个待分类的样本点它到全体已知样本的距离,才能求得它的K个最邻近点。目前也要改进策略,如采用其它距离比如更接近于实际的距离函数而不是欧氏距离来度量长度,建立更高效的索引机制,等等。
值得一提的是,需要把KNN与另外一个名字相似的算法——K-均值聚类(K-means,全称为k-means clustering algorithm)区分开来,均值聚类是一种无监督学习的算法,通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。聚类结束条件可以为:1)没有(或最小数目)对象被重新分配给不同的聚类。2)没有(或最小数目)聚类中心再发生变化。3)误差平方和局部最小。
下面给出两种算法的示意图,方便理解并区分,KNN在上,K-means在下。
KNN
K-means
支持向量机
支持向量机是一种二分类所给样本点分成算法,基本目的是寻找一个可以把样本点分成两类的直线(对于二维平面而言)。维基百科上的定义是这样的:
支持向量机(英语:support vector machine,常简称为SVM,又名支持向量网络)是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例,每个训练实例被标记为属于两个类别中的一个或另一个,SVM训练算法创建一个将新的实例分配给两个类别之一的模型,使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点,这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后,将新的实例映射到同一空间,并基于它们落在间隔的哪一侧来预测所属类别。
支持向量机是一种比较经典的算法,不过目前应用还是神经网络决策树比较多。下面我们由简至繁来了解一下模型以及算法。首先是对样本情况的分类讨论。
a.样本完全线性可分
线性可分通俗来讲即为存在一条可以把样本完全分开的直线:
鉴于严谨起见,样本可能为n>3维的向量,我们把这条“直线”延伸开来,将其称为“超平面”。而我们要在所有符合条件的超平面中寻找到这两类点距离最大的那个超平面:
显然,符合条件的超平面到两类样本点的距离是相同的。样本中距离超平面最近的一些点,我们给它一个定义叫做支持向量,如上图中标记为红色的点。上图中2/|w|这一段距离我们把它叫做间隔。
当训练集线性可分时,通过硬间隔学习得到一个线性分类器,即硬间隔SVM。
b.样本不完全线性可分
不是所有的情况都存在一个超平面将两类样本点完全分开来的,比如下面这种情况:
这个时候我们许个别允点落在超平面内部,或落入决策边界的错误一侧。这个时候的间隔我们称做软间隔。
当训练数据不能线性可分但是可以近似线性可分时,通过软间隔最大化也可以学习到一个线性分类器,即软间隔SVM。
c.样本线性不可分
更有些时候,不是依靠一给超平面就能把两类样本点分开来的,比如下面这种情况:
这种时候就需要把样本点投射到高维空间,方可区分:
当训练数据线性不可分时,通过使用核技巧和软间隔最大化,可以学习到一个非线性SVM。
以上就是本次介绍的常用模型了,KNN和SVM,有问题的小伙伴可以随时提问喔~
不是所有的情况都存在一个超平面将两类样本点完全分开来的,比如下面这种情况:
这个时候我们许个别允点落在超平面内部,或落入决策边界的错误一侧。这个时候的间隔我们称做软间隔。
当训练数据不能线性可分但是可以近似线性可分时,通过软间隔最大化也可以学习到一个线性分类器,即软间隔SVM。
c.样本线性不可分
更有些时候,不是依靠一给超平面就能把两类样本点分开来的,比如下面这种情况:
这种时候就需要把样本点投射到高维空间,方可区分:
当训练数据线性不可分时,通过使用核技巧和软间隔最大化,可以学习到一个非线性SVM。
以上就是本次介绍的常用模型了,KNN和SVM,有问题的小伙伴可以随时提问喔~
【数学建模常用模型】分类专题相关推荐
- 数学建模常用模型04:灰色关联分析法
数学建模常用模型04:灰色关联分析法 灰色关联分析法 本文所用的资料参考来源:美赛资料网:美赛资料网 与灰色预测模型一样,比赛不能优先使用,灰色关联往往可以与层次分析结合使用.层次分析用在确定权重上面 ...
- 数学建模常用模型(一):灰色预测法
数学建模常用模型(一):灰色预测法 灰色预测法是一种用于处理少量数据.数据质量较差或者缺乏历史数据的预测方法.它适用于一些非线性.非平稳的系统,尤其在短期预测和趋势分析方面有着广泛的应用.灰色预测法作 ...
- 【数学建模常用模型】图论专题
图论是研究点.线间关系的一门学科.现实生活中,凡是涉及到事物间的关系,都可以抽象为图论模型.图论模型也是各大数学建模中常见的一种模型,主要用于计算.规划最短距离.路线等问题.下面介绍几个基本概念和算法 ...
- 数学建模常用模型方法
运筹学模型 概率论与数理统计模型 微分方程模型&预测分析模型 综合评价与决策方法 经典NP问题模型 智能算法(启发式)&常用算法模型 数学建模模型大全: https://blog.cs ...
- 数学建模常用模型21:BP神经网络(三层)
给大家安利一款朋友开发的自研国产数据分析基础工具,一键式自动分析,自动生成分析模板,5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM, ...
- 数学建模常用模型及代码
一.规划模型 1.线性规划 线性规划与非线性规划问题一般都是求最大值和最小值,都是利用最小的有限资源来求最大利益等,一般都利用lingo工具进行求解. 点击进入传送门 2.整数规划 求解方式类似于线性 ...
- 数学建模常用模型14 :因子分析
给大家安利一款朋友开发的自研国产数据分析基础工具,一键式自动分析,自动生成分析模板,5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM, ...
- 数学建模常用模型24:时间序列分析
给大家安利一款朋友开发的自研国产数据分析基础工具,一键式自动分析,自动生成分析模板,5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM, ...
- 数学建模常用模型05 :多元回归模型
给大家安利一款朋友开发的自研国产数据分析基础工具,一键式自动分析,自动生成分析模板,5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM, ...
- 数学建模常用模型17 :偏最小二乘回归分析
给大家安利一款朋友开发的自研国产数据分析基础工具,一键式自动分析,自动生成分析模板,5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM, ...
最新文章
- [十一]SpringBoot 之 添加JSP支持
- ospf hello时间和dead_图文并茂解释OSPF邻居关系建立失败的几种常见情况(太实用了!)...
- Keras笔记(一)关于Keras模型
- android证书别名,android – 了解密钥库,证书和别名
- 70打印位置调整_闵行公司做账发票打印不全该如何调整?
- C语言编程-9_4 字符统计
- c语言自动生成邻接矩阵,01邻接矩阵的创建C语言实现
- 国产linux聊天软件,程序员的全平台聊天软件:Rocket.Chat
- Linux 查看显卡型号
- FreeWheel是一家怎样的公司?
- 嵌入式软件未来发展趋势
- php 港澳台、大陆身份证正则表达式
- vuejs 项目生成二维码工具 vue-qr
- mpu6050详细c语言程序,mpu6050详细C语言知识程序.doc
- C++ Primer 第5版--练习9.14
- WINCE5.0软件总汇(20100411更新)
- icloud android 日历同步到iphone,Mac的日历事件如何同步到iphone?
- MYSQL练习题:连续两天登录的游戏玩家比率
- 视频播放不了?如何修复视频文件?
- 学python对excel有用吗_已经会Excel了还需要学python吗?