k近邻算法_机器学习分类算法之k近邻算法
本编文章将介绍机器学习入门算法-k近邻算法,将会用demo演示机器学习分类算法。
在先介绍算法时,先回顾分类和回归的区别。像文章分类识别也是这样处理的,如1代表体育,2代表科技,3代表娱乐属于分类问题,需要运用分类算法。预测票房、股票等具体数值,这就是连续型,属于回归问题,需要运用回归算法。额外补充下转化器和估计器这两个在机器学习的重要概念。
转化器与估计器
转化器
转化器示意图
从代码层面来说就是继承了Transformer这个类就是转化器。
实例演示
api 介绍fit_transform():输入数据直接转换fit(): 输入数据,计算平均值,方差等等,但是对数据不做事transform(): 进行数据的转换
fit_transform()执行的是两个步骤,fit和transform,fit指定转化的标准,transform跟fit的制定的标准执行转化。如 out【3】和out【6】的执行结果是一致的,但是与out【8】是不一致的,因为它的fit的标准变了。
类图关系
StandardScaler继承了TransformerMixin,被实例化出来的被称作转化器。
估计器
sklearn机器学习算法的实现-估计器
在sklearn中,估计器(estimator)是一个重要的角色,分类器和回归器都属于estimator,是一类实现了算法的API
1、用于分类的估计器:•sklearn.neighborsk-近邻算法•sklearn.naive_bayes 贝叶斯•sklearn.linear_model.LogisticRegression 逻辑回归2、用于回归的估计器:•sklearn.linear_model.LinearRegression 线性回归•sklearn.linear_model.Ridge 岭回归
估计器的使用过程
分类算法-k近邻算法
概念
算法概念示例图
图中有一个人不知道自己所属于什么区,但是他知道其他人在什么位置以及距离。距离自己最近的人所在区来表示自己的所在的区。这就是k近邻算法的核心思想。
定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。来源:KNN算法最早是由Cover和Hart提出的一种分类算法。
概念案例示意图
这里的特征是打斗镜头和接吻镜头,目标值是爱情片还是动作片。那么用k近邻算法就是求出它的”与未知电影的距离”。
两个样本的距离可以通过如下公式计算,又叫欧式距离。
算法公式
但是它的特征如果很大,则会影响数据准确性。所以它需要标准化。
k-近邻算法API
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
n_neighbors:int,可选(默认= 5),k_neighbors查询默认使用的邻居数
algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’将会使用 BallTree,‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
实例
原题题目网址:https://www.kaggle.com/c/facebook-v-predicting-check-ins
根据提供信息预测用户入驻位置
问题描述
实例数据 https://pan.baidu.com/s/1BGKkCagNT8q81M-xgyW64w
密码 b2n4
数据描述
from sklearn.datasets import load_iris, fetch_20newsgroups, load_bostonfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_reportfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.tree import DecisionTreeClassifier, export_graphvizfrom sklearn.ensemble import RandomForestClassifierimport pandas as pddef knncls(): """ K-近邻预测用户签到位置 :return:None """ # 读取数据 data = pd.read_csv("./data/FBlocation/train.csv") # print(data.head(10)) # 处理数据 # 1、缩小数据,查询数据晒讯 data = data.query ("x > 2.0 & x < 2.25 & y > 2.5 & y < 2.75") # 处理时间的数据 time_value = pd.to_datetime(data['time'], unit='s') print(time_value) # 把日期格式转换成 字典格式 time_value = pd.DatetimeIndex(time_value) # 构造一些特征 data['day'] = time_value.day data['hour'] = time_value.hour data['weekday'] = time_value.weekday # 把时间戳特征删除 data = data.drop(['time'], axis=1) # 把签到数量少于n个目标位置删除 place_count = data.groupby('place_id').count() tf = place_count[place_count.row_id > 3].reset_index() data = data[data['place_id'].isin(tf.place_id)] # 取出数据当中的特征值和目标值 y = data['place_id'] x = data.drop(['place_id'], axis=1) # 进行数据的分割训练集合测试集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # 特征工程(标准化) std = StandardScaler() # 对测试集和训练集的特征值进行标准化 x_train = std.fit_transform(x_train) x_test = std.transform(x_test) # 进行算法流程 # 超参数 knn = KNeighborsClassifier(n_neighbors=5) # fit, predict,score knn.fit(x_train, y_train) # 得出预测结果 y_predict = knn.predict(x_test) print("预测的目标签到位置为:", y_predict) # 得出准确率 print("预测的准确率:", knn.score(x_test, y_test))
提高准确率
没有变标准化 准确率为0.02
标准化之后 准确率为0.32
去除无用的rowid 准确率为0.40
调整n_neighbors=6 准确率为0.39
实例流程:
1、数据集的处理
2、分割数据集
3、对数据集进行标准化
4、estimator流程进行分类预测
注意点
1.k值取多大?有什么影响?
k值取很小:容易受异常点影响;k值取很大:容易受最近数据太多导致比例变化。
2.性能问题
每个样本进行预测都要与所有样本计算欧式距离,导致它的性能非常低下。在我们选择算法的时候,通常要考虑准确率高和不影响机器性能的算法。所以这个算法在实际较少用到。
3.优点
简单,易于理解,易于实现,无需估计参数,无需训练。估计参数不是KNeighborsClassifier(n_neighbors=5) 里的n_neighbors的参数,这种的参数叫做超参数,而估计参数是算法里面的参数。无需训练,因为与每个样本的距离的都是固定的,所以无需训练。
4.缺点
懒惰算法,对测试样本分类时的计算量大,内存开销大;必须指定K值,K值选择不当则分类精度不能保证。
后续会持续更新由浅入深机器学习的技术文章,有兴趣的朋友可看我之前的文章,关注我随时了解人工智能
k近邻算法_机器学习分类算法之k近邻算法相关推荐
- 机器学习分类算法_机器学习分类算法
人们曾在自身的神经元得到启发,将机器学习中给出的特征输入与权重之积作为输出与阈值作比较,得到0或者1的输出. 这就是我们感知器的实现原理 感知器在实现过程中的步骤如下: ①将权值初始化称为一个很小的向 ...
- 机器学习朴素贝叶斯算法_机器学习中的朴素贝叶斯算法
机器学习朴素贝叶斯算法 朴素贝叶斯算法 (Naive Bayes Algorithm) Naive Bayes is basically used for text learning. Using t ...
- k近邻算法_机器学习之K近邻分类算法的实现
K近邻算法(k-nearest neighbors, KNN)是最基本的机器学习算法之一.所谓的K,就是距离最近的K个邻居的意思.其实,KNN在我们平常的生活中也会不自主的应用,比如,俗语说的&quo ...
- svm算法原理_机器学习——分类算法(1)
一. K近邻 KNN算法的基本思想就是在训练集中数据和标签已知的情况下,输入测试数据,将测试数据的特征与训练集中对应的特征进行相互比较,找到训练集中与之最为相似的前K个数据,则该测试数据对应的类别就是 ...
- 时间序列分类算法_时间序列分类算法简介
时间序列分类算法 A common task for time series machine learning is classification. Given a set of time serie ...
- 最小径集的算法_机器学习的利器——集成算法
最近在打算法竞赛的时候用到了集成算法,效果还不错,索性就总结了一篇集成算法的文章,希望能帮到正在转行的数据分析师们. 集成算法核心思想 集成算法的核心思想是通过构建并结合多个学习器来完成学习任务,也就 ...
- k means聚类算法_一文读懂K-means聚类算法
1.引言 什么是聚类?我们通常说,机器学习任务可以分为两类,一类是监督学习,一类是无监督学习.监督学习:训练集有明确标签,监督学习就是寻找问题(又称输入.特征.自变量)与标签(又称输出.目标.因变量) ...
- python回归算法_机器学习算法之回归详解
导语 回归:从一组数据出发,确定某些变量之间的定量关系式:即建立数学模型并估计未知参数. 回归的目的是预测数值型的目标值,它的目标是接受连续数据,寻找最适合数据的方程,并能够对特定值进行预测.这个方程 ...
- 朴素贝叶斯算法_机器学习第三篇:详解朴素贝叶斯算法
一.统计知识 01|随机事件: 1.概念 随机事件是在随机试验中,可能出现也可能不出现,而在大量重复试验中具有某种规律性的事件叫做随机事件(简称事件).随机事件通常用大写英文字母A.B.C等表示.随机 ...
最新文章
- 直播回顾|结构光编码与三维重建技术
- AngularDart Material Design 卡片
- 网站排名和权重骤降的原因是什么?又该如何处理?
- 字符集问题的初步探讨-乱码的产生
- 美国面试之旅——面试经验分享
- Java---报错The type List is not generic; it cannot be parameterized with arguments <Role>==List打包错误
- 【C++ grammar】抽象、封装与this指针
- android gridview 按钮事件处理,Android TV gridview 的按键事件响应巧变 事件分发机制...
- python/进程线程的总结
- 上市4年,现在苹果要停产它了
- 洛谷P2585 [ZJOI2006]三色二叉树
- 微软十二月补丁星期二修复58个漏洞
- wndows make images
- linux 区别 挂起 阻塞_踩坑之java执行linux命令死锁阻塞挂起
- 老男孩教育学习linux决心书
- 电脑小知识:最常用的10个电脑技巧
- Sublime Text3轻量型跨平台C/C++开发环境(上) 安装使用篇
- auto.js B0012 进入各频道 查找父控件 子控件 2021-10-03
- HP DL380 G3服务器重做RAID
- 电脑显示计算机资源不足 新用户无法登录,三招解决win10电脑提示资源不足的问题...
热门文章
- Comicstudio插画
- 一段代码,求解数独(九宫格)游戏
- ANSI C、ISO C、Standard 是什么关系?
- 实战演练 飞盘射击 要点汇总
- 51CTO移动客户端可以在线下载安装啦 - 51CTO博客开发 - 51CTO技术博客
- 如何实现代码的高内聚低耦合
- C# Socket网络编程(附赠练手小项目)
- k8s的nodeport端口范围provided port is not in the valid range. The range of valid ports is 30000-32767 解决
- RFID防碰撞算法(三)
- ApiCloud云编译失败