【SVM支持向量机】实现和案例
文章目录
- 零、参考文章和资料
- 一、scitit-learn SVM API说明
- 1.1 算法库概述分类算法
- 1.2 scitit-learn SVM算法库概述回归算法
- 1.3 scitit-learn SVM-OneClassSVM
- 二、鸢尾花特征分类
- 三、鸢尾花数据集不同核函数效果比较
- 四、BIM分类
- 数据产生
- 原始数据的可视化
- svm分类
- 分类结果可视化
零、参考文章和资料
参考博客:这里
数据集:资料,提取码:zmlc
大佬笔记:资料,提取码:78ae
一、scitit-learn SVM API说明
1.1 算法库概述分类算法
svm.SVC API说明
参数说明:
- C: 误差项的惩罚系数,默认为1.0;一般为大于0的一个数字,C越大表示在训练过程中对于总误差的关注度越高,也就是说当C越大的时候,对于训练集的表现会越好,但是有可能引发过度拟合的问题(overfiting)
- kernel:指定SVM内部函数的类型,可选值:linear、poly、rbf、sigmoid、
- precomputed(基本不用,有前提要求,要求特征属性数目和样本数目一样);默认是rbf;
- degree:当使用多项式函数作为svm内部的函数的时候,给定多项式的项数,默认为3
- gamma:当SVM内部使用poly、rbf、sigmoid的时候,核函数的系数值,当默认值为auto的时候,实际系数为1/n_features
- coef0: 当核函数为poly或者sigmoid的时候,给定的独立系数,默认为
- probability:是否启用概率估计,默认不启动,不太建议启动
- shrinking:是否开启收缩启发式计算,默认为True
- tol: 模型构建收敛参数,当模型的的误差变化率小于该值的时候,结束模型构建过程,默认值:1e-3
- cache_size:在模型构建过程中,缓存数据的最大内存大小,默认为空,单位MB
- class_weight:给定各个类别的权重,默认为空
- max_iter:最大迭代次数,默认-1表示不限制
- decision_function_shape: 决策函数,可选值:ovo和ovr,默认为None;推荐使用ovr;(1.7以上版本才有)
1.2 scitit-learn SVM算法库概述回归算法
1.3 scitit-learn SVM-OneClassSVM
二、鸢尾花特征分类
# -*- coding: utf-8 -*import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import warningsfrom sklearn import svm #svm分类器
from sklearn.model_selection import train_test_split # 划分训练集 测试集
from sklearn.metrics import accuracy_score # 分类准确率
from sklearn.exceptions import ChangedBehaviorWarning## 设置属性防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = Falsewarnings.filterwarnings('ignore', category=ChangedBehaviorWarning)## 读取数据
# 'sepal length', 'sepal width', 'petal length', 'petal width'
iris_feature = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度'
path = 'iris.csv' # 数据文件路径
data = pd.read_csv(path, index_col=0,header=0,names=[0,1,2,3,4])# 将类别装换成数字
mapping = {'setosa':0,'versicolor':1,'virginica':2}
data = data.replace(mapping)x, y = data[list(range(4))], data[4]
x = x[[0, 1]] # 获取第一列和第二列## 数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0, train_size=0.8)## 数据SVM分类器构建
clf = svm.SVC(C=1,kernel='rbf',gamma=0.1)
#gamma值越大,训练集的拟合就越好,但是会造成过拟合,导致测试集拟合变差
#gamma值越小,模型的泛化能力越好,训练集和测试集的拟合相近,但是会导致训练集出现欠拟合问题,从而,准确率变低,导致测试集准确率也变低。
#clf = svm.SVC(C=1, cache_size=200, class_weight=None, coef0=0.0,decision_function_shape=None, degree=3, gamma=0.1, kernel='rbf',
# max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
## 模型训练
clf.fit(x_train, y_train)## 计算模型的准确率/精度
print (clf.score(x_train, y_train))
print ('训练集准确率:', accuracy_score(y_train, clf.predict(x_train)))
print (clf.score(x_test, y_test))
print ('测试集准确率:', accuracy_score(y_test, clf.predict(x_test)))# 画图
N = 500
x1_min, x2_min = x.min()
x1_max, x2_max = x.max()
# print(x.max())
t1 = np.linspace(x1_min, x1_max, N)
t2 = np.linspace(x2_min, x2_max, N)
x1, x2 = np.meshgrid(t1, t2) # 生成网格采样点
grid_show = np.dstack((x1.flat, x2.flat))[0] # 测试点grid_hat = clf.predict(grid_show) # 预测分类值
grid_hat = grid_hat.reshape(x1.shape) # 使之与输入的形状相同cm_light = mpl.colors.ListedColormap(['#00FFCC', '#FFA0A0', '#A0A0FF'])
cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
plt.figure(facecolor='w')
## 区域图
plt.pcolormesh(x1, x2, grid_hat, cmap=cm_light)
## 所有样本点
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本
## 测试数据集
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中测试集样本
## lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鸢尾花SVM特征分类', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
plt.show()
三、鸢尾花数据集不同核函数效果比较
# -*- coding: utf-8 -*
import time
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import warningsfrom sklearn import svm # svm导入
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.exceptions import ChangedBehaviorWarning# 设置属性防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = Falsewarnings.filterwarnings('ignore', category=ChangedBehaviorWarning)## 读取数据
# 'sepal length', 'sepal width', 'petal length', 'petal width'
iris_feature = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度'
path = 'iris.csv' # 数据文件路径
data = pd.read_csv(path, index_col=0,header=0,names=[0,1,2,3,4])# 将类别装换成数字
mapping = {'setosa':0,'versicolor':1,'virginica':2}
data = data.replace(mapping)x, y = data[list(range(4))], data[4]
x = x[[0, 1]] # 获取第一列和第二列# 数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0, train_size=0.8)# 数据SVM分类器构建
svm1 = svm.SVC(C=1, kernel='linear')
svm2 = svm.SVC(C=1, kernel='rbf')
svm3 = svm.SVC(C=1, kernel='poly')
svm4 = svm.SVC(C=1, kernel='sigmoid')# 模型训练
t0 = time.time()
svm1.fit(x_train, y_train)
t1 = time.time()
svm2.fit(x_train, y_train)
t2 = time.time()
svm3.fit(x_train, y_train)
t3 = time.time()
svm4.fit(x_train, y_train)
t4 = time.time()# 效果评估
svm1_score1 = accuracy_score(y_train, svm1.predict(x_train))
svm1_score2 = accuracy_score(y_test, svm1.predict(x_test))svm2_score1 = accuracy_score(y_train, svm2.predict(x_train))
svm2_score2 = accuracy_score(y_test, svm2.predict(x_test))svm3_score1 = accuracy_score(y_train, svm3.predict(x_train))
svm3_score2 = accuracy_score(y_test, svm3.predict(x_test))svm4_score1 = accuracy_score(y_train, svm4.predict(x_train))
svm4_score2 = accuracy_score(y_test, svm4.predict(x_test))# 画图
x_tmp = [0, 1, 2, 3]
t_score = [t1 - t0, t2-t1, t3-t2, t4-t3]
y_score1 = [svm1_score1, svm2_score1, svm3_score1, svm4_score1]
y_score2 = [svm1_score2, svm2_score2, svm3_score2, svm4_score2]
plt.figure(facecolor='w', figsize=(12, 6))
plt.subplot(121)
plt.plot(x_tmp, y_score1, 'r-', lw=2, label=u'训练集准确率')
plt.plot(x_tmp, y_score2, 'g-', lw=2, label=u'测试集准确率')
plt.xlim(-0.3, 3.3)
plt.ylim(np.min((np.min(y_score1), np.min(y_score2)))*0.9,np.max((np.max(y_score1), np.max(y_score2)))*1.1)
plt.legend(loc='lower left')
plt.title(u'模型预测准确率', fontsize=13)
plt.xticks(x_tmp, [u'linear-SVM', u'rbf-SVM',u'poly-SVM', u'sigmoid-SVM'], rotation=0)
plt.grid(b=True)plt.subplot(122)
plt.plot(x_tmp, t_score, 'b-', lw=2, label=u'模型训练时间')
plt.title(u'模型训练耗时', fontsize=13)
plt.xticks(x_tmp, [u'linear-SVM', u'rbf-SVM', u'poly-SVM', u'sigmoid-SVM'], rotation=0)
plt.xlim(-0.3, 3.3)
plt.grid(b=True)
plt.suptitle(u'鸢尾花数据SVM分类器不同内核函数模型比较', fontsize=16)plt.show()# 预测结果画图# 画图比较
N = 500
x1_min, x2_min = x.min()
x1_max, x2_max = x.max()t1 = np.linspace(x1_min, x1_max, N)
t2 = np.linspace(x2_min, x2_max, N)
x1, x2 = np.meshgrid(t1, t2) # 生成网格采样点
grid_show = np.dstack((x1.flat, x2.flat))[0] # 测试点# 获取各个不同算法的测试值
svm1_grid_hat = svm1.predict(grid_show)
svm1_grid_hat = svm1_grid_hat.reshape(x1.shape) # 使之与输入的形状相同svm2_grid_hat = svm2.predict(grid_show)
svm2_grid_hat = svm2_grid_hat.reshape(x1.shape) # 使之与输入的形状相同svm3_grid_hat = svm3.predict(grid_show)
svm3_grid_hat = svm3_grid_hat.reshape(x1.shape) # 使之与输入的形状相同svm4_grid_hat = svm4.predict(grid_show)
svm4_grid_hat = svm4_grid_hat.reshape(x1.shape) # 使之与输入的形状相同# 画图
cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
plt.figure(facecolor='w', figsize=(14, 7))# svm
plt.subplot(221)
# 区域图
# plt.pcolormesh(x1, x2, svm1_grid_hat, cmap=cm_light)
# 所以样本点
# 样本
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark)
# 测试数据集
# 圈中测试集样本
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10)
# lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鸢尾花Linear-SVM特征分类', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)plt.subplot(222)
# 区域图
plt.pcolormesh(x1, x2, svm2_grid_hat, cmap=cm_light)
# 所以样本点
# 样本
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark)
# 测试数据集
# 圈中测试集样本
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10)
# lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鸢尾花rbf-SVM特征分类', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)plt.subplot(223)# 区域图
plt.pcolormesh(x1, x2, svm3_grid_hat, cmap=cm_light)
# 所以样本点
# 样本
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark)
# 测试数据集
# 圈中测试集样本
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10)
# lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鸢尾花poly-SVM特征分类', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)plt.subplot(224)
# 区域图
plt.pcolormesh(x1, x2, svm4_grid_hat, cmap=cm_light)
# 所以样本点
# 样本
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark)
# 测试数据集
# 圈中测试集样本
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10)
# lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鸢尾花sigmoid-SVM特征分类', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
plt.show()
四、BIM分类
数据产生
import randomdef calc_bmi(h, w):bmi = w / (h/100) ** 2if bmi < 18.5: return "thin"if bmi < 25.0: return "normal"return "fat"fp = open("./data/bmi.csv","w",encoding="utf-8")
fp.write("height,weight,label\r\n")cnt = {"thin":0, "normal":0, "fat":0}
for i in range(20000):h = random.randint(120,200)w = random.randint(35, 80)label = calc_bmi(h, w)cnt[label] += 1fp.write("{0},{1},{2}\r\n".format(h, w, label))
fp.close()
print("ok,", cnt)
原始数据的可视化
import matplotlib.pyplot as plt
import pandas as pdtbl = pd.read_csv("./data/bmi.csv", index_col=2)fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)def scatter(lbl, color):b = tbl.loc[lbl]ax.scatter(b["weight"],b["height"], c=color, label=lbl)scatter("fat", "red")
scatter("normal", "yellow")
scatter("thin", "purple")ax.legend()
plt.show()
svm分类
from sklearn.svm import SVC #svm分类器
from sklearn.model_selection import train_test_split # 划分训练集 测试集
from sklearn.metrics import accuracy_score # 分类准确率
import matplotlib.pyplot as plt
import pandas as pdtbl = pd.read_csv("./data/bmi.csv")label = tbl["label"]
w = tbl["weight"] / 100
h = tbl["height"] / 200
wh = pd.concat([w, h], axis=1)data_train, data_test, label_train, label_test = train_test_split(wh, label)clf = SVC()
clf.fit(data_train, label_train)predict = clf.predict(data_test)ac_score = accuracy_score(label_test, predict)
print(ac_score)
分类结果可视化
【SVM支持向量机】实现和案例相关推荐
- R语言SVM支持向量机模型数据分类实战:探索性数据分析、模型调优、特征选择、核函数选择
R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择 目录 R语言SVM支持向量机模型数据分类实战:探索性数据分析.模型调优.特征选择.核函数选择 #SVM基本原 ...
- 机器学习(MATLAB实现)——SVM支持向量机(一)
SVM支持向量机 支持向量机理论概述 二分类支持向量机 多分类支持向量机 libsvm工具箱使用简介 训练函数 预测函数 libsvm参数实例 一点拓展 参考文献 支持向量机理论概述 核函数用于将支持 ...
- SVM 支持向量机算法(Support Vector Machine )【Python机器学习系列(十四)】
SVM 支持向量机算法(Support Vector Machine )[Python机器学习系列(十四)] 文章目录 1.SVM简介 2. SVM 逻辑推导 2.1 Part1 化简限制条件 2.2 ...
- 机器学习(18)-- SVM支持向量机(根据身高体重分类性别)
目录 一.基础理论 二.身高体重预测性别 1.获取数据(男女生身高体重) 2.数据处理(合并数据) 3.设置标签 4.创建分类器(支持向量机) 4-1.创建svm分类器 4-2.设置分类器属性(线性核 ...
- SVM -支持向量机原理详解与实践之五
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法,特使对线性SVM和稀疏数据性 ...
- ML:基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic.梯度下降算法GD.LoR逻辑回归.Perceptron感知器.支持向量机(SVM_Linear.SVM_Rbf).LDA线性判别分析算法进行二分类预测(决策 ...
- ML之SVM:基于SVM(支持向量机)之SVC算法对手写数字图片识别进行预测
ML之SVM:基于SVM(支持向量机)之SVC算法对手写数字图片识别进行预测 目录 输出结果 设计思路 核心代码 输出结果 设计思路 核心代码 X_train = ss.fit_transform(X ...
- SVM支持向量机详解
支持向量机 支持向量机 优化目标 大边界 大边界分类背后的数学 核函数 使用SVM 什么时候使用SVM 支持向量机(Support Vector Machine)是一个广泛应用于工业界和学术界的算法. ...
- SVM支持向量机(上)
参考https://baike.baidu.com/item/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA/9683835?fromtitle=SVM&a ...
- OpenCV SVM支持向量机和KNearest数字识别的实例(附完整代码)
OpenCV SVM支持向量机和KNearest数字识别的实例 OpenCV SVM支持向量机和KNearest数字识别的实例 OpenCV SVM支持向量机和KNearest数字识别的实例 #inc ...
最新文章
- MQTT基础——Part 1. 认识MQTT
- 7天搞定图神经网络,实战助力新冠疫情防控!
- [翻译]使用C#创建SQL Server的存储过程(Visual Studio 2005 + SQL Server 2005)
- 汇编语言-求毕达哥拉斯三角形的边
- volatile关键字——保证并发编程中的可见性、有序性
- php7.3安装yaf扩展
- Office 浏览器
- C# 使用 itextsharp
- STM32F407ZET6音乐播放器
- c#访问其他服务器的共享文件夹,C#实现访问网络共享文件夹
- 分布式高并发下,Actor模型如此优秀
- 2021建筑起重司索信号工模拟考试单选题库及答案解析
- NLP 基础应用研究方向简介
- FLOTHERM 10.1软件热分析仿真基础培训 风冷 水冷 自冷视频教程
- RC522 - NFC刷卡模块
- 浏览器会不会缓存html,浏览器缓存机制(一)
- 【ubuntu】xmm2(音频播放器)安装及其使用
- Linux/Unix操作系统mac地址怎么查
- This beta version of Typora is expired,please download and install a newe最新解决方案
- c语言调试时窗口一闪就没了,VS2012编译C语言代码运行出现黑框一闪就没了