sklearn 5.18.3 SGD - Maximum margin separating hyperplane

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDClassifier
from sklearn.datasets.samples_generator import make_blobs
# 生成两个中心的50个样本数据，样本标准差为0.6
X, Y = make_blobs(n_samples=50, centers=2, random_state=0, cluster_std=0.6)
# fit the model
# SGCClassifier，正则线性分类模型，支持向量机算法或逻辑回归算法，使用SGD(随机梯度下降）优化，随着梯度下降过程中，学习率会逐渐降低
# 参数loss，算法使用的损失函数，默认是hinge，代表使用线性支持向量机，其他还可以用：log、modified_huber、perceptron、squared_loss等。log代表使用逻辑回归算法，modified_huber代表使用概率估计算法，并且对于异常点具有一定的容忍度
# 参数penalty，惩罚项，l1、l2、elasticnet等
# 参数alpha，正则项参数，以及当进行优化时，可以用于计算学习率
# 参数l1_ratio，l1正则项占比
# 参数fit_intercept，是否有截距项
# 参数tol，停止迭代信息，当损失值大于目前最佳损失值减去tol，停止迭代
# 参数shuffle，是否重排
# 参数epsilon，某些特定损失函数下用来设定阈值，当模型预测与真实标签小于这个阈值时，差异会被忽略
# 参数learning_rate，学习率参数，可选如：constant、optimal、invscaling、adaptive等。每一种对应不同的计算公式
# 参数eta0，学习率的初始值设定
# 参数early_stopping，是否早停止，即当每一次梯度下降获得的提升非常小时，是否及时停止优化
# 参数validation_fraction，交叉验证比例
# 参数class_weight，类别权重，如果某些类别赋予很高的权重，则该类别中的样本被错误分类会造成很大的损失
# 属性coef_，每个类别下特征的相关系数
# 属性intercept_，截距
# 属性n_iter_，迭代次数
# 属性loss_function_，损失函数
# 方法dicision_function，为样本预测置信分数
# 方法densify，相关系数矩阵转换为密集数组形式
# 方法fit
# 方法partial_fit，在一个batch上执行梯度下降法
# 方法predict
# 方法score
# 方法sparsify，相关系数矩阵转换为稀疏矩阵形式
clf = SGDClassifier(loss='hinge', alpha=0.01, max_iter=200, fit_intercept=True, tol=1e-3)
clf.fit(X,Y)
# plot the line, the points, and the nearest vectors to the plane
xx = np.linspace(-1, 5, 10)
yy = np.linspace(-1, 5, 10)
X1, X2 = np.meshgrid(xx, yy)
Z = np.empty(X1.shape)
# np.ndenumerate()多维索引迭代，每一次迭代一个索引元组和该索引元组决定的值
for (i, j), val in np.ndenumerate(X1):x1 = valx2 = X2[i,j]# 为每一个样本决定置信分数，即样本到分隔超平面的距离p = clf.decision_function([[x1, x2]])Z[i,j] = p[0]
levels = [-1.0, 0.0, 1.0]
linestyles = ['dashed', 'solid','dashed']
colors = 'k'
# 画三条等高线，作为分隔超平面
plt.contour(X1,X2,Z,levels,colorts=colors,linestyles=linestyles)
# 画样本散点图
plt.scatter(X[:,0],X[:,1],c=Y,cmap=plt.cm.Paired,edgecolor='black',s=20)
plt.axis('tight')
plt.show()

import scipy
from scipy.stats import norm
import seaborn as sns
sns.distplot(X[:,1], fit=norm)

sklearn 5.18.3 SGD - Maximum margin separating hyperplane相关推荐

支持向量机_1: Maximum Margin Classifier
支持向量机即 Support Vector Machine,简称 SVM .我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个 ...
支持向量机: Maximum Margin Classifier
by pluskid, on 2010-09-08, in Machine Learning http://blog.pluskid.org/?p=632 本文是"支持向量机系列" ...
Cocos Creator Rect width exceeds maximum margin报错
版本:2.3.4 今天换场景地图,就替换了几张图片.然后cocos creator里就报错 Rect width exceeds maximum margin. 删除原来的图片和meta文件,重新放入 ...
scikit-learn sklearn 0.18 官方文档中文版
ApacheCN(Apache中文网)- 关于我们 : http://cwiki.apachecn.org/pages/viewpage.action?pageId=10813869 ApacheCN ...
sklearn自学指南(part16)--SGD,Perceptron,PassiveAggressive
学习笔记,仅供参考,有错必纠文章目录线性模型随机梯度下降法(SGD) 感知器(Perceptron) 被动攻击算法线性模型随机梯度下降法(SGD) 随机梯度下降是拟合线性模型的简单但非常有效 ...
python中关于sklearn 0.18的错误—— cannot import name comb
问题描述 ImportError Traceback (most recent call last) <ipython-input-78-534e3eb204d1> in <modu ...
论文阅读 (29)：Maximum margin multi-Instance learning (M^3I)
文章目录引入 1 习得M 3 ^3 3I距离 1.1 问题定义 1.2 C2B距离 1.3 C2B的参数化 1.3.1 类别特定距离度量 1.3.2 局部自适应C2B 1.4 M k M_k Mk ...
sklearn代码18 python自动化处理数据
import numpy as npimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as ...
解决方案 Rect width exceeds maximum margin
点进一个界面时突报这个: 网上也找了很多解决办法,还是没有一个答案是解决该问题的,终于在一次新项目中中再次发现了改问题,经过多次验证,查到该问题的解决办法: 最后把问题固定在编辑cocos studi ...
机器学习算法机器人足球_购买足球队：一种机器学习方法
机器学习算法机器人足球 An approach that is better than random guessing or choosing players from a pool of 18000 ...

sklearn 5.18.3 SGD - Maximum margin separating hyperplane

sklearn 5.18.3 SGD - Maximum margin separating hyperplane相关推荐

最新文章

热门文章