机器学习算法（一）: 基于逻辑回归的分类预测③
2024-05-12 23:34:51
算法实践——
基于鸢尾花（iris）数据集的逻辑回归分类实践
导入函数库
## 基础函数库
import numpy as np
import pandas as pd## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns
读入数据
## 我们利用 sklearn 中自带的 iris 数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式
查看数据信息
查看数据整体信息
## 利用.info()查看数据的整体信息
iris_features.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150 entries, 0 to 149
Data columns (total 4 columns):# Column Non-Null Count Dtype
--- ------ -------------- ----- 0 sepal length (cm) 150 non-null float641 sepal width (cm) 150 non-null float642 petal length (cm) 150 non-null float643 petal width (cm) 150 non-null float64
dtypes: float64(4)
memory usage: 4.8 KB
查看部分数据
## 进行简单的数据查看，我们可以利用 .head() 头部.tail()尾部
iris_features.head()
查看标签
## 其对应的类别标签为，其中0，1，2分别代表'setosa', 'versicolor', 'virginica'三种不同花的类别。
iris_target
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])
查看每个类别数量
## 利用value_counts函数查看每个类别数量
pd.Series(iris_target).value_counts()
2 50
1 50
0 50
dtype: int64
对于特征做一些统计描述
## 对于特征进行一些统计描述
iris_features.describe()
可视化描述
拷贝 && 合并标签
## 合并标签和特征信息
iris_all = iris_features.copy() ##进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target
特征与标签组合的散点可视化
利用2D情况下不同的标签组合
## 特征与标签组合的散点可视化
sns.pairplot(data=iris_all,diag_kind='hist', hue= 'target')
plt.show()
利用箱型图
for col in iris_features.columns:sns.boxplot(x='target', y=col, saturation=0.5,palette='pastel', data=iris_all)plt.title(col)plt.show()
利用三维散点图
# 选取其前三个特征绘制三维散点图
from mpl_toolkits.mplot3d import Axes3Dfig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111, projection='3d')iris_all_class0 = iris_all[iris_all['target']==0].values
iris_all_class1 = iris_all[iris_all['target']==1].values
iris_all_class2 = iris_all[iris_all['target']==2].values
# 'setosa'(0), 'versicolor'(1), 'virginica'(2)
ax.scatter(iris_all_class0[:,0], iris_all_class0[:,1], iris_all_class0[:,2],label='setosa')
ax.scatter(iris_all_class1[:,0], iris_all_class1[:,1], iris_all_class1[:,2],label='versicolor')
ax.scatter(iris_all_class2[:,0], iris_all_class2[:,1], iris_all_class2[:,2],label='virginica')
plt.legend()plt.show()
利用逻辑回归模型进行训练和预测
步骤
## 为了正确评估模型性能，将数据划分为训练集和测试集，并在训练集上训练模型，在测试集上验证模型性能。
from sklearn.model_selection import train_test_split## 选择其类别为0和1的样本 （不包括类别为2的样本）
iris_features_part = iris_features.iloc[:100]
iris_target_part = iris_target[:100]## 测试集大小为20%， 80%/20%分
x_train, x_test, y_train, y_test = train_test_split(iris_features_part, iris_target_part, test_size = 0.2, random_state = 2020)
## 从sklearn中导入逻辑回归模型
from sklearn.linear_model import LogisticRegression
## 定义 逻辑回归模型
clf = LogisticRegression(random_state=0, solver='lbfgs')
# 在训练集上训练逻辑回归模型
clf.fit(x_train, y_train)
## 查看其对应的w
print('the weight of Logistic Regression:',clf.coef_)## 查看其对应的w0
print('the intercept(w0) of Logistic Regression:',clf.intercept_)
## 在训练集和测试集上分布利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)
from sklearn import metrics## 利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))## 查看混淆矩阵 (预测值和真实值的各类情况统计矩阵)
confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)# 利用热力图对于结果进行可视化
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()
可视化结果
利用 逻辑回归模型 在三分类(多分类)上 进行训练和预测
步骤
## 测试集大小为20%， 80%/20%分
x_train, x_test, y_train, y_test = train_test_split(iris_features, iris_target, test_size = 0.2, random_state = 2020)
## 定义 逻辑回归模型
clf = LogisticRegression(random_state=0, solver='lbfgs')
# 在训练集上训练逻辑回归模型
clf.fit(x_train, y_train)
## 查看其对应的w
print('the weight of Logistic Regression:\n',clf.coef_)## 查看其对应的w0
print('the intercept(w0) of Logistic Regression:\n',clf.intercept_)## 由于这个是3分类，所有我们这里得到了三个逻辑回归模型的参数，其三个逻辑回归组合起来即可实现三分类。
## 在训练集和测试集上分布利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)## 由于逻辑回归模型是概率预测模型（前文介绍的 p = p(y=1|x,\theta)）,所有我们可以利用 predict_proba 函数预测其概率
train_predict_proba = clf.predict_proba(x_train)
test_predict_proba = clf.predict_proba(x_test)print('The test predict Probability of each class:\n',test_predict_proba)
## 其中第一列代表预测为0类的概率，第二列代表预测为1类的概率，第三列代表预测为2类的概率。## 利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))
## 查看混淆矩阵
confusion_matrix_result = metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)# 利用热力图对于结果进行可视化
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()
可视化结果
The test predict Probability of each class:[[1.32525870e-04 2.41745142e-01 7.58122332e-01][7.02970475e-01 2.97026349e-01 3.17667822e-06][3.37367886e-02 7.25313901e-01 2.40949311e-01][5.66207138e-03 6.53245545e-01 3.41092383e-01][1.06817066e-02 6.72928600e-01 3.16389693e-01][8.98402870e-04 6.64470713e-01 3.34630884e-01][4.06382037e-04 3.86192249e-01 6.13401369e-01][1.26979439e-01 8.69440588e-01 3.57997319e-03][8.75544317e-01 1.24437252e-01 1.84312617e-05][9.11209514e-01 8.87814689e-02 9.01671605e-06][3.86067682e-04 3.06912689e-01 6.92701243e-01][6.23261939e-03 7.19220636e-01 2.74546745e-01][8.90760124e-01 1.09235653e-01 4.22292409e-06][2.32339490e-03 4.47236837e-01 5.50439768e-01][8.59945211e-04 4.22804376e-01 5.76335679e-01][9.24814068e-01 7.51814638e-02 4.46852786e-06][2.01307999e-02 9.35166320e-01 4.47028801e-02][1.71215635e-02 5.07246971e-01 4.75631465e-01][1.83964097e-04 3.17849048e-01 6.81966988e-01][5.69461042e-01 4.30536566e-01 2.39269631e-06][8.26025475e-01 1.73971556e-01 2.96936737e-06][3.05327704e-04 5.15880492e-01 4.83814180e-01][4.69978972e-03 2.90561777e-01 7.04738434e-01][8.61077168e-01 1.38915993e-01 6.83858427e-06][6.99887637e-04 2.48614010e-01 7.50686102e-01][5.33421842e-02 8.31557126e-01 1.15100690e-01][2.34973018e-02 3.54915328e-01 6.21587370e-01][1.63311193e-03 3.48301765e-01 6.50065123e-01][7.72156866e-01 2.27838662e-01 4.47157219e-06][9.30816593e-01 6.91640361e-02 1.93708074e-05]]
The accuracy of the Logistic Regression is: 0.9583333333333334
The accuracy of the Logistic Regression is: 0.8
机器学习算法（一）: 基于逻辑回归的分类预测③相关推荐
- 机器学习笔记I: 基于逻辑回归的分类预测
逻辑回归的介绍 逻辑回归(Logistic regression,简称LR)虽然其中带有"回归"两个字,但逻辑回归其实是一个分类模型,并且广泛应用于各个领域之中.虽然现在深度学习相 ...
- ML机器学习算法（一）: 基于逻辑回归的分类预测
机器学习算法(一): 基于逻辑回归的分类预测 1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归(Logistic regression,简称LR)虽然其中带有"回归"两个 ...
- 机器学习笔记-基于逻辑回归的分类预测
天池学习笔记:AI训练营机器学习-阿里云天池 基于逻辑回归的分类预测 1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归(Logistic regression,简称LR)虽然其中带有&quo ...
- 机器学习算法（一）: 基于逻辑回归的分类预测-Task01
基于逻辑回归LR的分类预测 1.逻辑回归的介绍 Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类.Logistic Regression 因其简单.可并行化 ...
- 阿里云 龙珠机器学习训练营Task1：机器学习算法（一）: 基于逻辑回归的分类预测
补充一些代码的注释,方便理解: #Step1:库函数导入 #基本函数库 import numpy as np #导入画图库 import matplotlib.pyplot as plt import ...
- 【天池龙珠训练营-机器学习】机器学习算法（一）: 基于逻辑回归的分类预测
一.逻辑回归简介 逻辑回归(Logistic regression,简称LR),是一个分类模型. 原理简介: Logistic回归虽然名字里带"回归",但是它实际上是一种分类方法, ...
- python逻辑回归训练预测_[Python] 机器学习笔记 基于逻辑回归的分类预测
导学问题 什么是逻辑回归(一),逻辑回归的推导(二 3),损失函数的推导(二 4) 逻辑回归与SVM的异同 逻辑回归和SVM都用来做分类,都是基于回归的概念 SVM的处理方法是只考虑 support ...
- 【数据分析与挖掘】基于LightGBM,XGBoost,逻辑回归的分类预测实战：英雄联盟数据(有数据集和代码)
机器学习-LightGBM 一.LightGBM的介绍与应用 1.1 LightGBM的介绍 1.2 LightGBM的应用 二.数据集来源 三.基于英雄联盟数据集的LightGBM分类实战 Step ...
- 传统机器学习之逻辑回归的分类预测，以威斯康辛州乳腺癌数据集为例
传统机器学习之逻辑回归的分类预测,以威斯康辛州乳腺癌数据集为例 文章目录 传统机器学习之逻辑回归的分类预测,以威斯康辛州乳腺癌数据集为例 1导入基本库 2读取数据并且变换类型 3输出数据 4可视化数据 ...
最新文章
- Redis学习-sorted set数据类型
- 大学编程python_大学生想学一门编程语言傍身，Python可以吗？
- php key sort,PHP中的sort(), rsort(),asort(),arsort(),ksort(),krsort()函数
- 第11章 递归分形树（《Python趣味创意编程》教学视频）
- C++ 动态联编实现原理分析
- 如何取消选中单选按钮？
- Sklearn——Sklearn的介绍与安装
- iOS 给测试人员测试手机APP的四种方法：真机运行（略），打ipa包，（testFlighe）邮件,蒲公英（三）蒲公英
- Atitit 架构艺术 与架构常见包含的技术 1. 架构的目的是什么？？解决的问题 所有的问题都能通过架构解决 2 1.1. 提高可读性 提升可维护性架构 降低技术难度 2 1.2. 提升管理性
- h264html实时播放,H5播放H264之websocket
- 图层蒙版和图层剪贴路径_PS蒙版使用教程、快速蒙版、剪切蒙版、矢量蒙版、图层蒙版要点...
- 通电后第一次开机黑屏_完美解决win10开机后一直黑屏问题
- 没固定公网 IP 的公司内网实现动态域名解析（ 阿里云万网解析 ）
- Python学习日志--摆动吧！钟摆！
- 学习笔记（3):PS教程-【和东东一起学PS】Photoshop 2020小白到高手（任务驱动式基础+实战教学）-【免费试看】PS软件的必要首选项设置
- uva 10128 队伍
- 基于FPGA的遥控数字时钟设计
- 干货｜机器学习-稀疏矩阵的处理
- 【STM32】标准库 USART通信
- 超实用一看就懂！汽车常用配件的更换周期