逻辑回归（对数几率回归）推导及python代码实现

逻辑回归，也叫对数几率回归：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets._samples_generator import make_classificationclass logistic_regression():def __init__(self):pass# 先定义一个sigmoid函数def sigmoid(self,x):z = 1 / (1 + np.exp(-x))return z# 定义模型参数初始化函数def initialize_param(self,dims):w = np.zeros((dims, 1))b = 0return w, b# 定义逻辑回归模型主体部分，包括模型计算公式，损失函数和参数的梯度公式def logistic(self,x, y, w, b):num_train = x.shape[0]num_feature = x.shape[1]a = self.sigmoid(np.dot(x, w) + b)#预测值#损失函数cost = -1 / num_train * np.sum(y * np.log(a) + (1 - y) * np.log(1 - a))#可基于上式分别关于 W 和b 求其偏导可得：dw = np.dot(x.T, (a - y)) / num_traindb = np.sum(a - y) / num_traincost = np.squeeze(cost)return a, cost, dw, db#定义基于梯度下降的参数更新训练过程def logistic_train(self,x, y, learning_rate, epochs):# 初始化模型参数w, b = self.initialize_param(x.shape[1])cost_list = []# 迭代训练for i in range(epochs):# 计算当前迭代模型的计算结果，损失和参数梯度a, cost, dw, db = self.logistic(x, y, w, b)# 参数更新w = w - learning_rate * dwb = b - learning_rate * db# 记录损失，打印训练过程中的损失if i % 100 == 0:cost_list.append(cost)print('epoch %d cost %f' % (i, cost))# 保存参数params = {'w': w,'b': b}# 保存梯度grads = {'dw': dw,'db': db}return cost_list, params, gradsdef predict(self,x, params):y_prediction = self.sigmoid(np.dot(x, params['w']) + params['b'])for i in range(len(y_prediction)):if y_prediction[i] > 0.5:#预测结果大于0.5，则分为1类y_prediction[i] = 1else:y_prediction[i] = 0#预测结果小于0.5，则分为0类return y_prediction#    定义一个分类准确率函数对训练集和测试集的准确率进行评估：def accuracy(self,y_test, y_pred):correct_count = 0for i in range(len(y_test)):for j in range(len(y_pred)):if y_test[i] == y_pred[j] and i == j:#预测值和标签值相同，则预测正确correct_count += 1accuracy_score = correct_count / len(y_test)return accuracy_score#创建数据# 使用sklearn生成模拟二分类数据集进行模型训练和测试：def create_data(self):x, labels = make_classification(n_samples=100, n_features=2, n_redundant=0, n_informative=2, random_state=1,n_clusters_per_class=2)#labels=labels.reshape((-1,1))#画出数据分布图rng = np.random.RandomState(2)x += 2 * rng.uniform(size=x.shape)unique_label = set(labels)colors = plt.cm.Spectral(np.linspace(0, 1, len(unique_label)))for k, col in zip(unique_label, colors):x_k = x[labels == k]plt.plot(x_k[:, 0], x_k[:, 1], 'o', markerfacecolor=col, markeredgecolor='k', markersize=14)plt.title('data by make classfication()')# 对数据进行简单的训练集和测试集的划分offset = int(x.shape[0] * 0.9)x_train, y_train = x[:offset], labels[:offset]x_test, y_test = x[offset:], labels[offset:]y_train = y_train.reshape((-1, 1))y_test = y_test.reshape((-1, 1))print("x_train=", x_train.shape)print("x_test=", x_test.shape)print("y_train=", y_train.shape)print("y_test=", y_test.shape)return x_train, y_train, x_test, y_test# 最后我们定义个绘制模型决策边界的图形函数对训练结果进行可视化展示：def plot_logistic(self,x_train, y_train, params):n = x_train.shape[0]xcord1 = []ycord1 = []xcord2 = []ycord2 = []for i in range(n):if y_train[i] == 1:xcord1.append(x_train[i][0])ycord1.append(x_train[i][1])else:xcord2.append(x_train[i][0])ycord2.append(x_train[i][1])fig = plt.figure(2)ax = fig.add_subplot(111)ax.scatter(xcord1, ycord1, s=32, c='red')ax.scatter(xcord2, ycord2, s=32, c='green')x = np.arange(-1.5, 3, 0.1)y = (-params['b'] - params['w'][0] * x) / params['w'][1]#分界面ax.plot(x, y)plt.xlabel('x1')plt.ylabel('x2')plt.show()if __name__=='__main__':model=logistic_regression()x_train,y_train,x_test,y_test=model.create_data()# 对训练集进行训练cost_list, params, grads = model.logistic_train(x_train, y_train, 0.01, 1000)print(params)#测试集数据进行测试y_prediction = model.predict(x_test, params)print(y_prediction)# 打印训练准确率y_train_pred = model.predict(x_train, params)accuracy_score_train = model.accuracy(y_train, y_train_pred)print('train accuracy is:',accuracy_score_train)# 打印测试准确率y_test_pred = model.predict(x_test, params)accuracy_score_test = model.accuracy(y_test, y_test_pred)print('test accuracy is:',accuracy_score_test)model.plot_logistic(x_train, y_train, params)

逻辑回归（对数几率回归）推导及python代码实现相关推荐

逻辑斯蒂回归(对数几率回归)
首先,对数几率回归和线性回归的一点直观上的理解: 线性回归目的是找到一条直线(或者超平面)尽可能地接近所有的训练数据点,而对数几率回归(二元)的目的是找到一条直线(或者超平面)尽可能地分开两种不同类别 ...
个人总结：从线性回归到逻辑回归为什么逻辑回归又叫对数几率回归？
逻辑回归不是回归算法,是分类算法,可以处理二元分类以及多元分类. 线性回归线性回归的模型是求出特征向量Y和输入样本矩阵X之间的线性关系系数θ,满足Y = Xθ.此时Y是连续的,所以是回归模型. 对应 ...
机器学习对数几率回归模型(Python实现)
本文介绍对数几率回归模型,是一个典型的二分类任务学习模型书接上回,我们可以对一个数据集得到它的回归方程我们是这样去解读回归方程的:在相关属性下对样例的某一特征的度量我们根据回归方程得到的特征度量 ...
机器学习入门学习笔记：（2.3）对数几率回归推导
理论推导在以前的博客(机器学习入门学习笔记:(2.1)线性回归理论推导 )中推导了单元线性回归和多元线性回归的模型. 将线性回归模型简写为:y=ωTx+by = \omega^Tx+b: ...
机器学习之逻辑回归（对数几率回归）
机器学习算法之逻辑回归(对数几率回归)- 做分类的一.概述: 逻辑(logistic)回归, 又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域 ...
机器学习-对数几率回归（逻辑回归）算法
文章目录简介激活函数损失函数优化算法代码前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站. 简介对数几率回归(Logistic Regre ...
对数几率回归-逻辑回归
算法原理上一节内容讨论了如何使用线性模型进行回归模型,但要做回归任务要如何呢? 只要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来在线性模型的基础上套一个映射函数来实现分 ...
sklearn：线性回归和逻辑回归（对数几率回归）
线性回归与逻辑回归 1. 线性回归(LinearRegression) 1.1 理论 1.2 重要参数 1.3 实践 2. 对数几率回归(LogisticRegression,也被称为逻辑回归) 2. ...
机器学习教程之线性模型：线性回归、对数几率回归、线性判别分析
常用的三个线性模型的原理及python实现--线性回归(Linear Regression).对数几率回归(Logostic Regression).线性判别分析(Linear Discriminan ...

逻辑回归（对数几率回归）推导及python代码实现

逻辑回归（对数几率回归）推导及python代码实现相关推荐

最新文章

热门文章