逻辑回归python sigmoid(z)_python 实现逻辑回归
逻辑回归
适用类型:解决二分类问题
逻辑回归的出现:线性回归可以预测连续值,但是不能解决分类问题,我们需要根据预测的结果判定其属于正类还是负类。所以逻辑回归就是将线性回归的结果,通过Sigmoid函数映射到(0,1)之间
线性回归的决策函数:数据与θ的乘法,数据的矩阵格式(样本数×列数),θ的矩阵格式(列数×1)
将其通过Sigmoid函数,获得逻辑回归的决策函数
使用Sigmoid函数的原因:
可以对(-∞, +∞)的结果,映射到(0, 1)之间作为概率
可以将1/2作为决策边界
数学特性好,求导容易
逻辑回归的损失函数
线性回归的损失函数维平方损失函数,如果将其用于逻辑回归的损失函数,则其数学特性不好,有很多局部极小值,难以用梯度下降法求解最优
这里使用对数损失函数
解释:如果一个样本为正样本,那么我们希望将其预测为正样本的概率p越大越好,也就是决策函数的值越大越好,则logp越大越好,逻辑回归的决策函数值就是样本为正的概率;如果一个样本为负样本,那么我们希望将其预测为负样本的概率越大越好,也就是(1-p)越大越好,即log(1-p)越大越好
为什么使用对数函数:样本集中有很多样本,要求其概率连乘,概率为0-1之间的数,连乘越来越小,利用log变换将其变为连加,不会溢出,不会超出计算精度
损失函数:: y(1->m)表示Sigmoid值(样本数×1),hθx(1->m)表示决策函数值(样本数×1),所以中括号的值(1×1)
二分类逻辑回归直线编码实现
import numpy as np
from matplotlib import pyplot as plt
from scipy.optimize import minimize
from sklearn.preprocessing import PolynomialFeatures
class MyLogisticRegression:
def __init__(self):
plt.rcParams["font.sans-serif"] = ["SimHei"]
# 包含数据和标签的数据集
self.data = np.loadtxt("./data2.txt", delimiter=",")
self.data_mat = self.data[:, 0:2]
self.label_mat = self.data[:, 2]
self.thetas = np.zeros((self.data_mat.shape[1]))
# 生成多项式特征,最高6次项
self.poly = PolynomialFeatures(6)
self.p_data_mat = self.poly.fit_transform(self.data_mat)
def cost_func_reg(self, theta, reg):
"""
损失函数具体实现
:param theta: 逻辑回归系数
:param data_mat: 带有截距项的数据集
:param label_mat: 标签数据集
:param reg:
:return:
"""
m = self.label_mat.size
label_mat = self.label_mat.reshape(-1, 1)
h = self.sigmoid(self.p_data_mat.dot(theta))
J = -1 * (1/m)*(np.log(h).T.dot(label_mat) + np.log(1-h).T.dot(1-label_mat))
+ (reg / (2*m)) * np.sum(np.square(theta[1:]))
if np.isnan(J[0]):
return np.inf
return J[0]
def gradient_reg(self, theta, reg):
m = self.label_mat.size
h = self.sigmoid(self.p_data_mat.dot(theta.reshape(-1, 1)))
label_mat = self.label_mat.reshape(-1, 1)
grad = (1 / m)*self.p_data_mat.T.dot(h-label_mat) + (reg/m)*np.r_[[[0]], theta[1:].reshape(-1, 1)]
return grad
def gradient_descent_reg(self, alpha=0.01, reg=0, iterations=200):
"""
逻辑回归梯度下降收敛函数
:param alpha: 学习率
:param reg:
:param iterations: 最大迭代次数
:return: 逻辑回归系数组
"""
m, n = self.p_data_mat.shape
theta = np.zeros((n, 1))
theta_set = []
for i in range(iterations):
grad = self.gradient_reg(theta, reg)
theta = theta - alpha*grad.reshape(-1, 1)
theta_set.append(theta)
return theta, theta_set
def plot_data_reg(self, x_label=None, y_label=None, neg_text="negative", pos_text="positive", thetas=None):
neg = self.label_mat == 0
pos = self.label_mat == 1
fig1 = plt.figure(figsize=(12, 8))
ax1 = fig1.add_subplot(111)
ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker="o", s=100, label=neg_text)
ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker="+", s=100, label=pos_text)
ax1.set_xlabel(x_label, fontsize=14)
# 描绘逻辑回归直线(曲线)
if isinstance(thetas, type(np.array([]))):
x1_min, x1_max = self.p_data_mat[:, 1].min(), self.p_data_mat[:, 1].max()
x2_min, x2_max = self.p_data_mat[:, 2].min(), self.p_data_mat[:, 2].max()
xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max), np.linspace(x2_min, x2_max))
h = self.sigmoid(self.poly.fit_transform(np.c_[xx1.ravel(), xx2.ravel()]).dot(thetas))
h = h.reshape(xx1.shape)
ax1.contour(xx1, xx2, h, [0.5], linewidths=3)
ax1.legend(fontsize=14)
plt.show()
@staticmethod
def sigmoid(z):
return 1.0 / (1 + np.exp(-z))
if __name__ == "__main__":
my_logistic_regression = MyLogisticRegression()
# my_logistic_regression.plot_data(x_label="线性不可分数据集")
thetas, theta_set = my_logistic_regression.gradient_descent_reg(alpha=0.5, reg=0, iterations=500)
my_logistic_regression.plot_data_reg(thetas=thetas, x_label="$\lambda$ = {}".format(0))
thetas = np.zeros((my_logistic_regression.p_data_mat.shape[1], 1))
# 未知错误,有大佬解决可留言
result = minimize(my_logistic_regression.cost_func_reg, thetas,
args=(0, ),
method=None,
jac=my_logistic_regression.gradient_reg)
my_logistic_regression.plot_data_reg(thetas=result.x, x_label="$\lambda$ = {}".format(0))
二分类问题逻辑回归曲线编码实现
import numpy as np
from matplotlib import pyplot as plt
from scipy.optimize import minimize
from sklearn.preprocessing import PolynomialFeatures
class MyLogisticRegression:
def __init__(self):
plt.rcParams["font.sans-serif"] = ["SimHei"]
# 包含数据和标签的数据集
self.data = np.loadtxt("./data2.txt", delimiter=",")
self.data_mat = self.data[:, 0:2]
self.label_mat = self.data[:, 2]
self.thetas = np.zeros((self.data_mat.shape[1]))
# 生成多项式特征,最高6次项
self.poly = PolynomialFeatures(6)
self.p_data_mat = self.poly.fit_transform(self.data_mat)
def cost_func_reg(self, theta, reg):
"""
损失函数具体实现
:param theta: 逻辑回归系数
:param data_mat: 带有截距项的数据集
:param label_mat: 标签数据集
:param reg:
:return:
"""
m = self.label_mat.size
label_mat = self.label_mat.reshape(-1, 1)
h = self.sigmoid(self.p_data_mat.dot(theta))
J = -1 * (1/m)*(np.log(h).T.dot(label_mat) + np.log(1-h).T.dot(1-label_mat))
+ (reg / (2*m)) * np.sum(np.square(theta[1:]))
if np.isnan(J[0]):
return np.inf
return J[0]
def gradient_reg(self, theta, reg):
m = self.label_mat.size
h = self.sigmoid(self.p_data_mat.dot(theta.reshape(-1, 1)))
label_mat = self.label_mat.reshape(-1, 1)
grad = (1 / m)*self.p_data_mat.T.dot(h-label_mat) + (reg/m)*np.r_[[[0]], theta[1:].reshape(-1, 1)]
return grad
def gradient_descent_reg(self, alpha=0.01, reg=0, iterations=200):
"""
逻辑回归梯度下降收敛函数
:param alpha: 学习率
:param reg:
:param iterations: 最大迭代次数
:return: 逻辑回归系数组
"""
m, n = self.p_data_mat.shape
theta = np.zeros((n, 1))
theta_set = []
for i in range(iterations):
grad = self.gradient_reg(theta, reg)
theta = theta - alpha*grad.reshape(-1, 1)
theta_set.append(theta)
return theta, theta_set
def plot_data_reg(self, x_label=None, y_label=None, neg_text="negative", pos_text="positive", thetas=None):
neg = self.label_mat == 0
pos = self.label_mat == 1
fig1 = plt.figure(figsize=(12, 8))
ax1 = fig1.add_subplot(111)
ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker="o", s=100, label=neg_text)
ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker="+", s=100, label=pos_text)
ax1.set_xlabel(x_label, fontsize=14)
# 描绘逻辑回归直线(曲线)
if isinstance(thetas, type(np.array([]))):
x1_min, x1_max = self.p_data_mat[:, 1].min(), self.p_data_mat[:, 1].max()
x2_min, x2_max = self.p_data_mat[:, 2].min(), self.p_data_mat[:, 2].max()
xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max), np.linspace(x2_min, x2_max))
h = self.sigmoid(self.poly.fit_transform(np.c_[xx1.ravel(), xx2.ravel()]).dot(thetas))
h = h.reshape(xx1.shape)
ax1.contour(xx1, xx2, h, [0.5], linewidths=3)
ax1.legend(fontsize=14)
plt.show()
@staticmethod
def sigmoid(z):
return 1.0 / (1 + np.exp(-z))
if __name__ == "__main__":
my_logistic_regression = MyLogisticRegression()
# my_logistic_regression.plot_data(x_label="线性不可分数据集")
thetas, theta_set = my_logistic_regression.gradient_descent_reg(alpha=0.5, reg=0, iterations=500)
my_logistic_regression.plot_data_reg(thetas=thetas, x_label="$\lambda$ = {}".format(0))
thetas = np.zeros((my_logistic_regression.p_data_mat.shape[1], 1))
# 未知错误,有大佬解决可留言
result = minimize(my_logistic_regression.cost_func_reg, thetas,
args=(0, ),
method=None,
jac=my_logistic_regression.gradient_reg)
my_logistic_regression.plot_data_reg(thetas=result.x, x_label="$\lambda$ = {}".format(0))
以上就是python 实现逻辑回归的详细内容,更多关于python 实现逻辑回归的资料请关注云海天教程其它相关文章!
逻辑回归python sigmoid(z)_python 实现逻辑回归相关推荐
- 逻辑回归python sigmoid(z)_python实现吴恩达机器学习练习2(逻辑回归)-data1
python实现吴恩达机器学习练习2(逻辑回归)-data1 这篇是第一个数据集:这部分练习中,你将建立一个预测学生是否被大学录取的逻辑回归模型. 假如一所大学会每个报名学生进行两项入学考试,根据两项 ...
- python做逻辑斯蒂二分类_Python实现逻辑斯蒂回归
Python实现逻辑斯蒂回归 本实验室根据两次考试成绩与是否通过的数据,通过logistic回归,最后获得一个分类器. 逻辑斯蒂回归 导入数据 import numpy as np def loadd ...
- 逻辑回归python正则化 选择参数_SKlearn_逻辑回归小练习
逻辑回归 逻辑回归(Logistic regression 或logit regression),即逻辑模型(英语:Logit model,也译作"评定模型"."分类评定 ...
- 用python计算贷款_Python基于Logistic回归建模计算某银行在降低贷款拖欠率的数据示例...
本文实例讲述了Python基于Logistic回归建模计算某银行在降低贷款拖欠率的数据.分享给大家供大家参考,具体如下: 一.Logistic回归模型: 二.Logistic回归建模步骤 1.根据分析 ...
- python逻辑回归模型建模步骤_Python逻辑回归——建模-评估模型
学完线性回归,逻辑回归建模+评估模型的过程就相对好理解很多.其实就是换汤不换药. 逻辑回归不是回归算法,而是分类算法,准确来说,叫逻辑分类 逻辑分类本质上是二分分类,即分类结果标签只有两个 逻辑回归建 ...
- 数学推导+纯Python实现机器学习算法:逻辑回归
2019独角兽企业重金招聘Python工程师标准>>> 自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实 ...
- 全面解析并实现逻辑回归(Python)
本文以模型.学习目标.优化算法的角度解析逻辑回归(LR)模型,并以Python从头实现LR训练及预测. 一.逻辑回归模型结构 逻辑回归是一种广义线性的分类模型且其模型结构可以视为单层的神经网络,由一层 ...
- 逻辑回归python实现
逻辑回归 逻辑回归是一种分类模型: z=WTX=w0+w1x1+w2x2+⋯+wnxnz=W^{T}X=w^{0}+w^{1}x^{1}+w^{2}x^{2}+\cdots+w^{n}x^{n}z=W ...
- python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归(softmax回归)
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程 线性函数.线性回归 参考:http://blog.csdn.net/luanpeng825485697/article/details ...
- Python梯度下降法实现二元逻辑回归
Python梯度下降法实现二元逻辑回归 二元逻辑回归假设函数 定义当函数值大于等于0.5时,结果为1,当函数值小于0.5时,结果为0.函数的值域是(0, 1). 二元逻辑回归的损失函数 上图为二元逻辑 ...
最新文章
- Elasticsearch 5 Ik+pinyin分词配置详解
- Python进阶之路 3.4.2 条件语句(if、else和elif)
- 软考之路(1)——浅解网络基础知识
- git commit 提交的时候报错husky > pre-commit hook failed (add --no-verify to bypass)(解决办法)
- php数据库--mysql优化
- 面向过程与面向对象 程序设计
- Linux权限、角色作用
- ch340是什么芯片
- python网课 知乎_如何看待风变编程的 Python 网课
- 腾讯云数据库TDSQL-C(原CynosDB)的外网访问配置
- java 自幂数_java计算自幂数和水仙花数
- 京东有多少钱可以重来?
- 做前端,如何克服新技术焦虑?
- 怎样解决spoolsv.exe应用程序错误
- 把求伯君干掉,向比尔·盖茨进军!
- 索尼65X91J 评测
- 如何选择适合你的兴趣爱好(四十),美食
- 如何在B站上观看进击的巨人!!!
- 11-12月份域名行业速报
- python日志实现