sklearn之逻辑回归LR

对于线性回归，由于都是求线性参数；逻辑回归，由于其呈S型，具有在坐标轴两个左右边进行急剧上升下降的趋近1或者0，因此具有分类特性。

决策树是天生的过拟合，而线性回归是天生的欠拟合；

L1范式可以完成

损失函数只针对于【有参数求解的模型】，损失函数越小则模型拟合的越好; Kmean对于total inertial（簇内平方和），虽然不是损失函数，并不是为了求解参数，但是它确实对模型拟合起到重要作用，可以不严谨的讲它是Keans的损失函数。

但决策树和KNN是绝对没有损失函数。

from sklearn.linear_model import LogisticRegression as LR
from sklearn.datasets import load_breast_cancer
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

data = load_breast_cancer()

X = data.data
y = data.target

X.shape

lr1 = LR(penalty="l1",solver="liblinear",C=0.5,max_iter=100)
lr1 = lr1.fit(X,y)
lr1.coef_
(lr1.coef_!=0).sum(axis=1)

lr2 = LR(penalty="l2",solver="liblinear",C=0.5,max_iter=100)
lr2 = lr2.fit(X,y)
# coef对应着逻辑回归中的W参数
lr2.coef_
(lr2.coef_ != 0).sum(axis=1)

l1 = []
l2 = []
l1test = []
l2test = []

Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,y,test_size=0.3,random_state=420)
for i in np.linspace(0.05,1,19):
lrl1 = LR(penalty="l1",solver="liblinear",C=i,max_iter=100)
lrl2 = LR(penalty="l2",solver="liblinear",C=i,max_iter=100)

lrl1 = lrl1.fit(Xtrain,Ytrain)
l1.append(accuracy_score(lrl1.predict(Xtrain),Ytrain))
l1test.append(accuracy_score(lrl1.predict(Xtest),Ytest))

lrl2 = lrl2.fit(Xtrain,Ytrain)
l2.append(accuracy_score(lrl2.predict(Xtrain),Ytrain))
l2test.append(accuracy_score(lrl2.predict(Xtest),Ytest))

graph = [l1,l2,l1test,l2test]
color = ['green','black','lightgreen','gray']
label = ['L1','L2','L1test','L2test']

plt.figure(figsize=(6,6))
for i in range(len(graph)):
plt.plot(np.linspace(0.05,1,19),graph[i],color[i],label=label[i])
plt.legend(loc=4) #图例的位置在哪里?4表示，右下角
plt.show()

sklearn之逻辑回归LR相关推荐

【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
逻辑回归(LR)算法概述逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法. 逻辑 ...
推荐系统(4)-逻辑回归LR、POLY2、FM、FFM
逻辑回归LR.POLY2.FM.FFM 1.逻辑回归LR 2.辛普森悖论 3.POLY2 4.FM-2010 5.FFM 6.GBDT+LR-2014 7.LS-PLM-2017 <深度学习/推 ...
python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归（softmax回归）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程线性函数.线性回归参考:http://blog.csdn.net/luanpeng825485697/article/details ...
逻辑回归LR vs 支持向量机SVM
目录 LR vs SVM LR和SVM的相同点 LR和SVM的不同点逻辑回归LR LR损失函数 LR公式推导支持向量机SVM 间隔和支持向量对偶问题核函数软间隔和正则化 LR vs SVM ...
【机器学习之逻辑回归】sklearn+python逻辑回归详解
文章目录一.逻辑回归二.算法原理介绍三.代码实现 3.1 sklearn-API介绍 3.2 sklearn-代码实现 3.3 python手写代码实现四.总结五.算法系列一.逻辑回归逻 ...
sklearn入门——逻辑回归
什么是逻辑回归逻辑回归也叫对数几率回归,在西瓜书中有介绍,吃瓜的时候也学过,可惜呀,脑子不好使,全忘了.重新学一下吧.... 在理解对数几率回归之前需要先理解线性回归.线性回归的任务,就是构造一个预 ...
sklearn的逻辑回归
官方逻辑回归链接 sklearn.linear_model.LogisticRegression - scikit-learn 1.0.2 documentationhttps://scikit-le ...
sklearn之逻辑回归和岭回归
过拟合与欠拟合过拟合:一个假设在训练数据上能够获得比其他假设更好的拟合, 但是在训练数据外的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象.(模型过于复杂) 欠拟合:一个假设在训练 ...
Python+sklearn使用逻辑回归算法预测期末考试能否及格
封面图片:<Python程序设计实验指导书>,董付国编著,清华大学出版社 ================= 虽然名字中带有"回归"二字,但实际上逻辑回归是一个用于分类 ...

sklearn之逻辑回归LR

sklearn之逻辑回归LR相关推荐

最新文章

热门文章