logstic 回归

一天，某人问我什么是logstic回归。虽然做数据分析这么长时间经常用，仅仅是import some * 而已，没有深入思考，然而很遗憾，我在网上看到的logstic回归的数学推导都是错的，包括几本机器学习的经典教科书。花了几天时间推导一下，发现其背后的数学思想比较复杂，涉及到矩阵点乘和矩阵微分的概念
logstic回归就是对p/(1-p)进行线性回归)

from numpy import *def loadDataSet():dataMat = []; labelMat = []fr = open('testSet.txt')for line in fr.readlines():lineArr = line.strip().split()dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])labelMat.append(int(lineArr[2]))return dataMat,labelMatdef sigmoid(inX):return 1.0/(1+exp(-inX))def gradAscent(dataMatIn, classLabels):dataMatrix = mat(dataMatIn)             #convert to NumPy matrixlabelMat = mat(classLabels).transpose() #convert to NumPy matrixm,n = shape(dataMatrix)alpha = 0.001maxCycles = 5000weights = ones((n,1))for k in range(maxCycles):              #heavy on matrix operationsh = sigmoid(dataMatrix*weights)     #matrix multerror = (labelMat - h)              #vector subtractionweights = weights + alpha * dataMatrix.transpose()* error #matrix multreturn weightsdef plotBestFit(weights):import matplotlib.pyplot as pltdataMat,labelMat=loadDataSet()dataArr = array(dataMat)n = shape(dataArr)[0] xcord1 = []; ycord1 = []xcord2 = []; ycord2 = []for i in range(n):if int(labelMat[i])== 1:xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])else:xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])fig = plt.figure()ax = fig.add_subplot(111)ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')ax.scatter(xcord2, ycord2, s=30, c='green')x = arange(-3.0, 3.0, 0.1)y = (-weights[0]-weights[1]*x)/weights[2]ax.plot(x, y)plt.xlabel('X1'); plt.ylabel('X2');plt.show()#import logRegres    dataArr,labelMat=loadDataSet() weights=gradAscent(dataArr,labelMat)
plotBestFit(weights.getA())

输出的weight=

matrix([[ 9.35184677],[ 0.87401362],[-1.28891422]])

xw=9.35+0.87x-1.28y
令9.35+0.87x-1.28y=0，这就是分类曲线,为什么要这么做，在logstic 回归中，在分类中以概率值0.5为分类界限，ln(p/1-p)=xw,p=0.5,得xw=0

代码下载

logstic 回归相关推荐

七层神经网络 PK logstic 回归
logstic链接在这篇文章中,我们讨论了logstic 回归,但是logstic回归的正确率太低了在那个算例中,正确率只有66.2% import pandas as pdinputfi ...
logstic 回归文章链接
1 2 3 彻底理解logstic 5
逻辑斯蒂（logistic）回归深入理解、阐述与实现
第一节中说了,logistic 回归和线性回归的区别是:线性回归是根据样本X各个维度的Xi的线性叠加(线性叠加的权重系数wi就是模型的参数)来得到预测值的Y,然后最小化所有的样本预测值Y与真实值y'的 ...
被掰弯的线性函数，海王一样的logstic
目录 1.直男线性回归 2.海王logistic,被掰弯的线性回归 3.海王征服的妹子 3.1 Word2Vector 3.2 XGBoost 3.3 深度学习中的sigmod 摘要本文将要讲述的 ...
机器学习 Logistic回归
目录一.线性模型及回归: 1.一维数据线性模型: 2.多维数据: 二.对数线性回归: 三.Logistic回归: 1.极大似然估计: 2.梯度下降: 三.本次实验数据集介绍: 1.数据集信息介绍: ...
逻辑斯蒂回归java_逻辑斯蒂回归模型
http://blog.csdn.net/hechenghai/article/details/46817031 主要参照统计学习方法.机器学习实战来学习.下文作为参考. 第一节中说了,logisti ...
吴恩达神经网络和深度学习第一课第三周（代码）planar data classify
(主要是记录自己的学习轨迹,顺便可以为需要的提供一些需要,仅供参考) 主要实现代码和使用.py文件: 1)主要代码部分实现流程: 1.获取数据 2.初始化参数(w1,b1,w2,b2返回参数) 3.向 ...
深度学习基础知识整理
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/kwame211/article/details/81165381 本文是在七月的BAT机器学习面试1 ...
BAT机器学习面试1000题系列（第1~305题
1 请简要介绍下SVM,机器学习 ML模型易SVM,全称是support vector machine,中文名叫支持向量机.SVM是一个面向数据的分类算法,它的目标是为确定一个分类超平面,从而将不同 ...

logstic 回归

logstic 回归相关推荐

最新文章

热门文章