机器学习——logistic回归

何为回归？假设有一系列数据点，我们使用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，并以此进行分类。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

Logistic回归的一般过程如下。

(1)收集数据

(2)准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式最佳。

(3)分析数据

(4)训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。

(5)测试算法：一旦训练步骤完成，分类将会很快。

(6)使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其它分析工作。

在这里，我们需要一个函数，它能够接受所有的输入然后预测出类别。与单位阶跃函数相比，Sigmoid函数也具备类似的性质，且数学上更易处理。它的具体计算公式如下：

当z为0时，Sigmoid函数只为0.5；随着z的增大，对应的Sigmoid值将逼近于1；而随着z的减小，Sigmoid值将逼近于0。

如果横坐标的刻度足够大，Sigmoid函数看起来很像一个阶跃函数。

为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。

现在分类器的函数已经确定了，接下来的问题就是：最佳的回归系数是多少？

Sigmoid函数的输入记为z，由以下公式得出：

如果采用向量的写法，上述公式可以写成，它表示将这两个数值向量对应元素相乘，然后全部加起来即得到z值。其中的向量X是分类器的输入数据，向量w是我们要找的最佳参数（系数），从而使得分类器尽可能地精确。为了寻找该最佳参数，需要用到最优化理论的一些知识。

首先介绍梯度上升算法，该算法基于的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为，则函数的梯度由下式表示：

这个梯度意味着要沿x的方向移动，沿y的方向移动。其中函数f(x,y)必须要在待计算的点上有定义并且可微。一个具体例子如下：

梯度上升算法到达每个点后都会重新估计移动的方向。从P₀开始，计算完该点的梯度，函数就根据梯度移动到下一点P₁。在P₁点，梯度再次被重新计算，并沿新的梯度方向移动到P₂。如此循环迭代，直到满足停止条件。迭代的过程中，梯度算子总是保证我们能选取到最佳的移动方向。

梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量称为步长，记做。用向量来表示的话，梯度上升算法的迭代公式如下：

该公式将一直被迭代执行，直到达到某个停止条件为止，比如迭代次数达到某个指定值或算法误差达到一定范围。

下面是一个Logistic回归分类器的应用例子，我们所采用的数据集如下：

下面是梯度上升算法的伪代码：

每个回归系数初始化为1

重复R次：

计算整个数据集的梯度

使用alpha´gradient更新回归系数的向量

返回回归系数

下面是具体代码实现：

def loadDataSet():dataMat = []; labelMat = []fr = open('testSet.txt')   #打开存有数据集的文件for line in fr.readlines():  #将数据按行进行解析lineArr = line.strip().split()dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])labelMat.append(int(lineArr[2]))return dataMat,labelMatdef sigmoid(inX):    #Sigmoid函数实现return 1.0/(1+exp(-inX))
#两个输入分别是特征矩阵和类别标签列表
def gradAscent(dataMatIn, classLabels):dataMatrix = mat(dataMatIn)             #转换为NumPy 矩阵labelMat = mat(classLabels).transpose()    #转换为NumPy 矩阵m,n = shape(dataMatrix)alpha = 0.001maxCycles = 500  #设定迭代次数weights = ones((n,1))   #初始化权重为1for k in range(maxCycles):              h = sigmoid(dataMatrix*weights)     #h是一个(m1)的列向量error = (labelMat - h)              #计算误差，error也是(m1)的列向量weights = weights + alpha * dataMatrix.transpose()* error #更新权值return weights

上述代码中将输入数据集转换为NumPy中的矩阵，是因为后面会用到对应的转置操作，这样执行起来更方便。

下面的代码将使用梯度上升算法绘制分类的决策边界：

# weights为使用gradAscent函数计算所得的权值向量
def plotBestFit(weights):import matplotlib.pyplot as pltdataMat,labelMat=loadDataSet()dataArr = array(dataMat)n = shape(dataArr)[0] xcord1 = []; ycord1 = []xcord2 = []; ycord2 = []for i in range(n):if int(labelMat[i])== 1:xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])else:xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])fig = plt.figure()ax = fig.add_subplot(111)ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')ax.scatter(xcord2, ycord2, s=30, c='green')x = arange(-3.0, 3.0, 0.1)y = (-weights[0]-weights[1]*x)/weights[2]ax.plot(x, y)plt.xlabel('X1'); plt.ylabel('X2');plt.show()

代码执行效果如下：

从分类结果来看还是比较理想的，绝大部分的数据点都被分配到了合适的分类之中。这个方法的缺点是计算量较大，下面将针对这种情况对算法做出适当的改进，从而使它可以用在真实数据集上。

梯度上升算法在每次更新回归系数时都需要遍历整个数据集，在数据量较小时尚可，但如果有大量的样本和特征，那么该方法的计算复杂度就太高了。一种改进的方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法。由于可以在新样本到来时对分类器进行增量式更新，因而它是一种在线学习算法。与之对应的算法称为“批处理”或“离线学习算法”。

随机梯度上升算法的伪代码如下：

所有回归系数初始化为1

对数据集中每个样本

计算该样本的梯度

使用alpha´gradient更新回归系数值

返回回归系数值

以下是具体代码实现：

def stocGradAscent0(dataMatrix, classLabels):m,n = shape(dataMatrix)alpha = 0.01weights = ones(n)   #initialize to all onesfor i in range(m):h = sigmoid(sum(dataMatrix[i]*weights))error = classLabels[i] - hweights = weights + alpha * error * dataMatrix[i]return weights

与前面的梯度上升算法相比，这里的h和error都是数值，而不再是向量；而且也不再有矩阵转换操作。

使用这种方法进行类边界绘制的效果如下：

当然直接拿这个结果和前面的结果进行比较是不合理的，毕竟前面的结果是在整个数据集上迭代了500次才得到的。

我们可以对随机梯度上升代码做如下的改进：

def stocGradAscent1(dataMatrix, classLabels, numIter=150):m,n = shape(dataMatrix)weights = ones(n)   for j in range(numIter):dataIndex = range(m)for i in range(m):alpha = 4/(1.0+j+i)+0.0001    #改进处1randIndex = int(random.uniform(0,len(dataIndex)))#改进出2h = sigmoid(sum(dataMatrix[randIndex]*weights))error = classLabels[randIndex] - hweights += alpha * dot(error,dataMatrix[randIndex])del(dataIndex[randIndex])return weights

上述代码的执行效果如下：

从图中的分类效果可以看出，该方法的结果与第一种方法相差不多，但是所用的计算量更少。

在第一个改进的地方，alpha在每次迭代的时候都会调整。虽然alpha会随着迭代次数不断减小，但永远不会减少到0，这样可以保证在多次迭代后新数据仍然具有一定的影响。如果要处理的问题是动态变化的，那么可以适当加大上述常数项，来确保新的值获得更大的回归系数。第二个改进处通过随机选取样本来更新回归系数，这样可以减少迭代期间的周期性波动。而且算法中还增加了一个确定迭代次数的参数，方便使用者进行调节。

机器学习——logistic回归相关推荐

机器学习-Logistic回归原理及实战
Logistic回归回归在介绍Logistic回归之前,先容我介绍一下什么是回归回归,指研究一组随机变量(Y1 ,Y2 ,-,Yi)和另一组(X1,X2,-,Xk)变量之间关系的统计分析方法,又 ...
[机器学习]Logistic回归
目录什么是逻辑斯蒂(Logistic)回归? 1.线性回归函数 2. 逻辑函数(Sigmoid函数) 3. Logistic回归函数 Logistic回归分类器梯度上升算法 python实现梯度 ...
机器学习 Logistic回归
目录一.线性模型及回归: 1.一维数据线性模型: 2.多维数据: 二.对数线性回归: 三.Logistic回归: 1.极大似然估计: 2.梯度下降: 三.本次实验数据集介绍: 1.数据集信息介绍: ...
机器学习--Logistic回归
一.前言 logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域.例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等 ...
机器学习--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类. logistic回归虽然也是叫回归, ...
吴恩达机器学习logistic回归作业（python实现）
1. Logistic regression 在这部分的练习中,你将建立一个逻辑回归模型来预测一个学生是否能进入大学.假设你是一所大学的行政管理人员,你想根据两门考试的结果,来决定每个申请人是否被录取 ...
logistic回归预测_使用Apache Spark机器学习Logistic回归预测乳腺癌
logistic回归预测在此博客文章中,我将帮助您开始使用Apache Spark的spark.ml Logistic回归来预测癌症恶性程度. Spark的spark.ml库目标是在DataFram ...
机器学习：多分类的logistic回归
机器学习:多分类的logistic回归 Multi-Class Logistic(多分类的Logistic问题) 它适用于那些类别数大于2的分类问题,并且在分类结果中,样本x不是一定只属于某一个类可以 ...
机器学习算法（优化）之一：梯度下降算法、随机梯度下降（应用于线性回归、Logistic回归等等）...
本文介绍了机器学习中基本的优化算法-梯度下降算法和随机梯度下降算法,以及实际应用到线性回归.Logistic回归.矩阵分解推荐算法等ML中. 梯度下降算法基本公式常见的符号说明和损失函数 X :所有 ...

机器学习——logistic回归

机器学习——logistic回归相关推荐

最新文章

热门文章