逻辑回归处理因变量是分类变量的回归问题，主要用于两分类问题。两分类变量有1和0两个哑元值，其连接函数可定义为：

把取值在[0,1]之间的p变换到线性表示

可能取得全体实数范围。如果

,则

很显然，对于每个观测值我们预测的是

，而不是第i个观测值的水平(比如是0还是1，‘yes’还是'no'，)，这时就需要一个阈值

，使得当

的估计大于

时判定第i个观测值属于某一水平；否则，判定为另一水平。常设阈值

=0.5。

主要知识点：

1、散点图绘制，查看变量间关系；

2、建立训练数据集和测试数据集train_test_split；

3、导入模型并建模：model=LogisticRegression(),训练模型model.fit(x,y)

4、z=a+bx，截距a=model.intercept_ ,回归系数b=model.coef_

5、预测值 pred_y=1/(1+np.exp(-z))

6、回归特征只有1个时，构建模型，需要将数组转换为x行1列，numpy包中array.reshape(-1,1)改变数组形状。

下面进行举例学习，首先建立学习时间与分数的数据字典。

from collections import OrderedDict

import pandas as pd

#建立学习时间与分数的数据字典

examDict={'学习时间':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,2.50,

2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],

'通过考试':[0,0,0,0,0,0,1,0,1,0,1,0,1,0,1,1,1,1,1,1]}

examOrderDict=OrderedDict(examDict)

examDf=pd.DataFrame(examOrderDict)

examDf.head()

提取特征和标签，绘制散点图

exam_X=examDf.loc[:,'学习时间']#特征

exam_y=examDf.loc[:,'通过考试']#标签

#绘制散点图

import matplotlib.pyplot as plt

#散点图

plt.scatter(exam_X,exam_y,color='b',label='exam data')

#添加图标标签

plt.xlabel('Hours')

plt.ylabel('Pass')

#显示图像

plt.show()

建立训练数据集和测试数据集

from sklearn.cross_validation import train_test_split

#建立训练数据和测试数据集

train_X,test_X,train_y,test_y=train_test_split(exam_X,exam_y,train_size=.8)

#输出数据大小

print('原始数据特征：',exam_X.shape ,

'，训练数据特征：', train_X.shape ,

'，测试数据特征：',test_X.shape )

print('原始数据标签：',exam_y.shape ,

'训练数据标签：', train_y.shape ,

'测试数据标签：' ,test_y.shape)

训练模型

训练模型之前需要先将数据特征转换为二维数组

#将训练集、测试集特征转换为二维数组X行，1列

train_X=train_X.values.reshape(-1,1)

test_X=test_X.values.reshape(-1,1)

#构建模型

#1、导入模型

from sklearn.linear_model import LogisticRegression

#2、创建模型：逻辑回归

model=LogisticRegression()

#3、训练模型

model.fit(train_X,train_y)

模型评估

model.score(test_X,test_y)

获取概率值，进一步理解什么是逻辑函数

model.predict_proba(5)

#特征是5小时，预测概率，将返回一个array数组

再次理解逻辑函数

#逻辑函数，回归方程 z=a+bx

a=model.intercept_

b=model.coef_

x=5

z=a+b*x

y_pred=1/(1+np.exp(-z))

y_pred

最终概率为0.83，说明预测特征是5小时的概率是0.83，标签返回结果表明通过考试。