人工智能-逻辑回归、分类评估方法、ROC曲线、类别不平衡

1，逻辑回归介绍

逻辑回归：分类模型
应用场景：广告点击率、是否垃圾邮件
逻辑回归主要用于解决二分类问题

输入：

逻辑回归的输入：线性回归的结果
激活函数：sigmoid函数

回归的结果输入到sigmoid函数中
输出结果：[0,1]区间中的一个概率值，默认为0.5为阈值

输出结果解释：假设AB两类，A是正类，则输出结果是属于A类的概率值，如果大于0.5，则说明属于A类，否则属于B类。也可以自己设定阈值（不是0.5，选0.6，0.4都可）

衡量预测概率----对数似然损失

损失函数
分开写：

完整写：

优化：使用梯度下降法进行优化

2，逻辑回归api介绍

sklearn.linear_model.LogisticRegression(solve=‘liblinear’,penalty=‘l2’,C=1.0)
solve可选（‘liblinear’,‘sag’,‘saga’,‘newton-cg’,‘lbfgs’）
小数据集—‘liblinear’；小数据集—‘sag’,‘saga’
penalty ----正则化的种类
C---- 正则化力度

3，案例：癌症分类预测-良/恶性乳腺癌肿瘤预测

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import standardScaler
from sklearn.linear_model import LogisticRegression
#1.获取数据
data = pd.read_csv("data")
data.head()#2.数据处理
#2.1缺失值处理
data = data.replace(to_replace="?",value=np.nan)
data = data.dropna()
#2.2确定特征值，目标值
data.head()
x = data.iloc[:,1:-1]
x.head()
y = data['Class']
y.head()
#2.3分割数据
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22,test_size=0.2)
#3,特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)
#4，逻辑回归
estimator = LogisticRegression()
estimator.fit(x_train,y_train)
#5,模型评估
#5.1准确率
ret = estimator.score(x_test,y_test)
print('准确率：\n',ret)
#5.2预测值
y_pre = estimator.predict(x_test)
print('预测值：\n',y_pre)

4，分类评估方法

混淆矩阵：

准确率：（TP+TN）/(TP+FP+FP+TN)
精确率：TP/(TP+FP) —针对预测为真的数据中
召回率：TP/(TP+FN)—针对真实结果中
F1 =2TP/(2TP+FN+FP)

4.1分类评估报告API

sklearn.metrics.classification_report(y_true,y_pred,labels=[],target_names=None)

#5.3精确率、召回率指标评价
ret = classification_report(y_test,y_pre,labels=(2,4),target_names=('良性','恶性'))
print(ret)

precision–精确率
recall —召回率
f1-score —f1值

TPR= TP/(TP+FN)–所有真实类别为1的样本中，预测类别为1的比例
FPR = FP/(FP+TN)–所有真实类别为0的样本中，预测类别为1的比例

#5.4AUC指标计算
y_test = np.where(y_test>3,1,0)
roc_auc_score(y_test,y_pre)

auc只能用于计算二分类问题

5，ROC曲线的绘制

ROC曲线中：FPR横坐标，TPR纵坐标
AUC指标即ROC曲线下的面积。AUC曲线越接近1，模型越优

6、分类中解决类别不平衡问题

l类别不平衡问题：即有的类别中数据量大，有的类别中数据量小
处理方法：
1，欠采样方法–减少数量较多的那一类样本的数量，使得正负样本比例均衡
2，过采样方法–增加数量较小的那一类样本的数量，使得正负样本比例均衡

过采样：
随机过采样：通过复制粘贴增加样本量较小的类RandomOverSampler–可能会造成过拟合
Smoth过采样：找两点连线，找中间的点

欠采样：
随机欠采样：RandomUnderSampler
可能会造成信息的缺失