拓端tecdat|R语言ROC曲线评价分类器的好坏

原文链接：http://tecdat.cn/?p=18944

原文出处：拓端数据部落公众号

本文将使用一个小数据说明ROC曲线，其中n = 10个观测值，两个连续变量x_1和x_2，以及二元变量y∈{0,1}。

我们可以表示平面（x_1，x_2）中的点，并且对y∈{0,1}中的y 使用不同的颜色。


df = data.frame(x1=x1,x2=x2,y=as.factor(y))
plot(x1,x2,col=c("red","blue")[1+y],pch=19,cex=1.5)

然后，我们可以进行逻辑回归，P（Y = 1∣x1，x2）= 1 +eβ0+β1x1 +β2x2eβ0+β1x1 +β2x2 ，


reg = glm(y~x1+x2,data=df,family=binomial(link = "logit"))

然后我们可以将y_i表示为得分的函数，即P（Y = 1∣x1，i ，x2，i），


S = predict(reg,type="response")
plot(S,y )

然后，我们将设定一个阈值（例如50％）：如果Y取值1的概率超过阈值，我们将预测为1（否则为0）。在上图中，我们有4个点：阈值左侧的那些点（预测为0），如果位于底部，则分类很好，而位于顶部的分类很差；在阈值的右边（并且预测为1），如果它们位于顶部，则可以很好地分类，而底部则不能很好地分类


plot(S,y,
col=c("red","blue")[1+(y==Yhat)])
abline(v=s,lty=2)

颜色反映了分类的好坏：红点表示分类错误。我们可以在下面的列联表（混淆矩阵）中找到所有这些内容。


Y Yhat 0 1
0 3 1
1 1 5

在这里，我们感兴趣的是两个指标：假正例和真正例，

FP=sum((Ps==1)*(Y==0))/sum(Y==0)
TP=sum((Ps==1)*(Y==1))/sum(Y==1)

我们在给定的阈值（此处为50 ％）处获得了该表。
这组结果给出了ROC曲线。

plot(t(V),type="s" )
segments(0,0,1,1,col="light blue")

我们可以检查在曲线上阈值50％处的点


Y Yhat 0 1
0 3 1
1 1 5
(FP = sum((Yhat)*(Y==0))/sum(Y==0))
[1] 0.25
(TP = sum((Yhat==1)*(Y==1))/sum(Y==1))
[1] 0.83


plot(performance(pred,"tpr","fpr"))

一个有趣的量称为曲线下面积（或 AUC），可在此处手动计算（我们有一个简单的阶梯函数）

p2[1]*p2[2]+(p1[1]-p2[1])*p1[2]+(1-p1[1])
[1] 0.875

也可以用函数计算

auc.perf@y.values[[1]]
[1] 0.87

我们尝试另一个分类器：仍然是逻辑回归，但要考虑通过将第二个变量分割成两个而获得的因子1 [s，∞） x2）

abline(h=.525)

水平线不再是红色和蓝色一样多的线，而是与变量x_2相交的线。在这里，我们仅预测两个值：底部出现蓝色的概率为40％，顶部为蓝色的概率为80％。如果我们将观测值yi表示为预测概率的函数，则可以得出

plot(S,y,ylab="y",xlim=0:1)

50％的阈值，我们获得以下列联表


Y Yhat 0 1
0 3 2
1 1 4

如果绘制ROC曲线，我们得到


plot(t(V),type="l"
segments(0,0,1,1,col="light blue")

这次，曲线是线性的。上图中的蓝色对角线恰好是随机分类器,这是我们随机预测的结果

pred = prediction(S,Y)
plot(performance(pred,"tpr","fpr"))

该点的阈值为50％。再次，我们可以计算曲线下的面积


p2[1]*p2[2]/2+(1-p1[1])*p1[2]+(1-p1[1])*(1-p1[2])/2
[1] 0.708
auc.perf@y.values[[1]]
[1] 0.708

最受欢迎的见解

1.从决策树模型看员工为什么离职

2.R语言基于树的方法：决策树，随机森林

3.python中使用scikit-learn和pandas决策树

4.机器学习：在SAS中运行随机森林数据分析报告

5.R语言用随机森林和文本挖掘提高航空公司客户满意度

6.机器学习助推快时尚精准销售时间序列

7.用机器学习识别不断变化的股市状况——隐马尔可夫模型的应用

8.python机器学习：推荐系统实现（以矩阵分解来协同过滤）

9.python中用pytorch机器学习分类预测银行客户流失