分类器的不确定度估计

文章目录

分类器的不确定度估计
- 决策函数(decision_function)
- - 示例
  - 决策函数置信度与预测结果的关系(图像)
- 预测概率(predict_proba)
- - 示例
  - 预测概率与预测结果的关系(图像)
- 多分类问题的不确定度
- - 决策函数多分类问题的不确定度
  - 预测概率多分类问题的不确定度

分类器的不确定度估计

不确定度估计，即置信程度。

通俗地讲，就是目前模型预测结果正确的概率。

sklearn中有两个函数可以用于获取分类器的不确定度估计，分别为 decision_function 和 predict_proba 两个函数。

决策函数(decision_function)

decision_function，即为决策函数。

对于二分类的情况，decision_function返回值的形状为(n_samples,)，它只可以估计正类的概率(对于二分类情况来说，‘反’类始终是classes_属性的第一个元素，‘正’类是classes_属性的第二个元素)，如果是正值，越大表示对‘正’类的置信度越高，如果为‘负’值，其绝对值越大表示对‘负’类的置信度越高。

示例

以下是简单的示例:

import numpy as np
from sklearn.ensemble import GradientBoostingClassifier                  #梯度提升决策树分类器
from sklearn.datasets import make_circles                                #引入数据集
from sklearn.model_selection import train_test_split                     #引入数据集分割函数X, y = make_circles(noise=0.25, factor=0.5, random_state=1)               #获取数据集#为了便于说明，将两个类别重命名为'blue'、'red'
y_named = np.array(['blue','red'])[y]                                     #使用numpy的方式直接进行重命名#我们可以对任意个数组调用train_test_split
#所有数组的划分方式都是一致的
X_train, X_test, y_train_named, y_test_named, y_train, y_test = \train_test_split(X, y_named, y, random_state=0)#构建梯度提升模型
gbrt = GradientBoostingClassifier(random_state=0)
gbrt.fit(X_train, y_train_named)                                           #训练数据print('X_test.shape:{}'.format(X_test.shape))                                            #输出X_test测试集的形状
print('Decision function shape:{}'.format(grbt.decision_function(X_test).shape))         #输出决策函数进行预测的情况print('Decision function data:{}'.format(grbt.decision_function(X_test)))                #输出每个预测值的置信度
print('Predict result:{}'.format(grbt.predict(X_test)))                                  #输出每个样本的预测结果

X_test.shape:(25, 2)
Decision function shape:(25,)
Decision function data:[ 4.13592603 -1.70169917 -3.95106099 -3.62609552  4.28986642  3.66166081-7.69097179  4.11001686  1.10753937  3.40782222 -6.46255955  4.289866423.90156346 -1.20031247  3.66166081 -4.17231157 -1.23010079 -3.915762234.03602783  4.11001686  4.11001686  0.65709014  2.69826265 -2.65673274-1.86776596]
Predict result:['red' 'blue' 'blue' 'blue' 'red' 'red' 'blue' 'red' 'red' 'red' 'blue''red' 'red' 'blue' 'red' 'blue' 'blue' 'blue' 'red' 'red' 'red' 'red''red' 'blue' 'blue']

我们可以对比一下置信度与预测结果的对照是否一致

#先将所有置信度转化为布尔类型数据
gbrt.decision_function(X_test) > 0                      #置信结果大于0，即为正类，否则为负类

array([ True, False, False, False,  True,  True, False,  True,  True,True, False,  True,  True, False,  True, False, False, False,True,  True,  True,  True,  True, False, False])

如果返回 True，代表的是正类(red)；返回的是False，代表的是负类(blue)。下面将这些布尔值转化为0或1。

greater_zero = (gbrt.decision_function(X_test)>0).astype(int)              #将布尔值True/False转化为1或0
pred = gbrt.classes_[greater_zero]                                         #利用0和1作为classes的索引print(pred)                                                                #输出由决策边界置信度得到的结果
print(gbrt.predict(X_test))                                               #输出结果print('pred is equal to predictions:{}'.\format(np.all(pred == gbrt.predict(X_test))))                        #pred与gbrt.predict的输出完全相同

['red' 'blue' 'blue' 'blue' 'red' 'red' 'blue' 'red' 'red' 'red' 'blue''red' 'red' 'blue' 'red' 'blue' 'blue' 'blue' 'red' 'red' 'red' 'red''red' 'blue' 'blue']
['red' 'blue' 'blue' 'blue' 'red' 'red' 'blue' 'red' 'red' 'red' 'blue''red' 'red' 'blue' 'red' 'blue' 'blue' 'blue' 'red' 'red' 'red' 'red''red' 'blue' 'blue']
pred is equal to predictions:True

决策函数置信度与预测结果的关系(图像)

在下面的例子中，我们利用颜色编码在二维平面中画出所有点的decision_function, 还有决策边界。

其中训练点为圆点，测试数据为三角形。

import matplotlib.pyplot as plt                               #引入绘图库
import mglearn                                                #引入mglearn库fig, axes = plt.subplots(1, 2, figsize=(13,5))                 #定义绘图面板mglearn.tools.plot_2d_separator(gbrt, X, ax=axes[0],                          #绘制决策函数分界线alpha=.4, fill=True, cm=mglearn.cm2)
scores_image = mglearn.tools.plot_2d_scores(gbrt, X, ax=axes[1],alpha=.4, cm=mglearn.ReBl)         #绘制置信值图形#绘制所有的数据样本
for ax in axes:mglearn.discrete_scatter(X_test[:,0], X_test[:,1], y_test,markers='^', ax=ax)                               #绘制测试集的数据点mglearn.discrete_scatter(X_train[:,0], X_train[:,1], y_train,markers='o', ax=ax)                               #绘制训练集的数据点ax.set_xlabel('Feature 0')ax.set_ylabel('Feature 1')                                 #添加特征名称cbar = plt.colorbar(scores_image, ax=axes.tolist())            #绘制颜色bar
axes[0].legend(['Test class 0', 'Test class 1','Train class 0', 'Train class1'], ncol=4, loc=(.1, 1.1))       #添加标签

<matplotlib.legend.Legend at 0x21e633012e8>

预测概率(predict_proba)

predict_proba的输出是每个类别的概率，往往更容易理解。

对于二分类问题，它的形状往往为(n_samples, 2)。现在试着输出一下上例每类别的概率:

示例

import numpy as np
from sklearn.ensemble import GradientBoostingClassifier                  #梯度提升决策树分类器
from sklearn.datasets import make_circles                                #引入数据集
from sklearn.model_selection import train_test_split                     #引入数据集分割函数X, y = make_circles(noise=0.25, factor=0.5, random_state=1)               #获取数据集#为了便于说明，将两个类别重命名为'blue'、'red'
y_named = np.array(['blue','red'])[y]                                     #使用numpy的方式直接进行重命名#我们可以对任意个数组调用train_test_split
#所有数组的划分方式都是一致的
X_train, X_test, y_train_named, y_test_named, y_train, y_test = \train_test_split(X, y_named, y, random_state=0)#构建梯度提升模型
gbrt = GradientBoostingClassifier(random_state=0)
gbrt.fit(X_train, y_train_named)                                           #训练数据print('X_test.shape:{}'.format(X_test.shape))                                            #输出X_test测试集的形状
print('Predict_proba shape:{}'.format(grbt.predict_proba(X_test).shape))                 #输出置信度预测概率的情况print('Predict_proba data:\n',grbt.predict_proba(X_test))                                #输出每个预测值的置信度
print('Predict result:{}'.format(grbt.predict(X_test)))                                  #输出每个样本的预测结果

X_test.shape:(25, 2)
Predict_proba shape:(25, 2)
Predict_proba data:[[1.57362639e-02 9.84263736e-01][8.45756526e-01 1.54243474e-01][9.81128693e-01 1.88713075e-02][9.74070327e-01 2.59296728e-02][1.35214212e-02 9.86478579e-01][2.50463747e-02 9.74953625e-01][9.99543275e-01 4.56725221e-04][1.61426376e-02 9.83857362e-01][2.48329911e-01 7.51670089e-01][3.20518935e-02 9.67948107e-01][9.98441637e-01 1.55836338e-03][1.35214212e-02 9.86478579e-01][1.98099245e-02 9.80190075e-01][7.68580365e-01 2.31419635e-01][2.50463747e-02 9.74953625e-01][9.84817480e-01 1.51825198e-02][7.73836215e-01 2.26163785e-01][9.80463909e-01 1.95360915e-02][1.73607896e-02 9.82639210e-01][1.61426376e-02 9.83857362e-01][1.61426376e-02 9.83857362e-01][3.41393574e-01 6.58606426e-01][6.30759509e-02 9.36924049e-01][9.34424749e-01 6.55752512e-02][8.66199569e-01 1.33800431e-01]]
Predict result:['red' 'blue' 'blue' 'blue' 'red' 'red' 'blue' 'red' 'red' 'red' 'blue''red' 'red' 'blue' 'red' 'blue' 'blue' 'blue' 'red' 'red' 'red' 'red''red' 'blue' 'blue']

其中，每行的第一个元素是第一个类别的估计概率，第二个元素是第二个类别的估计概率。

由于predict_proba的输出是一个概率，因此总是在0和1之间，这两个类别元素之和始终为1，当有一个类别的概率超50%，该类别即模型的预测结果。

预测概率与预测结果的关系(图像)

同样的，再次给出该数据集的决策边界，以及类别1的类别概率

import matplotlib.pyplot as plt                               #引入绘图库
import mglearn                                                #引入mglearn库fig, axes = plt.subplots(1, 2, figsize=(13,5))                 #定义绘图面板mglearn.tools.plot_2d_separator(gbrt, X, ax=axes[0],                          #绘制决策函数分界线alpha=.4, fill=True, cm=mglearn.cm2)
scores_image = mglearn.tools.plot_2d_scores(gbrt, X, ax=axes[1],alpha=.5, cm=mglearn.ReBl,function='predict_proba')          #绘制置信值图形#绘制所有的数据样本
for ax in axes:mglearn.discrete_scatter(X_test[:,0], X_test[:,1], y_test,markers='^', ax=ax)                               #绘制测试集的数据点mglearn.discrete_scatter(X_train[:,0], X_train[:,1], y_train,markers='o', ax=ax)                               #绘制训练集的数据点ax.set_xlabel('Feature 0')ax.set_ylabel('Feature 1')                                 #添加特征名称cbar = plt.colorbar(scores_image, ax=axes.tolist())            #绘制颜色bar
axes[0].legend(['Test class 0', 'Test class 1','Train class 0', 'Train class1'], ncol=4, loc=(.1, 1.1))       #添加标签

<matplotlib.legend.Legend at 0x21e635772b0>

多分类问题的不确定度

之前仅讨论了二分类问题中的不确定度估计，但decision_function和predict_proba也适用于多分类问题。

现在将这两个函数应用于鸢尾花数据集，该数据集是一个三分类数据集

决策函数多分类问题的不确定度

先看下面的例子:

from sklearn.datasets import load_iris              #引入鸢尾花数据集iris = load_iris()                                   #加载鸢尾花数据集
X_train, X_test, y_train, y_test = \train_test_split(iris.data, iris.target,random_state=42)                #切分数据集#构造梯度提升决策树
gbrt = GradientBoostingClassifier(learning_rate=0.01,random_state=0)gbrt.fit(X_train, y_train)                           #训练数据集#输出决策函数预测后的形状
print('Decision function shape:{}'.format(gbrt.decision_function(X_test).shape))
print('Decision function:\n{}'.format(gbrt.decision_function(X_test)[:6,:]))             #输出前6挑数据

Decision function shape:(38, 3)
Decision function:
[[-1.995715    0.04758267 -1.92720695][ 0.06146394 -1.90755736 -1.92793758][-1.99058203 -1.87637861  0.09686725][-1.995715    0.04758267 -1.92720695][-1.99730159 -0.13469108 -1.20341483][ 0.06146394 -1.90755736 -1.92793758]]

对于多分类的情况，decision_function的形状为(n_samples, n_classes)，每一列对应每个类别的 “确定度分数” 。

分数较高的类别可能性更大，分数较低的类别可能性较小。 可以找出每个数据点的最大元素，利用最大元素来再现预测结果:

print('Argmax of decision function:\n{}'.format(np.argmax(gbrt.decision_function(X_test), axis=1)))                          #取出每一行的最大元素对应的下标
print('Prediciton:\n{}'.format(gbrt.predict(X_test)))                   #输出预测结果

Argmax of decision function:
[1 0 2 1 1 0 1 2 1 1 2 0 0 0 0 1 2 1 1 2 0 2 0 2 2 2 2 2 0 0 0 0 1 0 0 2 10]
Prediciton:
[1 0 2 1 1 0 1 2 1 1 2 0 0 0 0 1 2 1 1 2 0 2 0 2 2 2 2 2 0 0 0 0 1 0 0 2 10]

预测概率多分类问题的不确定度

先看如下例子:

from sklearn.datasets import load_iris              #引入鸢尾花数据集iris = load_iris()                                   #加载鸢尾花数据集
X_train, X_test, y_train, y_test = \train_test_split(iris.data, iris.target,random_state=42)                #切分数据集#构造梯度提升决策树
gbrt = GradientBoostingClassifier(learning_rate=0.01,random_state=0)gbrt.fit(X_train, y_train)                           #训练数据集#输出决策函数预测后的形状
print('predict_proba shape:{}'.format(gbrt.predict_proba(X_test).shape))
print('predict_proba:\n{}'.format(gbrt.predict_proba(X_test)[:6,:]))             #输出前6挑数据

predict_proba shape:(38, 3)
predict_proba:
[[0.10217718 0.78840034 0.10942248][0.78347147 0.10936745 0.10716108][0.09818072 0.11005864 0.79176065][0.10217718 0.78840034 0.10942248][0.10360005 0.66723901 0.22916094][0.78347147 0.10936745 0.10716108]]

可以发现，多分类问题下预测概率函数predict_proba的置信度同二分类问题是一致的。

形状为(n_samples, n_classes)。其中每个数据点的所有可能类别的概率之和为 1。

同样的，也可以采用这种方式来预测结果:

print('Argmax of predict_proba:\n{}'.format(np.argmax(gbrt.decision_function(X_test), axis=1)))                          #取出每一行的最大元素对应的下标
print('Prediciton:\n{}'.format(gbrt.predict(X_test)))                   #输出预测结果

Argmax of predict_proba:
[1 0 2 1 1 0 1 2 1 1 2 0 0 0 0 1 2 1 1 2 0 2 0 2 2 2 2 2 0 0 0 0 1 0 0 2 10]
Prediciton:
[1 0 2 1 1 0 1 2 1 1 2 0 0 0 0 1 2 1 1 2 0 2 0 2 2 2 2 2 0 0 0 0 1 0 0 2 10]

这里一定要注意，如果类别为字符串或者其它整数时，必须使用分类器classes_属性获取真实属性名称才可进行对比。