由于对人工智能偏见的担心日益凸显，从业者解释模型产出的预测结果的能力以及解释模型自身运作机制的能力变的越来越重要。幸运的是，已经有许多python工具集被开发出来，用以解决上述问题。下文我将对现有4个建立的比较完善的翻译和解释机器学习模型的工具包做简要的指导性描述。

这些工具包都可以通过pip来进行安装，拥有完善的文档，并且强调通过可视化来提升可解释性。

yellowbrick

这个工具包本质上，是scikit-learn的一个扩展，提供了一些非常实用且好看的机器学习模型可视化工具。`visualiser`对象是核心接口，是一个scikit-learn估计器，所以如果你之前熟悉scikit-learn的工作流程，那么将对此非常熟悉。

这个可视化工具覆盖了模型选择，特征重要性和模型性能分析等方面。

让我们看几个简短的例子。

该工具包可以通过pip安装，

pip install yellowbrick

为了展示工具包中的一些特性，我们将利用scikit-learn中的红酒识别数据集。这个数据集包含13个特征以及3个目标类别。可以通过scikit-learn直接加载。在下面的代码里我引入数据集，并把转换成pandas dataframe。数据集可以直接被用来训练模型，并不需要其他的数据处理。

import pandas as pd
from sklearn import datasets
wine_data = datasets.load_wine()
df_wine = pd.DataFrame(wine_data.data,columns=wine_data.feature_names)
df_wine['target'] = pd.Series(wine_data.target)

利用scikit-learn进一步将数据分为测试集合和训练集。

import pandas as pd
from sklearn import datasets
wine_data = datasets.load_wine()
df_wine = pd.DataFrame(wine_data.data,columns=wine_data.feature_names)
df_wine['target'] = pd.Series(wine_data.target)

接下来，我们用yellowbrick的visualiser观察特征之间的相关性。

import pandas as pd
from sklearn import datasets
wine_data = datasets.load_wine()
df_wine = pd.DataFrame(wine_data.data,columns=wine_data.feature_names)
df_wine['target'] = pd.Series(wine_data.target)

现在，我们拟合一个随机森林分类器，并通过另一个visualiser评价其性能。

from yellowbrick.classifier import ClassificationReport
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier()
visualizer = ClassificationReport(model, size=(1080, 720))
visualizer.fit(X_train, y_train)
visualizer.score(X_test, y_test)
visualizer.poof()

ELI5

ELI5是另一个可视化工具包，在模型机器学习模型调试和解释其产出的预测结果方面非常有用。它能够同大多数通用的python机器学习工具包一起使用，包括scikit-learn和XGBoost，以及Keras。

让我们用ELI5来观察一下上面我们训练的模型的特征重要性。

import eli5
eli5.show_weights(model, feature_names = X.columns.tolist())

默认的，`show_weights`方法采用GAIN来计算权重，但你也可以传入其他`importance_type`来控制特征重要性的计算。

也可以通过`show_prediction`来观察某一个样本的预测结果的原因。

from eli5 import show_predictionshow_prediction(model, X_train.iloc[1], feature_names = X.columns.tolist(),
show_feature_values=True)

LIME

LIME（模型无关局部可解释）是一个用来解释模型做出的预测的工具包。LIME支持对多种分类器的单个样本预测进行解释，并且原生支持scikit-learn。

下面让我们用LIME对上述我们训练的模型的一些预测进行解释。

LIME可以用pip进行安装

pip install lime

首先我们构建explainer，它通过训练数据集数组，模型中用到的特征名称和目标变量的类别名称作为初始化参数。

import lime.lime_tabular
explainer = lime.lime_tabular.LimeTabularExplainer(X_train.values, feature_names=X_train.columns.values.tolist(), class_names=y_train.unique())

接下来，我们创建一个lambda函数，它表示用模型预测一个样本。详见这个优秀的，更有深度的LIME教程。首先我们构建explainer，它通过训练数据集数组，模型中用到的特征名称和目标变量的类别名称作为初始化参数。

predict_fn = lambda x: model.predict_proba(x).astype(float)

随后，我们利用explainer解释指定样本的预测结果。其结果如下。LIME通过可视化的结果，展示特征如果对得到的预测结果产生影响。

exp = explainer.explain_instance(X_test.values[0], predict_fn, num_features=6)
exp.show_in_notebook(show_all=False)

MLxtend

这个工具包包含一系列机器学习可用的工具函数。包括通过stacking和voting构建的分类器，模型的评估，特征的提取、特征工程和可视化。除了该工具包的文档，这篇论文也是理解工具包更多细节的好资源。

下面让我们利用MLxtend来比较Ensemble后的分类器的分类边界与组成他的子分类器的分类边界有什么不同。

同样MLxtend也可以通过pip安装。

pip install mlxtend

引入一些工具包，

from mlxtend.plotting import plot_decision_regions
from mlxtend.classifier import EnsembleVoteClassifier
import matplotlib.gridspec as gridspec
import itertools
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier

下面的可视化工具一次只能接受两个特征作为输入，所以我们创建了数组['proline', 'color_intensity']。因为这两个特征在上述利用ELI5分析时，具有最高的特征重要性。引入一些工具包，

X_train_ml = X_train[['proline', 'color_intensity']].values
y_train_ml = y_train.values

接下来，我们创建一些分类器，并在训练数据上进行拟合，通过MLxtend可视化他们的决策边界。输出来自下面的代码。

clf1 = LogisticRegression(random_state=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
eclf = EnsembleVoteClassifier(clfs=[clf1, clf2, clf3], weights=[1,1,1])
value=1.5
width=0.75
gs = gridspec.GridSpec(2,2)
fig = plt.figure(figsize=(10,8))
labels = ['Logistic Regression', 'Random Forest', 'Naive Bayes', 'Ensemble']
for clf, lab, grd in zip([clf1, clf2, clf3, eclf],
labels,
itertools.product([0, 1], repeat=2)):
clf.fit(X_train_ml, y_train_ml)
ax = plt.subplot(gs[grd[0], grd[1]])
fig = plot_decision_regions(X=X_train_ml, y=y_train_ml, clf=clf)
plt.title(lab)

以上绝对不是模型可解释和可视化工具包的完整列表。这篇博文罗列了包含其他有用的工具包的列表，值得一试。

感谢阅读！

用于可解释机器学习的 Python 库相关推荐

python 分类变量xgboost_用于可解释机器学习的四个Python库
我们知道,人工智能也可能存在偏差,随着大家对这一点的关注度越来越高,企业越来越需要能够对其模型产生的预测进行解释,了解模型本身是如何工作的.好的一点是,有越来越多的Python库正在开发中,试图解决这 ...
python的顶级库_三大用于数据科学的顶级Python库
Python有许多吸引力,如效率,代码可读性和速度,使其成为数据科学爱好者的首选编程语言.Python通常是希望升级其应用程序功能的数据科学家和机器学习专家的首选. 由于其广泛的用途,Python拥有 ...
python 生成空白矩阵_3个用于数据科学的顶级Python库
用这些库把Python变成一个科学数据分析和建模工具. image by Opensource.com Python许多吸引人的特点如效率.代码可读性和速度使它成为数据科学爱好者的首选编程语言.对于希 ...
pypdf2 存储pdf_PyPDF2：用于PDF文件操作的Python库
pypdf2 存储pdf PyPDF2 is a pure-python library to work with PDF files. We can use the PyPDF2 module to ...
python做个游戏辅助_8个用于辅助项目的出色Python库
python做个游戏辅助在Python / Django世界中我们有一句俗语:我们是为语言而来的,而是为社区而留下的. 对我们大多数人来说都是如此,但是让我们留在Python世界中的另一件事是,有了 ...
【转】8 个用于业余项目的优秀 Python 库
在数据库中即时保存数据:Dataset 当我们想要在不知道最终数据库表长什么样的情况下,快速收集数据并保存到数据库中的时候,Dataset 库将是我们的最佳选择.Dataset 库有一个简单但功能强大 ...
python中led是什么意思_用于检测LED闪光灯的Python库
很有可能解决这个问题.正如@John Percival Hackworth所说,opencv是解决这个问题的一个好选择.我可以给你一些建议.在拍一张带发光二极管的电路板的照片,因为你知道发光二极管的颜 ...
python 博弈论库_6个Python库解释机器学习模型并建立信任
在机器学习模型中建立信任的案例全球道路上大约有12亿辆汽车.这是一个令人毛骨悚然的问题-您认为实际上有多少驾驶员了解车辆的内部运行情况? 正如您可能已经猜到的,答案只有少数几个人.我们不需要了解驾驶 ...
让机器学习自动帮我们建模，这4个Python库能让你大开眼界
自动机器学习(通常简称为AutoML)是一个新兴的领域,在这个领域中,通过建立机器学习模型来对数据进行建模的过程是自动化的.AutoML能让建模变得更容易,也能让每个人更容易访问. 如果你对AutoM ...

用于可解释机器学习的 Python 库

yellowbrick

ELI5

LIME

MLxtend

用于可解释机器学习的 Python 库相关推荐

最新文章

热门文章