作为数据科学家或机器学习从业者，将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。

在本文中，我将介绍两个可以帮助了解模型的决策过程的模型 LIME 和 SHAP。

模型

我们将使用来自 Kaggle 的糖尿病数据集。 主要关注点是可解释性，因此我们不会花太多时间尝试拥有花哨的模型。

# Load useful libraries
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
`
# Read data set
df = pd.read_csv("./data/diabetes.csv")
# Separate Features and Target Variables
X = df.drop(columns='Outcome')
y = df['Outcome']
# Create Train & Test Data
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3, 
stratify =y, 
random_state = 13)
# Build the model
rf_clf = RandomForestClassifier(max_features=2, n_estimators =100 ,bootstrap = True)
# Make prediction on the testing data
y_pred = rf_clf.predict(X_test)
# Classification Report 
print(classification_report(y_pred, y_test))
rf_clf.fit(X_train, y_train)

SHAP

它是 SHapley Additive exPlanations的缩写。 该方法旨在通过计算每个特征对预测的贡献来解释实例/观察的预测。

# Import the SHAP library
import shap
# load JS visualization code to notebook
shap.initjs()
# Create the explainer
explainer = TreeExplainer(rf_clf)
"""
Compute shap_values for all of X_test rather instead of 
a single row, to have more data for plot.
"""
shap_values = explainer.shap_values(X_test)

print("Variable Importance Plot - Global Interpretation")
figure = plt.figure()
shap.summary_plot(shap_values, X_test)

SHAP有许多用于模型解释的可视化图表，但我们将着重介绍其中的几个。

特征重要性的汇总图

print("Variable Importance Plot - Global Interpretation")
figure = plt.figure()
shap.summary_plot(shap_values, X_test)

我们可以从上面的图中得到以下的结论：

1. 它显示了重要特征的列表，从最重要到最不重要（从上到下）。
2. 所有特征似乎对诊断为糖尿病（标签 = 1）或未诊断（标签 = 0）的两个类别的贡献均等，因为基本上都占据了矩形的 50%。
3. 根据该模型，Glucose（葡萄糖）是对预测贡献最大的特征。Age（年龄）是贡献第二大的特征
4. Pregnancies（怀孕）是预测能力最强的第 5 个特征。

特定分类结果的汇总图

# Summary Plot Deep-Dive on Label 1
shap.summary_plot(shap_values[1], X_test)

对于分类问题，每个标签都有 SHAP 值。在我们的例子中，我们使用 1 (True) 的预测显示该类结果的汇总。该图的表示内容如下：

• 特征的重要性和排序与汇总图一样，排名越上，重要性越高。
• 图中每个点代表单个数据实例的特征值。
• 颜色表明该特征是高值（红色）还是低值（蓝色）。
• X 轴代表对预测输出的正或负贡献

当我们将这些分析应用于特征时，我们得到以下结论：

对于葡萄糖：我们看到大多数高值（红点）对预测输出有正贡献（在 X 轴上为正）。换句话说，如果单个数据实例的葡萄糖量很高，则其获得1结果（被诊断患有糖尿病）的机会会大大增加，而低量（蓝点）会降低（负 X 轴值）被诊断为糖尿病的概率。

对于年龄：对年龄进行相同的分析。年龄越高，数据实例（患者）最有可能被诊断出患有糖尿病。

另一方面，模型在涉及未成年人时似乎很混乱，因为我们可以在垂直线（X 轴 = 0）的每一侧观察到几乎相同数量的数据点。由于年龄特征对分析来说似乎令人困惑，我们可以使用下面的相关图来获得更细粒度的信息。

相关图（依赖图）

# Dependence Plot on Age feature
shap.dependence_plot('Age', shap_values[1], X_test, interaction_index="Age")

从相关图中我们可以清楚地看到，30岁以下的患者被诊断为糖尿病的风险较低，而30岁以上的患者被诊断为糖尿病的风险较高。

LIME

它是 Local Interpretable Model Agnostic Explanation的缩写。 局部（Local ）意味着它可以用于解释机器学习模型的个别预测。

要使用它也非常的简单，只需要2个步骤：(1) 导入模块，(2) 使用训练值、特征和目标拟合解释器。

# Import the LimeTabularExplainer module
from lime.lime_tabular import LimeTabularExplainer
# Get the class names
class_names = ['Has diabetes', 'No diabetes']
# Get the feature names
feature_names = list(X_train.columns)
# Fit the Explainer on the training data set using the LimeTabularExplainer 
explainer = LimeTabularExplainer(X_train.values, feature_names = feature_names, 
class_names = class_names, mode = 'classification')

代码中我们使用class_names创建了两个标签，而不是 1 和 0因为使用名字会更加的直观。

对单例进行解释说明

这里的解释是针对测试数据中的单个实例进行的

#Perform the explanation on the 8th instance in the test data
explaination = explainer.explain_instance(X_test.iloc[8], rf_clf.predict_proba)
# show the result of the model's explaination
explaination.show_in_notebook(show_table = True, show_all = False)

该模型以 73% 的置信度预测该特定患者患有糖尿病，并解释该预测，因为血糖水平高于 99，血压高于 70。在右侧，我们可以看到患者特征的值 。

总结

本文中接单的介绍了如何使用 SHAP 和 LIME 解释您的机器学习模型。 现在，你也可以对构建的模型进行可解释性分析了，这可以帮助决策者和其他利益相关者获得更多的可见性并理解导致模型输出的决策的解释。 ，你可以在下面的资源中找到本文包含的两个Python包，阅读他们的文档可以找到更加高级的使用方式。

作者：Zoumana Keita