python数据分析实例：客户流失预警模型

客户流失是电信行业最重要的服务方面之一。客户流失的广义说法是因为客户自己或运营商违反服务协议而终止客户服务的行为。

流失预测流程一共分为四个步骤，分别为（1）数据预处理（2）特征选择（3）模型选择（4）模型评估

1. 数据理解

数据取自于kaggle平台分享的数据集，共有21个字段7043条记录。数据主要包括影响客户流失的各种因素（性别、是否为老年人、客户是否有合作伙伴、客户是否有依赖关系、客户在公司停留的月数、客户是否有电话服务、客户是否有多条线路、客户的互联网服务提供商、客户是否有网上安全等）以及客户是否已经流失的对应记录。字段基本说明如下：

可以发现，数据质量良好，没有缺失数据。

2.探索性分析

2.1 描述性统计

df.describe().T

从上述描述性分析结果可以看出：

是否老年人：范围0~1, 中位数0, 均值0.162147, 总体来说老年客户占比小；

客户在公司停留的月数：范围0~72, 中位数29, 均值32.371149；

每月收取的费用：范围18.25~118.75, 中位数70.35, 均值64.761692；

从中可以看出离散型变量较多，适合用RF模型进行预测

3. 数据预处理

由于sklearn在建模时不接受类别型变量，我们主要对数据做以下处理，以方便后续建模分析：

性别、合同时长、支付方式是定类型变量, 对其进行one-hot编码。

# 哑变量
df_dummies = pd.get_dummies(df,prefix=' ')

4. 建模分析

from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, f1_score, roc_curve, plot_roc_curve
#划分测试集和训练集
x = df_dummies.drop('churn', axis=1)
y = df_dummies['churn']X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2, stratify=y, random_state=2020)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
#采用基尼系数，树的深度为5去预测节点
clf = DecisionTreeClassifier(criterion='gini', max_depth=5, random_state=25)
clf.fit(X_train, y_train)
train_pred = clf.predict(X_train)
test_pred = clf.predict(X_test)print('训练集：', classification_report(y_train, train_pred))
print('-' * 60)
print('测试集：', classification_report(y_test, test_pred))
#查看个变量之间的相关系数
imp = pd.DataFrame([*zip(X_train.columns,clf.feature_importances_)], columns=['vars', 'importance'])
imp.sort_values('importance', ascending=False)
imp = imp[imp.importance!=0]rf_model = RandomForestClassifier(n_estimators=1000, oob_score=True, n_jobs=-1,random_state=0)
parameters = {'max_depth': np.arange(3, 17, 1) }
GS = GridSearchCV(rf_model, param_grid=parameters, cv=10)
GS.fit(X_train, y_train)print(GS.best_params_)

在本例中，使用决策树训练结果
可以看出准确率很低，1类 f1score只有0.6

相关度分析：

可以看出合同月制对客户流失有很大影响，其次电子支付也有一定影响

最后采用rf并使用网格搜索进行参数调优之后，模型准确率如下

{'criterion': 'gini', 'max_depth': 20, 'splitter': 'best'}
0.9500813177648042

模型的f1_score=0.95 明显提升

随机森林的优点较多，简单总结：

训练可以高度并行化，对于大数据时代的大样本训练速度有优势
由于随机选择特征时只考虑特征子集，因此样本特征维度很高时仍然高效
训练后，可以给出各个特征的重要性
由于采用了随机采样，方差小，泛化能力强
相比Boosting，实现简单

RF的缺点：在噪声较大的分类或者回归问题上会过拟合。

在本例中，因为有几个字段是连续性变量，模型容易过拟合，泛化能力下降，后续可以通过分箱，或者采用boosting学习器方法下的XGboost提升模型泛化能力