数据驱动分析实践七

市场响应模型

通过使用前面文章所建立的模型，我们可以进行客户分段、预测LTV等。我们也知道了我们的销量的大体情况。但是我们该如何使我们的销量增长呢？如果我们今天打折，我们期望的交易增长会有多少？
客户分段和A/B测试可以使我们尝试多个不同策略来产生销售增长。这是Growth Hacking的必要组件之一。你需要有想法并进行多次实验来挖掘增长机会。

把客户分位控制组(control group)和测试组(test group)可帮助我们计算增长的增益。请看下例：

上图中，目标组被分成3个组以回答下面的问题：

给一点赠与会增加转化吗
如果是的化，那种方式更好？打折或者买一送一。

假如结果是具备统计显著性的。打折看上去最好，因为它比不打折增加了3%的转化率，且比买一送一增加了1%的转化率。

当然这是世界的情况比这个要复杂很多。很可能一些优惠策略只对特定的群体有效。所以你可能需要对多种客户群体建立组合优惠策略。进一步说，转化率并不是你唯一需要考虑的因素，通常你也需要考虑成本并做出权衡选择。一般来说，这两者是负相关的。

现在，通过这个实验我们知道了哪一种优惠方法会获得更大的转化率。但是如何预测这一点呢？如果我们可以预测优惠政策的效果，我们就可以最大化收益且预知成本。
市场响应模型帮助我们对此类问题建立框架，通常有多种方法来建立此模型。我们可以将其分成两组：

如果你没有控制组，那么你就不能计算增长。在这种情况下，一般采用回归模型。
如果你有控制组，你可以建立一个针对群体和个体级别的响应模型。

from datetime import datetime, timedelta,date
import pandas as pd
%matplotlib inline
from sklearn.metrics import classification_report,confusion_matrix
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
from sklearn.cluster import KMeansimport chart_studio.plotly as py
import plotly.offline as pyoff
import plotly.graph_objs as goimport sklearn
import xgboost as xgb
from sklearn.model_selection import KFold, cross_val_score, train_test_split#initate plotly
pyoff.init_notebook_mode()#function for ordering cluster numbers for given criteria
def order_cluster(cluster_field_name, target_field_name,df,ascending):new_cluster_field_name = 'new_' + cluster_field_namedf_new = df.groupby(cluster_field_name)[target_field_name].mean().reset_index()df_new = df_new.sort_values(by=target_field_name,ascending=ascending).reset_index(drop=True)df_new['index'] = df_new.indexdf_final = pd.merge(df,df_new[[cluster_field_name,'index']], on=cluster_field_name)df_final = df_final.drop([cluster_field_name],axis=1)df_final = df_final.rename(columns={"index":cluster_field_name})return df_final

 #import the data
df_data = pd.read_csv('response_data.csv')#print first 10 rows
df_data.head(10)

数据定义如下：

recency: 上次购买到现在的月数
history: 历史购买价值
used_discount/used_bogo：客户是否使用过折扣或者买一送一
zip_code：区域编码，可以是Surburban/Rural/Urban
s_referal：客户是否是从其他渠道推荐而来
channel：用户所使用的渠道
offer：给予用户的优惠
我们要建立一个二分类模型来为所有用户计算转化概率，步骤如下：

建立提升公式

探索式数据分析和特征工程
为转化概率评分
在测试集上观察结果

Uplift 公式

首先，我们需要构造一个函数来计算我们的提升。为了简化问题，我们假设每一个转化会带来一个订单，且订单价值为25$。

我们将计算三种提升：

转化提升：测试组的转化率 - 控制组的转化率
订单提升：转化提升 * 测试组的转化客户的个数
收入提升：订单提升 * 平均每单价值

def calc_uplift(df):#assigning 25$ to the average order valueavg_order_value = 25#calculate conversions for each offer typebase_conv = df[df.offer == 'No Offer']['conversion'].mean()disc_conv = df[df.offer == 'Discount']['conversion'].mean()bogo_conv = df[df.offer == 'Buy One Get One']['conversion'].mean()#calculate conversion uplift for discount and bogodisc_conv_uplift = disc_conv - base_convbogo_conv_uplift = bogo_conv - base_conv#calculate order upliftdisc_order_uplift = disc_conv_uplift * len(df[df.offer == 'Discount']['conversion'])bogo_order_uplift = bogo_conv_uplift * len(df[df.offer == 'Buy One Get One']['conversion'])#calculate revenue upliftdisc_rev_uplift = disc_order_uplift * avg_order_valuebogo_rev_uplift = bogo_order_uplift * avg_order_valueprint('Discount Conversion Uplift: {0}%'.format(np.round(disc_conv_uplift*100,2)))print('Discount Order Uplift: {0}'.format(np.round(disc_order_uplift,2)))print('Discount Revenue Uplift: ${0}\n'.format(np.round(disc_rev_uplift,2)))print('-------------- \n')print('BOGO Conversion Uplift: {0}%'.format(np.round(bogo_conv_uplift*100,2)))print('BOGO Order Uplift: {0}'.format(np.round(bogo_order_uplift,2)))print('BOGO Revenue Uplift: ${0}'.format(np.round(bogo_rev_uplift,2)))

calc_uplift(df_data)

从结果上看，如果我们想要更多的转化率，那么折扣是一个不错的选择。

EDA & 特征工程

1 - Recency

理想情况下，当recency上升的时候转化率应该下降，因为不活跃的客户再一次购买的可能性会下降。

df_plot = df_data.groupby('recency').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['recency'],y=df_plot['conversion'],)
]
plot_layout = go.Layout(xaxis={"type": "category"},title='Recency vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

整体看来是符合预期的。但是从11个月开始的recency，对应的转化率又增长了。这个现象的原因有很多，可能是客户总量变少了，也可能是折扣起的作用。

2 - History

我们创建历史的聚类并观察其影响。

kmeans = KMeans(n_clusters=5)
kmeans.fit(df_data[['history']])
df_data['history_cluster'] = kmeans.predict(df_data[['history']])#order the cluster numbers
df_data = order_cluster('history_cluster', 'history',df_data,True)#print how the clusters look like
df_data.groupby('history_cluster').agg({'history':['mean','min','max'], 'conversion':['count', 'mean']})#plot the conversion by each cluster
df_plot = df_data.groupby('history_cluster').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['history_cluster'],y=df_plot['conversion'],)
]
plot_layout = go.Layout(xaxis={"type": "category"},title='History vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

df_data.groupby('history_cluster').agg({'history':['mean','min','max'],'conversion':['count','mean']})

具有较高的历史价值的客户更有可能转化。

3. 已使用折扣或买一送一

df_data.groupby(['used_discount','used_bogo','offer']).agg({'conversion':'mean'})

之前有使用折扣和优惠策略的客户有更高的转化率。

4. zip code

df_plot = df_data.groupby('zip_code').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['zip_code'],y=df_plot['conversion'],marker=dict(color=['green', 'blue', 'orange']))
]
plot_layout = go.Layout(xaxis={"type": "category"},title='Zip Code vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

来自Rural的客户的转化率更高。

5 - Referal

df_plot = df_data.groupby('is_referral').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['is_referral'],y=df_plot['conversion'],marker=dict(color=['green', 'blue', 'orange']))
]
plot_layout = go.Layout(xaxis={"type": "category"},title='Referral vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

由其他渠道推荐或者引流来的客户的转化率更低。

6 - Channe

df_plot = df_data.groupby('channel').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['channel'],y=df_plot['conversion'],marker=dict(color=['green', 'blue', 'orange']))
]
plot_layout = go.Layout(xaxis={"type": "category"},title='Channel vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

多渠道的客户的转化率更高，使用多于一个渠道的客户更加投入。

7 - 优惠策略

df_plot = df_data.groupby('offer').conversion.mean().reset_index()
plot_data = [go.Bar(x=df_plot['offer'],y=df_plot['conversion'],marker=dict(color=['green', 'blue', 'orange']))
]
plot_layout = go.Layout(xaxis={"type": "category"},title='Offer vs Conversion',plot_bgcolor  = 'rgb(243,243,243)',paper_bgcolor  = 'rgb(243,243,243)',)
fig = go.Figure(data=plot_data, layout=plot_layout)
pyoff.iplot(fig)

df_model = df_data.copy()
df_model = pd.get_dummies(df_model)

转化概率评分

#create feature set and labels
X = df_model.drop(['conversion'],axis=1)
y = df_model.conversion

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=56)

xgb_model = xgb.XGBClassifier().fit(X_train, y_train)
X_test['proba'] = xgb_model.predict_proba(X_test)[:,1]

X_test = pd.concat([X_test,y_test],axis=1)

X_test.head(5)

可以看到，我们的模型为每一个客户分配了一个转化概率。但是我们需要理解我们的模型是否能工作。

测试集结果

假设打折、优惠和控制组的概率差近似于其转化率。我们需要观察测试集看看是否如此。

计算一下对于折扣的实际订单增量

real_disc_uptick = len(X_test)*(X_test[X_test['offer_Discount'] == 1].conversion.mean() - X_test[X_test['offer_No Offer'] == 1].conversion.mean())
pred_disc_uptick = len(X_test)*(X_test[X_test['offer_Discount'] == 1].proba.mean() - X_test[X_test['offer_No Offer'] == 1].proba.mean())

print("Real Discount Uptick - Order : {}, Revenue: {}".format(real_disc_uptick,real_disc_uptick*25))
print("Predicted Discount Uptick - Order : {}, Revenue: {}".format(pred_disc_uptick,pred_disc_uptick*25))

Real Discount Uptick - Order : 911.7049280910762, Revenue: 22792.623202276907
Predicted Discount Uptick - Order : 952.8169631958008, Revenue: 23820.42407989502

从上面的数据看来结果还是不错的。
我们对优惠做同样的检查

real_bogo_uptick = len(X_test)*(X_test[X_test['offer_Buy One Get One'] == 1].conversion.mean() - X_test[X_test['offer_No Offer'] == 1].conversion.mean())
pred_bogo_uptick = len(X_test)*(X_test[X_test['offer_Buy One Get One'] == 1].proba.mean() - X_test[X_test['offer_No Offer'] == 1].proba.mean())

print("Real bogo Uptick - Order : {}, Revenue: {}".format(real_bogo_uptick,real_bogo_uptick*25))
print("Predicted bogo Uptick - Order : {}, Revenue: {}".format(pred_bogo_uptick,pred_bogo_uptick*25))

Real bogo Uptick - Order : 497.4114165117516, Revenue: 12435.28541279379
Predicted bogo Uptick - Order : 601.2996673583984, Revenue: 15032.491683959961

这个效果一般，可能模型还需要进一步优化。

计算转换概率可以在很多不同的地方帮助到我们。我们已经预测了不同类型的优惠策略给我们带来的回报，它可以帮助我们来找出哪些客户可以使我们获得最大的提升。下一节我们将来构建我们自己的提升模型。

未完待续，…