京东JData算法大赛——高潜用户购买意向预测

赛题分析

京东提供了用户在2016-02-01-2016-04-15时间区域内用户对商品的行为评价等数据，预测2016-04-16-2016-04-20时间区间内用户的下单情况。
赛题和阿里的第一个竞赛天猫推荐竞赛差不多，记得那时候也有个好心的同学提供了代码的框架，自己胡改一通还进了复赛，总之学习到很多东西。同学们可以找找当时的资料看看，不过现在大家的水平比那时候可高多了。
作为不严谨的效果一般的start code，其目的是为了帮助像我当时一样苦于无思路的朋友们入门这个竞赛，同时希望大家能够取得好成绩并且有所收获。
本文介绍如何用python实现：

如何构造训练集/测试集

时间滑动窗口特征的构造

评测代码

应用xgboost模型

类别特征处理

pandas处理特征非常好用，如下代码处理用户属性表，利用pd.get_dummies方法将类别特征进行编码。

def convert_age(age_str):if age_str == u'-1':return 0elif age_str == u'15岁以下':return 1elif age_str == u'16-25岁':return 2elif age_str == u'26-35岁':return 3elif age_str == u'36-45岁':return 4elif age_str == u'46-55岁':return 5elif age_str == u'56岁以上':return 6else:return -1def get_basic_user_feat():dump_path = './cache/basic_user.pkl'if os.path.exists(dump_path):user = pickle.load(open(dump_path))else:user = pd.read_csv(user_path, encoding='gbk')user['age'] = user['age'].map(convert_age)age_df = pd.get_dummies(user["age"], prefix="age")sex_df = pd.get_dummies(user["sex"], prefix="sex")user_lv_df = pd.get_dummies(user["user_lv_cd"], prefix="user_lv_cd")user = pd.concat([user['user_id'], age_df, sex_df, user_lv_df], axis=1)pickle.dump(user, open(dump_path, 'w'))return user

滑动窗口特征

赛题的要求是预测未来几天用户是否购买某个类目下的商品，经过简单的分析大概有30%的购买是有过行为记录的，所以我们的重点是预测在用户在有过行为记录下的购买情况。

我们现在有用户浏览/点击/购物车等信息的日志，比较简单特征提取方法有：

滑动窗口
时间衰减

在这个不严谨的start code中，我利用滑动窗口处理行为数据。可能有些人要问，什么叫滑动窗口，简单的可以这样理解。用户在购买商品之前，可能会对商品已经有过不同的行为，近期的行为影响较大，远期的行为影响较少。建立在这个逻辑下，我们可以统计不同时间区间内用户的行为累积。

示例代码: 统计时间区间内行为累积

def get_action_feat(start_date, end_date):dump_path = './cache/action_accumulate_%s_%s.pkl' % (start_date, end_date)if os.path.exists(dump_path):actions = pickle.load(open(dump_path))else:actions = get_actions(start_date, end_date)actions = actions[['user_id', 'sku_id', 'type']]df = pd.get_dummies(actions['type'], prefix='%s-%s-action' % (start_date, end_date))actions = pd.concat([actions, df], axis=1)  # type: pd.DataFrameactions = actions.groupby(['user_id', 'sku_id'], as_index=False).sum()del actions['type']pickle.dump(actions, open(dump_path, 'w'))return actions

统计距离预测开始日期前1、2、3、5、7、10、15、21、30的行为累积，别问我为什么这样设计，随手写的。

actions = None
for i in (1, 2, 3, 5, 7, 10, 15, 21, 30):start_days = datetime.strptime(train_end_date, '%Y-%m-%d') - timedelta(days=i)start_days = start_days.strftime('%Y-%m-%d')if actions is None:actions = get_action_feat(start_days, train_end_date)else:actions = pd.merge(actions, get_action_feat(start_days, train_end_date), how='left',on=['user_id', 'sku_id'])

累积特征

start_code中还用到了用户和商品的购买率等累积特征，代码就不贴了。克隆项目即可。

训练集/测试集划分

训练集: [t, t+30] [t+31, t+35]

测试集: [t+5, t+35] [t+36, t+40]

评测代码

由于线上一天只能提交两次，如果需要不断的优化效果，就需要本地的评测代码。

def report(pred, label):actions = labelresult = pred# 所有用户商品对all_user_item_pair = actions['user_id'].map(str) + '-' + actions['sku_id'].map(str)all_user_item_pair = np.array(all_user_item_pair)# 所有购买用户all_user_set = actions['user_id'].unique()# 所有品类中预测购买的用户all_user_test_set = result['user_id'].unique()all_user_test_item_pair = result['user_id'].map(str) + '-' + result['sku_id'].map(str)all_user_test_item_pair = np.array(all_user_test_item_pair)# 计算所有用户购买评价指标pos, neg = 0,0for user_id in all_user_test_set:if user_id in all_user_set:pos += 1else:neg += 1all_user_acc = 1.0 * pos / ( pos + neg)all_user_recall = 1.0 * pos / len(all_user_set)print '所有用户中预测购买用户的准确率为 ' + str(all_user_acc)print '所有用户中预测购买用户的召回率' + str(all_user_recall)pos, neg = 0, 0for user_item_pair in all_user_test_item_pair:if user_item_pair in all_user_item_pair:pos += 1else:neg += 1all_item_acc = 1.0 * pos / ( pos + neg)all_item_recall = 1.0 * pos / len(all_user_item_pair)print '所有用户中预测购买商品的准确率为 ' + str(all_item_acc)print '所有用户中预测购买商品的召回率' + str(all_item_recall)F11 = 6.0 * all_user_recall * all_user_acc / (5.0 * all_user_recall + all_user_acc)F12 = 5.0 * all_item_acc * all_item_recall / (2.0 * all_item_recall + 3 * all_item_acc)score = 0.4 * F11 + 0.6 * F12print 'F11=' + str(F11)print 'F12=' + str(F12)print 'score=' + str(score)

xgboost模型

为什么选择xgboost模型，因为树模型对特征处理的要求不高而且效果也相当不错，不管是类别特征，连续特征效果都很好。在Kaggle竞赛中，该模型通常能取得较好成绩。

user_index, training_data, label = make_train_set(train_start_date, train_end_date, test_start_date, test_end_date)
X_train, X_test, y_train, y_test = train_test_split(training_data.values, label.values, test_size=0.2, random_state=0)    dtrain=xgb.DMatrix(X_train, label=y_train)
dtest=xgb.DMatrix(X_test, label=y_test)
param = {'max_depth': 6, 'eta': 0.05, 'silent': 1, 'objective': 'binary:logistic'}
num_round = 309
param['nthread'] = 4
plst = param.items()
plst += [('eval_metric', 'logloss')]
evallist = [(dtest, 'eval'), (dtrain, 'train')]
bst=xgb.train(plst, dtrain, num_round, evallist)
sub_user_index, sub_trainning_data = make_test_set(sub_start_date, sub_end_date,)
sub_trainning_data = xgb.DMatrix(sub_trainning_data.values)
y = bst.predict(sub_trainning_data)

全部代码链接：https://github.com/foursking1/jd

数据官网下载：http://www.datafountain.cn/projects/jdata/