比赛简介：

任务1：推荐最佳交通方式

任务描述：给定用户的一些信息，预测用户使用何种最佳交通方式由O(起点)到D(终点）

数据描述：

profiles.csv：

属性pid:用户的ID；

属性p0~p65:用户的个人信息（如身高，年龄，职业等）

训练集(2018.10.1~2018.11.30两个月的数据)：

train_clicks.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性click_time: 用户点击某种方案的时间；

属性click_mode:用户选择了某种出行方式(****这是训练集的label标签****)

train_plans.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性plan_time:用户准备查询如何去目的点的时间；

属性plans:这个信息是基于百度地图推荐的方案（包括距离，需要的时间，价格，交通方式），注：交通方式可能是某些组合，如taxi-bus

train_queries.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性pid:用户的ID；

属性req_time:和plan_time几乎一样，用户查询的时间(并不是完全一样的,有的有一些时间差,猜测可能是手机的网速等问题)；

属性o:起点的经纬度；

属性d:终点的经纬度

 测试集(2018.12.1~2018.12.7七天的数据)：

test_plans.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性plan_time:用户准备查询如何去目的点的时间；

属性plans:这个信息是基于百度地图推荐的方案（包括距离，需要的时间，价格，交通方式），注：交通方式可能是某些组合，如taxi-bus

test_queries.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性pid:用户的ID；

属性req_time:和plan_time几乎一样，用户查询的时间(并不是完全一样的,有的有一些时间差,猜测可能是手机的网速等问题)；

属性o:起点的经纬度；

属性d:终点的经纬度

任务就是根据训练集的数据来训练模型，然后将测试集的特征放入模型，预测每个用户出行的交通选择方式(即训练集中的click_mode属性)

开源代码如下：

2.1  工具包导入

import numpy as npimport pandas as pdimport lightgbm as lgbimport os

import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inline

import warningswarnings.filterwarnings("ignore")

from tqdm import tqdmimport json from sklearn.metrics import f1_scorefrom sklearn.model_selection import StratifiedKFoldfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.decomposition import TruncatedSVDfrom itertools import productimport ast

2.2  数据读取

path = 'E:/data/data_set_phase1/'train_queries = pd.read_csv(path + 'train_queries.csv', parse_dates=['req_time'])train_plans = pd.read_csv(path + 'train_plans.csv', parse_dates=['plan_time'])train_clicks = pd.read_csv(path + 'train_clicks.csv')profiles = pd.read_csv(path + 'profiles.csv') test_queries = pd.read_csv(path + 'test_queries.csv', parse_dates=['req_time'])test_plans = pd.read_csv(path + 'test_plans.csv', parse_dates=['plan_time'])

3 特征工程

• 此处我们对所有表格进行合并,这样方便提取表格之间的交互特征,注意因为初赛的数据相对较少,所以我们才合在一起,不然尽量不要做,这样会给机器的内存带来非常大的负担.

3.1  数据集合并

train = train_queries.merge(train_plans, 'left', ['sid'])test = test_queries.merge(test_plans, 'left', ['sid'])train = train.merge(train_clicks, 'left', ['sid'])train['click_mode'] = train['click_mode'].fillna(0).astype(int)data = pd.concat([train, test], ignore_index=True)data = data.merge(profiles, 'left', ['pid']) 

3.2  od(经纬度)特征

• 因为经纬度是组合字符串特征,此处我们对其进行还原,因为o,d本身是有相对大小关系的,我们不再对其进行编码。

data['o_lng'] = data['o'].apply(lambda x: float(x.split(',')[0]))data['o_lat'] = data['o'].apply(lambda x: float(x.split(',')[1]))data['d_lng'] = data['d'].apply(lambda x: float(x.split(',')[0]))data['d_lat'] = data['d'].apply(lambda x: float(x.split(',')[1])) 

3.3  plan_time & req_time特征

3.3.1  原始特征

时间信息会影响我们的决定,比如大晚上从A地到B地其实很多人是不会选择步行的,更多的会选择打车之类的,因为太黑了,怕迷路等;而如果是早高峰,而且离公司就几公里的情况, 那么一般就不会打车，因为特别会容易堵车,这个时候大家更喜欢骑自行车.

• 此处我们提取weekday来标志是周几; hour来标志是当日几点.

time_feature = []for i in ['req_time']:data[i + '_hour'] = data[i].dt.hourdata[i + '_weekday'] = data[i].dt.weekdaytime_feature.append(i + '_hour')time_feature.append(i + '_weekday') 

3.3.2  plan_time & req_time差值特征

我们做EDA的时候发现plan_time和req_time并不是完全一样的,有的有一些时间差,我们猜测可能是手机的网速等问题,所以我们做差值来标志用户的手机信号等信息.

data['time_diff'] = data['plan_time'].astype(int) - data['req_time'].astype(int)time_feature.append('time_diff')

3.4  plans特征

plans这个数据集包含的信息非常多,因为这个信息是基于百度地图推荐的。所以毫无疑问是本次比赛的关键之一,我们对其进行展开并提取相关的特征。

此处我发现kdd已经有大佬开源了plans的特征提取关键代码,我感觉很不错,此处我便直接引用,至于其他的特征欢迎去作者的Github下载.

此处关于plans的特征主要可以归纳为如下的特征:

1. 百度地图推荐的距离的统计值(mean,min,max,std)

2. 各种交通方式的价格的统计值(mean,min,max,std)

3. 各种交通方式的时间的统计值(mean,min,max,std)

4. 一些其他的特征,最大距离的交通方式,最高价格的交通方式,最短时间的交通方式等.

data['plans_json'] = data['plans'].fillna('[]').apply(lambda x: json.loads(x))

def gen_plan_feas(data):n                                           = data.shape[0]mode_list_feas = np.zeros((n, 12))max_dist, min_dist, mean_dist, std_dist = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_price, min_price, mean_price, std_price = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_eta, min_eta, mean_eta, std_eta = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

min_dist_mode, max_dist_mode, min_price_mode, max_price_mode, min_eta_mode, max_eta_mode, first_mode = \np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

mode_texts = []for i, plan in tqdm(enumerate(data['plans_json'].values)):if len(plan) == 0:cur_plan_list = []else:cur_plan_list = planif len(cur_plan_list) == 0:mode_list_feas[i, 0] = 1first_mode[i] = 0max_dist[i] = -1min_dist[i] = -1mean_dist[i] = -1std_dist[i] = -1max_price[i] = -1min_price[i] = -1mean_price[i] = -1std_price[i] = -1max_eta[i] = -1min_eta[i] = -1mean_eta[i] = -1std_eta[i] = -1min_dist_mode[i] = -1max_dist_mode[i] = -1min_price_mode[i] = -1max_price_mode[i] = -1min_eta_mode[i] = -1max_eta_mode[i] = -1mode_texts.append('word_null')else:distance_list = []price_list = []eta_list = []mode_list = []for tmp_dit in cur_plan_list:distance_list.append(int(tmp_dit['distance']))if tmp_dit['price'] == '':price_list.append(0)else:price_list.append(int(tmp_dit['price']))eta_list