机器学习实战---入门篇

本文主要通过《生活大实惠：O2O优惠券使用预测》项目，完成用户是否会在规定时间内使用相应优惠券预测，从理论分析到实操，带大家熟悉下机器学习的整个流程。

生活大实惠：O2O优惠券使用预测

背景：随着移动设备的完善和普及，移动互联网+各行各业进入了高速发展阶段，这其中以O2O（Online to Offline）消费最为吸引眼球。据不完全统计，O2O行业估值上亿的创业公司至少有10家，也不乏百亿巨头的身影。O2O行业天然关联数亿消费者，各类APP每天记录了超过百亿条用户行为和位置记录，因而成为大数据科研和商业化运营的最佳结合点之一。以优惠券盘活老用户或吸引新客户进店消费是O2O的一种重要营销方式。然而随机投放的优惠券对多数用户造成无意义的干扰。对商家而言，滥发的优惠券可能降低品牌声誉，同时难以估算营销成本。个性化投放是提高优惠券核销率的重要技术，它可以让具有一定偏好的消费者得到真正的实惠，同时赋予商家更强的营销能力。

机器学习的基本步骤

完成项目预测主要分为如下6步，本文也将使用python按照这6步进行分析

明确问题：明确问题属于分类还是回归
理解数据：数据获取、数据导入、查看数据
数据清洗：数据预处理、特征提取、特征选择
构建模型：拆分训练集和数据集、算法选择
模型评估：模型准确率、模型召回率、损失函数
执行预测：预测结果

明确问题

从机器学习模型的角度来说，这是一个典型的分类问题，其过程就是根据已有训练集进行训练，得到的模型再对测试进行测试并分类。

理解数据

本项目总提供四个文件，分别是：

ccf_offline_stage1_test_revised.csv：线下测试集
ccf_offline_stage1_train.csv：线下训练集
ccf_online_stage1_train.csv：线上训练集
sample_submission.csv：预测结果提交格式

由于本文主要是完成整体流程搭建，涉及字段细节这里就不一一介绍

导入数据：

import numpy as np
import pandas as pd#通过pandas工具,导入csv数据
train_online = pd.read_csv(‘ccf_online_stage1_train.csv‘)
train_offline = pd.read_csv(‘ccf_offline_stage1_train.csv‘)
test = pd.read_csv(‘ccf_offline_stage1_test_revised.csv‘)#查看前5条数据
dfoff.head(5)

数据清洗

#定义折扣率计算方法
def convertRate(row):"""Convert discount to rate"""if row == 'null':return 1.0elif ':' in row:rows = row.split(':')return 1.0 - float(rows[1])/float(rows[0])else:return float(row)#定义标签列
def label(row):if row['Date_received'] == 'null':return -1if row['Date'] != 'null':td = pd.to_datetime(row['Date'], format='%Y%m%d') -pd.to_datetime(row['Date_received'], format='%Y%m%d')if td <= pd.Timedelta(15, 'D'):return 1return 0#定义数据处理方法，将折扣率及标签列添加到预测数据中
def processData(df):df['discount_rate'] = df['Discount_rate'].apply(convertRate)df['label'] = df['label'].apply(label)return df#执行调用
dfoff = processData(dfoff)

构建模型

# 拆分训练集和数据集
df = dfoff[dfoff['label'] != -1].copy()
train = df[(df['Date_received'] < '20160516')].copy()
valid = df[(df['Date_received'] >= '20160516') & (df['Date_received'] <= '20160615')].copy()# 模型特征获取
original_feature = ['discount_rate','discount_type','discount_man', 'discount_jian','distance', 'weekday', 'weekday_type']# 初始化SGDClassifier模型
model = SGDClassifier(#lambda:loss='log',penalty='elasticnet',fit_intercept=True,max_iter=100,shuffle=True,alpha = 0.01,l1_ratio = 0.01,n_jobs=1,class_weight=None
)# 数据填充
model.fit(train[original_feature], train['label'])

模型评估

# 预测以及结果评价
print(model.score(valid[original_feature], valid['label']))
# 0.909452622077# AUC,完美的AUC等于1,纯随机分类的AUC等于0.5
from sklearn.metrics imporrt oc_auc_sccore
roc_auc_score(y_train,score)# 存储模型
print("---save model---")
with open('1_model.pkl', 'wb') as f:pickle.dump(model, f)

执行预测

#加载模型
with open('1_model.pkl', 'rb') as f:model = pickle.load(f)#执行预测，获取预测结果
y_test_pred = model.predict_proba(dftest[original_feature])
dftest1 = dftest[['User_id','Coupon_id','Date_received']].copy()
dftest1['label'] = y_test_pred[:,1]#保存数据至CSV
dftest1.to_csv('submit1.csv', index=False, header=False)

小结

拿到计算后的csv，就可以去提交作业啦。

项目地址：https://tianchi.aliyun.com/competition/entrance/231593/information