阿里天池大数据竞赛（一）用ODPS提取特征

//2015年4月30日

提取特征之所以难，是因为我们写出的sql语句往往只能提取一个特征。

而在ODPS上却不一样，一条语句可以提取很多特征。

如提取最近1、2、3、4天四种行为的数量

重点是decode函数，具体用法详见ODPS-sql文档

<span style="white-space:pre">      </span>int days[]={0,-1,-2,-3};String sql="create table if not exists  user_set1 as select user_id";featurenum=0;for(int i=1;i<5;i++){for(int j:days){String date2=processdate(date, j);sql+=",\t sum(decode(behavior_type="+i+" and mydate=\""+date2+"\",true,1,0)) as feature"+featurenum++ +"\t";}sql+=",\t sum(decode(behavior_type="+i+" and mydate<=\""+date+"\" and mydate>\""+processdate(date, -4)+"\",true,1,0)) as feature"+featurenum++ +"\t";sql+=",\t sum(decode(behavior_type="+i+" and mydate<=\""+date+"\" and mydate>\""+processdate(date, -7)+"\",true,1,0)) as feature"+featurenum++ +"\t";sql+=",\t sum(decode(behavior_type="+i+" and mydate<=\""+date+"\" and mydate>\""+processdate(date, -14)+"\",true,1,0)) as feature"+featurenum++ +"\t";sql+=",\t sum(decode(behavior_type="+i+" and mydate<=\""+date+"\",true,1,0)) as feature"+featurenum++ +"\t";}sql+="from "+table+" where mydate<= \""+date+"\" group by user_id;";

阿里天池大数据竞赛（一）用ODPS提取特征相关推荐

阿里天池大数据竞赛——口碑商家客流量预测 A2
阿里天池大赛koubeiyuce1 2017年二月份,天池大数据比赛,口碑商家客流量预测,参赛地址及详情: https://tianchi.shuju.aliyun.com/competition/i ...
9个比赛7进top10,阿里天池大数据竞赛思路分享
向AI转型的程序员都关注了这个号
阿里天池大数据竞赛第一名，如何用AI检测肺癌
向AI转型的程序员都关注了这个号
阿里巴巴天池大数据竞赛黄金联赛全面开战，全球同步报名，只为寻找最聪明的你！...
阿里巴巴天池大数据竞赛黄金联赛全面开战,全球同步报名,只为寻找最聪明的你! 天池大数据竞赛是由阿里巴巴集团主办,面向全球新生代力量的高端算法竞赛.通过开放海量数据和"天池& ...
AI比赛-NER：“万创杯”中医药天池大数据竞赛——中药说明书实体识别挑战
大赛概况疫情催化下,人工智能正在持续助力中医药传承创新加速发展,其中中医用药知识体系沉淀挖掘是一个基础工作.通过挖掘中药说明书构建中药合理用药的知识图谱,将为中医规范诊疗奠定较好基础.挑战旨在通过抽 ...
【TIANCHI】天池大数据竞赛（学习赛）--- 淘宝用户购物行为数据可视化分析
目录前言一.数据集的来源和各个字段的意义二.数据分析 1.引入库 2.读入数据 3.查看数据数量级 4.PV(Page View)/UV访问量 5.漏斗模型 6.用户购买商品的频次分析. 7.A ...
天池大数据竞赛第一名，上海交通大学人工智能实验室如何用AI定位肺结节
癌症,犹如黑暗中的魔鬼,带给人们恐惧与绝望.而肺癌,在我国作为发病率.死亡率最高的一类癌症,伤害着无数家庭.在我国每年都有近60万人死于肺癌.然而,癌症的死亡率与首次发现癌症的时期紧密相关,早期肺结节 ...
阿里天池大数据之移动推荐算法大赛总结及代码全公布
移动推荐算法比赛已经结束了一个多星期了,现在写一篇文章来回顾一下自己的参赛历程. 首先,对不了解这个比赛的同学们介绍一下这个比赛(引用自官网): 赛题简介 2014年是阿里巴巴集团移动电商业务快速发展 ...
利用hive完成阿里天池大数据音乐预测比赛数据处理工作
hive shell 创建外表,指定目录 CREATE EXTERNAL TABLE IF NOT EXISTS songs2 ( sid string, aid string, ptime stri ...

阿里天池大数据竞赛（一）用ODPS提取特征

阿里天池大数据竞赛（一）用ODPS提取特征相关推荐

最新文章

热门文章