特征工程－统计数据特征

情景：在机器学习中构建模型更重要的是特征，特征又分为很多种，原始基本特征、统计特征、偏好特征等等，今天想记录一下统计特征，假如给你一个需求让你统计某一天内这些人一天内看过别人朋友圈的次数，估计你会统计，但是让你统计这一天内的人在三天、七天、十五天、三十天内看过别人朋友圈的数量作为几个特征，想过怎么弄么，给大家分享一个我做过的方法

1、把每一天的数据，例如这一天这些人看过别人朋友圈多少次

2、建立hive表，按天分区

3、把每一天的数据load到hive中，其它的办法也可以

4、之后按照正常的统计逻辑操作就可以啦，分享一下自己写的部分代码吧，写的有点low~

object ownLookownphoto {def main(args: Array[String]): Unit = {val date = List("20190601","20190602","20190603","20190604","20190605")for(item <- date){merge(item)}}def merge(date:String): Unit ={val statis_feature = acquire_statis_feature(date)val next_date = acquireDay(date,1)statis_feature.write.format("csv").option("header","true").save("file_path")}def acquire_statis_feature(date:String): DataFrame ={val result_3 = acquire_day_feature(date,3)val result_7 = acquire_day_feature(date,7)val result_15 = acquire_day_feature(date,15)val result_30 = acquire_day_feature(date,30)val result = result_3.join(result_7,Seq("uid"),"outer").join(result_15,Seq("uid"),"outer").join(result_30,Seq("uid"),"outer")result}def acquireDay(dayStr:String,num:Int): String ={val sdf: SimpleDateFormat = new SimpleDateFormat("yyyyMMdd")val date = sdf.parse(dayStr)val cal: Calendar = Calendar.getInstance()cal.setTime(date)cal.add(Calendar.DATE, num)sdf.format(cal.getTime)}def acquire_day_feature(date:String,inter:Int): DataFrame ={val last_day = acquireDay(date,-inter)val data = spark.sql(s"select * from table_name where day > $last_day and day < $date")val statisresult = data.groupBy("uid").sum("count").withColumnRenamed("sum(count)",s"count_$inter")statisresult}}

特征工程－统计数据特征相关推荐

特征工程之数据预处理（下）
机器学习入门系列(2)–如何构建一个完整的机器学习项目,第四篇! 该系列的前三篇文章: 机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法特征工程之 ...
特征工程之数据预处理（上）
机器学习入门系列(2)–如何构建一个完整的机器学习项目,第三篇! 该系列的前两篇文章: 机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法分别介绍了 ...
机器学习笔记六——特征工程之数据预处理
特征工程之数据预处理 1. 处理缺失值 2. 处理异常值 2.1 异常值检测 2.2异常值处理 3.离散特征的连续化处理 4.连续特征的离散化处理 5. 处理类别不平衡问题 6. 图片数据扩充数据预 ...
机器学习 | 特征工程（数据预处理、特征抽取）
所谓特征工程即模型搭建之前进行的数据预处理和特征提取.有时人们常常好高骛远,数据都没处理好就开始折腾各种算法,从第一开始就有问题,那岂不是还没开始就已经结束了.所以说啊,不积跬步无以至千里,生活中的每 ...
特征工程之数据分箱、Nominal特征编码、Ordinal分类特征编码、特征交叉组合、特征差分
特征工程之数据分箱.Nominal特征编码.Ordinal分类特征编码.特征交叉组合.特征差分目录
「机器学习速成」数据预处理，特征工程，良好特征的特点
https://www.toutiao.com/a6703863693408469516/ 大家好,今天我们学习[机器学习速成]之数据预处理,特征工程,良好特征的特点我们马上学三点 , 特征工程 ...
ML之FE：特征工程中数据缺失值填充的简介、方法、全部代码实现之详细攻略
ML之FE:特征工程中数据缺失值填充的简介.方法.全部代码实现之详细攻略目录特征工程中数据缺失值填充的简介.方法.经典案例
特征工程系列：特征筛选的原理与实现（下）
0x00 前言我们在<特征工程系列:特征筛选的原理与实现(上)>中介绍了特征选择的分类,并详细介绍了过滤式特征筛选的原理与实现.本篇继续介绍封装式和嵌入式特征筛选的原理与实现. 0x01 ...
机器学习-特征工程中的特征降维
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
特征工程系列：特征预处理（上）
特征工程系列:特征预处理(上) 关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问.动手达人,期待与大家一起交流探讨机器学习相关内容~ 0x00 前言数据和特征决定了机器学习的上限,而模 ...

特征工程－统计数据特征

特征工程－统计数据特征相关推荐

最新文章

热门文章