学习心得

（1）本次task学习了推荐系统中特征处理的主要方式，并利用 Spark 实践了类别型特征和数值型特征的主要处理方法，深度学习和传统机器学习的区别并不大，TensorFlow、PyTorch 等深度学习平台也提供了类似的特征处理函数。

（2）其中几个特征处理API：
Normalizer，是范式归一化操作，保证归一化之后范式为1
StandardScaler，是标准差归一化操作，保证归一化之后均值为0标准差为1
RobustScaler，是使用分位数进行鲁棒归一化操作，可以有效减少异常值的干扰
MinMaxScaler，是使用最大值和最小值进行归一化操作。

（3）Spark 的计算过程：Stage 内部数据高效并行计算，Stage 边界处进行消耗资源的 shuffle 操作或者最终的 reduce 操作。
注意：OneHotEncoderEstimator() 在PySpark 3.0.0及以上版本已经更改为 OneHotEncoder()。

数据部分
- flink流处理平台准实时数据处理：src/main/java/com/sparrowrecsys/nearline/flink
- spark大数据离线数据处理：
  - 数据处理

【王喆-推荐系统】(task2)用Spark进行特征处理（特征工程篇）相关推荐

【王喆-推荐系统】RS整体架构和流程
这个系列是学习王喆的[深度学习推荐系统实战]时做的笔记和自己的学习总结. 文章目录零.一个栗子的引入一.学习目标和要求 1.学习目标 2.前置要求二.推荐体系 1.基础架构篇 2.特征工程篇 3 ...
深入浅出推荐系统（七）：水源木本--特征工程
在介绍排序算法之前,我们先来谈一谈召回与排序模型的通用基础建设–特征工程.早期如LR.树模型等排序算法,对于特征十分依赖,尽管现在深度学习所谓端到端的训练大行其道,但特征仍然有着独特的作用:特征的选取 ...
【数据竞赛】Kaggle实战之特征工程篇-20大文本特征（下）
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--文本特征下半篇! 前言这是一个系列篇,后续我们会按照我们第一章中的框架进行更新,因为大家平时都较忙,不会定期更新,如有兴趣欢迎长期关注我们 ...
特征工程+特征组合+特征交叉+特征变换+生成特征
特征组合+特征交叉(交叉特征,组合特征,特征组合)+特征变换+生成特征+特征提取+ 特征缩放+特征选择+特征分箱+时间特征+特征关联+文本特征+特征采样特征关联---->corr() 特征分箱 ...
【数据竞赛】Kaggle实战之特征工程篇-20大文本特征（上）
作者:尘沙杰少.樱落.新峰.DOTA.谢嘉嘉特征工程--文本特征上半篇! 前言这是一个系列篇,后续我们会按照我们第一章中的框架进行更新,因为大家平时都较忙,不会定期更新,如有兴趣欢迎长期关注我们 ...
Spark性能优化指南：基础篇
前言在大数据计算领域,Spark已经成为了越来越流行.越来越受欢迎的计算平台之一.Spark的功能涵盖了大数据领域的离线批处理.SQL类处理.流式/实时计算.机器学习.图计算等各种不同类型的计算操作 ...
orb特征稠密特征_特征点的基本概念和如何找到它们
一.什么是特征点,它具有什么"特征"? 特征点.角点.关键点,这些概念虽然有细节上的不同,但是在我们这里统一称为"特征"点,也就是具有特征性质的点.在图像处理中 ...
如何应对大数据分析工程师面试Spark考察，看这一篇就够了
作者丨斌迪.HappyMint 来源丨大数据与人工智能(ID:ai-big-data) [导读]本篇文章为大家带来spark面试指南,文内会有两种题型,问答题和代码题,题目大部分来自于网络上,有小部分 ...
pcl点云特征提取法线估计 PFH FPFH NARF 惯量偏心矩 RoPs特征视点特征直方图VFH GASD特征
pcl点云特征提取法线估计 PFH FPFH NARF 惯量偏心矩 RoPs特征视点特征直方图VFH GASD特征博文末尾支持二维码赞赏哦 _ 如果要对一个三维点云进行描述,光有点云的位置是 ...
特征，特征维度，特征深度
关于神经网络中的特征,特征维度,特征深度的一些问题是不是卷积深度浅的叫低维特征? 不完全正确.卷积深度浅的特征通常被称为浅层特征,而低维特征通常是指特征的维度较低.在深度学习中,卷积深度通常指卷积神 ...

【王喆-推荐系统】(task2)用Spark进行特征处理（特征工程篇）

学习心得

【王喆-推荐系统】(task2)用Spark进行特征处理（特征工程篇）相关推荐

最新文章

热门文章