Spark之functions

前言

Spark源码中的org.apache.spark.sql包下有一个叫做functions.scala的文件，该文件包含了大量的内置函数，尤其是在agg中会广泛使用（不仅限于此）

这些内置函数可以极大的简化spark数据分析，到Spark2.2已经拥有307个函数，只有通过大量实践才能熟练掌握

函数分类

UDF自定义函数、聚合函数、日期时间函数、排序函数、非聚合函数、数学函数、窗口函数、字符串函数、集合函数、其他函数等，如下所示。

Functions函数功能可用于DataFrame的操作。
@groupname udf_funcs UDF自定义函数
@groupname agg_funcs聚合函数
@groupname datetime_funcs日期时间函数
@groupname sort_funcs排序功能
@groupname normal_funcs非聚合函数
@groupname math_funcs数学函数
@groupname misc_funcs其他功能
@groupname window_funcs窗口函数
@groupname string_funcs字符串函数
@groupname collection_funcs集合函数功能
@groupname DataFrames不分组支持功能
@since自从1.3.0

API汇总

后记

看到这么多函数，是不是很happy啊，哈哈，赶紧登陆官网慢慢享受吧

Spark之functions相关推荐

org.apache.spark.sql.functions汇总
org.apache.spark.sql.functions是一个Object,提供了约两百多个函数. 大部分函数与Hive的差不多. 除UDF函数,均可在spark-sql中直接使用. 经过impo ...
Spark SQL functions
入口 ./sql/core/src/main/scala/org/apache/spark/sql/functions.scala Round HALF_UP.HALF_DOWN和HALF_EVEN区 ...
2021年大数据Spark（五十三）：Structured Streaming Deduplication
目录 Streaming Deduplication 介绍需求代码演示 Streaming Deduplication 介绍在实时流式应用中,最典型的应用场景:网站UV统计. 1: ...
2021年大数据Spark（五十二）：Structured Streaming 事件时间窗口分析
目录事件时间窗口分析时间概念 event-time 延迟数据处理延迟数据 Watermarking 水位官方案例演示事件 ...
2021年大数据Spark（五十一）：Structured Streaming 物联网设备数据分析
目录物联网设备数据分析设备监控数据准备创建Topic 模拟数据 SQL风格 DSL风格物联网设备数据分析在 ...
2021年大数据Spark（五十）：Structured Streaming 案例一实时数据ETL架构
目录案例一实时数据ETL架构准备主题模拟基站日志数据实时增量ETL 案例一实时数据ETL架构在实际实时流式项目中,无论使用Storm.SparkStreami ...
2021年大数据Spark（四十八）：Structured Streaming 输出终端/位置
目录输出终端/位置文件接收器 Memory Sink Foreach和ForeachBatch Sink Foreach ForeachBatch 代码演 ...
2021年大数据Spark（四十五）：Structured Streaming Sources 输入源
目录 Sources 输入源 Socket数据源-入门案例需求编程实现文件数据源-了解需求代码实现 Rate source-了解 So ...
2021年大数据Spark（二十九）：SparkSQL案例四开窗函数
目录案例四:开窗函数概述介绍聚合函数和开窗函数开窗函数分类聚合开窗函数排序开窗函数 ROW_NUMBER顺序排序 RANK跳跃排序 DENSE ...

Spark之functions

前言

函数分类

API汇总

后记

Spark之functions相关推荐

最新文章

热门文章