spark SQL自定义函数:

spark SQL 自定义函数:

自定义函数:

第一种: U D F (用户自定义函数)函数

特点: 一对一的关系,输入一个值以后输出一个值 (一进一出) 大部分的内置函数都是U D F函数

比如:substr()

第二种:U D A F 用户自定义聚合函数

特点:多进一出

比如SUM() count() avg()....

第三种:U D T F 用户自定义表生成函数

特点:一进多出(给一个数据,返回多行多列的数据)

比如:explode()爆炸函数

不管是spark SQL内置函数还是hive内置函数都属于这三种.

自定义函数的目的:

扩充函数,因为在进行业务分析的时候,有时候会用到某些功能,但是内置函数没有这些功能,于是进行自定义函数进行相关业务分析.

目前支持自定义函数:

spark sql : UDF UDAF

python语言只支持U D F 如果想要定义UDAF ,需要使用pandas U D F 实现

注意点:

在使用python 原生 spark sql 的UDF方案,整个执行效率不是很高,因为整个内部运算是一个来处理,一个个返回,这样会导致频繁进行序列化和反序列化操作从而影响效率.

后续改进操作: 采用jave 或者scala定义,然后python调用即可

目前主要版本:pandas的UDF函数解决,同时采用apache arrow内存数据结构框架来实现,提升整个执行效率.

spark sql定义UDF函数:

如何自定义UDF函数:

第一步:在python定义一个python函数

第二步:将这个函数注册到spark sql中:

方式一:

参数1:UDF函数的名字,此名字可以在后续SQL中使用

参数2:python的函数名称(需要将那个python的函数进行注册,写上这dui函数的名称)

参数3:python函数的返回值类型

UDF对象: 应用在DSL中使用

方式二:
udf对象 = F.udf(参数1,参数2)
参数说明:
参数1: python的函数名称(需要将那个python的函数进行注册,写上这个函数的名称)'

参数2: python函数的返回值类型

UDF对象:应用在DSL中使用

第三步: 在DSL中SQL中使用即可.

spark SQL自定义函数:相关推荐

Spark SQL自定义函数_第五章
1.自定义函数分类类似于hive当中的自定义函数, spark同样可以使用自定义函数来实现新的功能. spark中的自定义函数有如下3类 1.UDF(User-Defined-Function) 输 ...
Spark SQL自定义函数
文章目录自定义函数分类自定义UDF 自定义UDAF[了解] 自定义函数分类类似于hive当中的自定义函数, spark同样可以使用自定义函数来实现新的功能. spark中的自定义函数有如下3类 ...
spark sql自定义UDF函数-java语言
背景说明基于spark sql开发过程中,需要一些类似与官网提供的 int().from_json()等自定函数处理数据.下属将简单讲解通过java如何实现spark sql自定义函数官方UDF接 ...
MS SQL自定义函数IsPositiveInteger MS SQL自定义函数IsNumeric 水晶报表使用IEnumerableT数据源...
MS SQL自定义函数IsPositiveInteger 判断字符串是否为正整数,0开始的的数字不算. SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ...
sql 自定义函数示例_SQL滞后函数概述和示例
sql 自定义函数示例 In the article SQL Server Lead function overview and examples, we explored Lead functio ...
sql 自定义函数示例_SQL Server SESSION_CONTEXT（）函数与示例
sql 自定义函数示例 This article explores the SQL Server session context function, SESSION_CONTEXT() and pe ...
sql自定义函数学习思路_学习SQL：用户定义的函数
sql自定义函数学习思路 You can create several user-defined objects in a database. One of these is definitely u ...
Spark SQL 开窗函数row_number的使用
Spark SQL 开窗函数row_number的使用窗口函数 row_number即为分组取topN 参考文本: 型号 ...
sql 自定义函数示例_SQL Server Choose（）函数介绍和示例
sql 自定义函数示例 In the article, a CASE statement in SQL, we explored one of the important logical expre ...

spark SQL自定义函数:

spark SQL自定义函数:相关推荐

最新文章

热门文章