sprk sql自定义UDF函数

1 自定义UDF函数与scala定义函数的方式是一样的(也可以定义方法,调用的时候转换为函数即可)

2 自定义的函数需要注册后才能使用,注册的方式为 session.udf.register(自定义名称, 需注册的方法名). 其中Session为SparkSession对象.

自定义一个统计字符串长度的函数

object UserDefineFunction extends App {private val session: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()private val frame: DataFrame = session.read.json("file:///D:\\SparkSql\\data\\emp.json")//维护一张临时表frame.createTempView("emp")//定义一个自定义函数val getLength = (str: String) => str.length//注册自定义的函数,两个参数,可以重新起一个名字session.udf.register("myLength", getLength)val sql ="""|select ename,|myLength(ename)|from emp|""".stripMargin//执行sqlsession.sql(sql).show()session.stop()
}

自定义一个依据sal进行区分等级的函数

object UserDefineFunction2 extends App {private val session: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()//读取json数据转为DF对象private val frame: DataFrame = session.read.json("file:///D:\\git\\data\\emp.json")
//创建临时表frame.createTempView("emp")//注册自定义函数,第一个参数为自定义名称,第二个参数为函数,因为是方法,所以需要用_转为函数. 下划线与方法名之间用一个空格分隔session.udf.register("getLevel", getLevel _)
//调用自定义函数getLevelval sql ="""|select ename,|job,|sal,|getLevel(sal) as level|from emp|""".stripMargin
//执行sqlsession.sql(sql).show()session.stop()
//定义自定义方法,调用时候可以转为函数. 需要一个参数,调用时可以传入df的一个字段def getLevel(sal: Int): String = {if (sal > 3000) "level 1"else if (sal > 1500) "level 2"else "level 3"}
}

运行结果

+------+---------+------+-------+
| ename|      job|   sal|  level|
+------+---------+------+-------+
| SMITH|    CLERK| 800.0|level 3|
| ALLEN| SALESMAN|1600.5|level 2|
|  WARD| SALESMAN|1250.0|level 3|
| JONES|  MANAGER|2975.0|level 2|
|MARTIN| SALESMAN|1250.0|level 3|
| BLAKE|  MANAGER|2850.0|level 2|
| CLARK|  MANAGER|2450.0|level 2|
| SCOTT|  ANALYST|3000.0|level 2|
|  KING|PRESIDENT|5000.0|level 1|
|TURNER| SALESMAN|1500.0|level 3|
| ADAMS|    CLERK|1100.0|level 3|
| JAMES|    CLERK| 950.0|level 3|
|  FORD|  ANALYST|3000.0|level 2|
|MILLER|    CLERK|1300.0|level 3|
+------+---------+------+-------+

sprk sql自定义UDF函数相关推荐

spark sql自定义UDF函数-java语言
背景说明基于spark sql开发过程中,需要一些类似与官网提供的 int().from_json()等自定函数处理数据.下属将简单讲解通过java如何实现spark sql自定义函数官方UDF接 ...
java调mongodb自定义函数,自定义UDF函数，从hive保存到mongodb
(可以通过idea工具调试UDF函数,第二步中会提供参考) 一.自定义UDF函数: 1.首先是pom.xml文件 xmlns:xsi="http://www.w3.org/2001/XMLS ...
Hive _函数（系统内置函数、自定义函数、自定义UDF函数）
函数系统内置函数 1．查看系统自带的函数 show functuions; 2．显示自带的函数的用法 desc function month; 3．详细显示自带的函数的用法 desc functio ...
hive 转拼音udf_自定义UDF函数：将汉字转换成拼音
工作需求要讲汉字转换成拼音,自定义UDF函数 import net.sourceforge.pinyin4j.PinyinHelper; import net.sourceforge.pinyin4j ...
自定义UDF函数：将汉字转换成拼音
工作需求要讲汉字转换成拼音,自定义UDF函数 import net.sourceforge.pinyin4j.PinyinHelper; import net.sourceforge.pinyin4j ...
自定义UDF函数和UDTF函数
文章目录 1.创建maven项目,引入依赖 2.自定义函数自定义UDF函数自定义UDTF函数 hive调用jar包创造函数方法1:上传到linux下导入hive 方法2:上传到hdfs上再导入h ...
HIVE自定义UDF函数-经纬度转换成省市地址
目录 1.需求背景 2.解决方案 3.代码pom引用 4.代码集成UDF 5.编译jar包 6.使用说明 7.将jar包放到hdfs 8.创建持久化function 9.测试 10.结语 1.需求背景 ...
8.Hive基础—函数—系统内置函数、常用内置函数、自定义函数、自定义UDF函数、自定义UDTF函数
本文目录如下: 第8章函数 8.1 系统内置函数 8.2 常用内置函数 8.2.1 空字段赋值 8.2.2 CASE WHEN THEN ELSE END 8.2.3 行转列 8.2.4 列转行 8 ...
Hive 自定义UDF函数讲解
目录一.UDF描述二.UDF种类三.自定义实现UDF和UDTF 3.1 需求 3.2 项目pom文件 3.3 Hive建表测试及数据 3.4UDF函数编写 3.5 UDTF函数编写四:添加到h ...

sprk sql自定义UDF函数

自定义一个统计字符串长度的函数

自定义一个依据sal进行区分等级的函数

sprk sql自定义UDF函数相关推荐

最新文章

热门文章