1、UDF：用户定义（普通）函数，只对单行数值产生作用；

继承UDF类，添加方法 evaluate()

/*** @function 自定义UDF统计最小值* @author John**/public class Min extends UDF {public Double evaluate(Double a, Double b) {if (a == null)a = 0.0;if (b == null)b = 0.0;if (a >= b) {return b;} else {return a;}}}

2、UDAF：User- Defined Aggregation Funcation；用户定义聚合函数，可对多行数据产生作用；等同与SQL中常用的SUM()，AVG()，也是聚合函数；

聚合函数使用：

SELECT store_name, SUM(sales)
FROM Store_Information
GROUP BY store_name
HAVING SUM(sales) > 1500
ORDER BY SUM(sales);键字HAVING总要放在GROUP BY之后，ORDER BY之前

UDAF实现有简单与通用两种方式：

a. 简单UDAF因为使用Java反射导致性能损失，而且有些特性不能使用，已经被弃用了；
　　
b. 另一种涉及两个类：AbstractGenericUDAFResolver、GenericUDAFEvaluator；

继承UDAFResolver类，重写 getEvaluator() 方法；

继承GenericUDAFEvaluator类，生成实例给getEvaluator()；

在GenericUDAFEvaluator类中，重写init()、iterate()、terminatePartial()、merge()、terminate()方

可参考：hive udaf开发入门和运行过程详解
Hive UDAF开发详解

3.UDTF：User-Defined Table-Generating Functions，用户定义表生成函数，用来解决输入一行输出多行；

继承GenericUDTF类，重写initialize（返回输出行信息：列个数，类型）, process, close三方法；
可参考：hive中UDTF编写和使用
hive0.13的udtf使用例子

4、其它

删除临时函数 drop temporary function toUpper;

转载至：udf,udaf,udtf之间的区别

udf,udaf,udtf之间的区别相关推荐

UDF UDAF UDTF 区别
UDF UDAF UDTF 区别 UDF 概念: User-Defined-Function 自定义函数 .一进一出:只对单行数据产生作用: 实际使用时,UDF函数以匿名函数的形式进行操作使用背景: ...
Hive 之用户自定义函数 UDF UDAF UDTF
一什么是UDF UDF是UserDefined Function 用户自定义函数的缩写.Hive中除了原生提供的一些函数之外,如果还不能满足我们当前需求,我们可以自定义函数. 除了UDF 之外,我们 ...
hive的udf,udaf,udtf各自依賴兩種class(转载+分析整理)
Hive自定义函数包括三种UDF.UDAF.UDTF 名稱縮寫特點依賴 UDF(User-Defined-Function) 一进一出 org.apache.hadoop.hive.ql.exec ...
UDF、UDAF、UDTF之间的区别
1.UDF:用户定义(普通)函数,只对单行数值产生作用: 继承UDF类,添加方法 evaluate() /*** @function 自定义UDF统计最小值**/public class Min ex ...
Hive自定义UDF UDAF UDTF
Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法 ...
Hive 自定义函数编写(UDF,UDAF,UDTF)
Hive自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义 UDF来方便的扩展. 当 Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数. 1. ...
udf函数（udf udaf udtf)
UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数.hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one to ...
Hive UDF GDF UDTF编写与实现
hive 自定义函数实现 UDF | GDF | UDTF 区别 UDF:一进一出(hive3 已经废除) GDF:一进一出(hive3 支持的GDF) UDTF:一进多出业务前景测试数据为:字符 ...
Hive常用函数、列转行与行转列、开窗函数、UDF、UDTF
Hive函数.开窗函数.UDF.UDTF 1.系统内置函数 2.常用函数 2.1.关系运算 2.2.数值运算 2.3.条件函数 2.4.日期函数 2.5.字符串函数 2.6.Hive求WordCoun ...

udf,udaf,udtf之间的区别

1、UDF：用户定义（普通）函数，只对单行数值产生作用；

2、UDAF：User- Defined Aggregation Funcation；用户定义聚合函数，可对多行数据产生作用；等同与SQL中常用的SUM()，AVG()，也是聚合函数；

3.UDTF：User-Defined Table-Generating Functions，用户定义表生成函数，用来解决输入一行输出多行；

4、其它

udf,udaf,udtf之间的区别相关推荐

最新文章

热门文章