Hive: Reflect UDF

Reflect UDF

JAVA类和方法通常用于处理用户希望在hive中使用的确切的函数。相比与封装一个UDF然后调用这个方法，这些
方法主要通过反射UDF去调用。Reflect使用Java反射去实例化，并且调用对象的方法；也能够调用静态方法。这个方法必须返回一个基础类或者一个hive能序列化的类。SELECT reflect("java.lang.String", "valueOf", 1),reflect("java.lang.String", "isEmpty"),reflect("java.lang.Math", "max", 2, 3),reflect("java.lang.Math", "min", 2, 3),reflect("java.lang.Math", "round", 2.5),reflect("java.lang.Math", "exp", 1.0),reflect("java.lang.Math", "floor", 1.9)FROM src LIMIT 1;结果：1   true    3   2   3   2.7182818284590455  1.0注意:1. 0.9.0采用了java_method()2. Reflect UDF是不确定返回值的。它不能保证在给予相同的参数时，返回值。因此小心在where子句中使用,因为会使谓词下推失败

谓词下推

谓词下推的基本思想：尽可能早的处理表达式(expressions)，默认产生的执行计划在看到数据的地方添加过滤
器filter，但是有些情况过滤filter表达式expressions被推到离第一次看到数据的操作operator更近。
如，select a.*, b.* from a join b on (a.col1 = b.col1) where a.col1 > 20 and b.col2 > 40(个人理解，where后面的句子为谓词，)当没有谓词下推时，执行的顺序是
a join b , 然后再 filter 使用谓词下推时，执行的顺序是
a b 先进行过滤，然后再进行 join操作开启谓词下推功能
set hive.optimize.ppd=true

Hive: Reflect UDF相关推荐

hive最新UDF函数（2016-10-25）
为什么80%的码农都做不了架构师?>>> hive UDF函数 :(后期翻译,暂时先贴着,有兴趣来 http://apache.wiki 可以一起来翻译呀) https:// ...
Hive的UDF开发踩过的那些坑儿
hive创建的udf函数,我™好气,日志信息报错都不正常,坑了宝宝大半天排查问题日志截图如下: 开始执行sql:set role admin 开始执行sql:reload function 开始执行 ...
hive 的udf 函数使用
1)依据课程讲解UDF编程案例,完成练习,总结开发UDF步骤,代码贴图,给予注释,重点 2)更改emp 表中名字的大写给为小写. 一:hive 的udf 函数: 1.1 hive UDF 函数概述: ...
Hive自定义UDF的JAR包加入运行环境的方法
Hive开发udf函数打包jar文件后,需将jar文件放入hive的运行环境,方法有三. 先将http://blog.csdn.net/fjssharpsword/article/details/70 ...
Hive自定义UDF UDAF UDTF
Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法 ...
hive的udf,udaf,udtf各自依賴兩種class(转载+分析整理)
Hive自定义函数包括三种UDF.UDAF.UDTF 名稱縮寫特點依賴 UDF(User-Defined-Function) 一进一出 org.apache.hadoop.hive.ql.exec ...
Hive 自定义UDF函数讲解
目录一.UDF描述二.UDF种类三.自定义实现UDF和UDTF 3.1 需求 3.2 项目pom文件 3.3 Hive建表测试及数据 3.4UDF函数编写 3.5 UDTF函数编写四:添加到h ...
如何写hive的udf函数？
最近感受了hive的udf函数的强大威力了,不仅可以使用很多已经有的udf函数,还可以自己定义符合业务场景的udf函数,下面就说一下如何写udf/udaf/udtf函数,算是一个入门介绍吧. Firs ...
Hive 10、Hive的UDF、UDAF、UDTF
Hive自定义函数包括三种UDF.UDAF.UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) ...
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位背景在数仓项目中,有时候会根据身份证信息做一些取数filter或者条件判断的相关运算进而获取到所需的信息.古人是用Oracle做 ...

Hive: Reflect UDF

Reflect UDF

谓词下推

Hive: Reflect UDF相关推荐

最新文章

热门文章