Hive自定义函数入门实例

概念

UDF函数一共分为三种类型：

UDF-一进一出，给定一个参数，输出一个处理后的数据 UDAF-多进一出，属于聚合函数，类似于count、sum等函数 UDTF-一进多出，属于一个参数，返回一个列表作为结果

目的

当hive自定义函数无法满足需求时,就可以使用自定义函数

案例

导入依赖

<dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>2.1.1</version>
</dependency>

自定义一个java类型，继承`UDF`类型
在自定义的类内部定义一个必须叫`evaluate`名的方法。
方法的形式参数的类型和个数，开发人员根据业务需求决定。

比如

public int evaluate();
public int evaluate(int a);
public double evaluate(int a, double b);
public String evaluate(String a, int b, Text c);
public Text evaluate(String a);
public String evaluate(List<Integer> a); (Note that Hive Arrays are represented as Lists in Hive. So an ARRAY<int> column would be passed in as a List<Integer>.)

编写一个自定义函数,比如小写转大写

import org.apache.hadoop.hive.ql.exec.UDF;public class getUpper extends UDF {public String evaluate(String str) {if (str == null || "".equals(str)) {throw new RuntimeException("传入的数据不符合要求");} else {return str.toUpperCase();}}public static void main(String[] args) {getUpper getUpper = new getUpper();System.out.println(getUpper.evaluate("abc"));}
}

利用maven进行打包,上传到服务器.如下

将jar包添加到hive的classpath中,在hive中执行如下命令

add jar /root/soft/Hive-1.0-SNAPSHOT.jar

创建一个自定义的临时函数名

create temporary function myUpper as 'getUpper';

通过show functions; 查看自定义的函数是否存在
使用自定义函数

select myUpper("aBc")

结果如下

UDF源码

public class UDF {/*** The resolver to use for method resolution.*/private UDFMethodResolver rslv;/*** The constructor.*/public UDF() {rslv = new DefaultUDFMethodResolver(this.getClass());}/*** The constructor with user-provided {@link UDFMethodResolver}.*/protected UDF(UDFMethodResolver rslv) {this.rslv = rslv;}/*** Sets the resolver.** @param rslv The method resolver to use for method resolution.*/public void setResolver(UDFMethodResolver rslv) {this.rslv = rslv;}/*** Get the method resolver.*/public UDFMethodResolver getResolver() {return rslv;}/*** This can be overridden to include JARs required by this UDF.** @see org.apache.hadoop.hive.ql.udf.generic.GenericUDF#getRequiredJars()*      GenericUDF.getRequiredJars()** @return an array of paths to files to include, {@code null} by default.*/public String[] getRequiredJars() {return null;}/*** This can be overridden to include files required by this UDF.** @see org.apache.hadoop.hive.ql.udf.generic.GenericUDF#getRequiredFiles()*      GenericUDF.getRequiredFiles()** @return an array of paths to files to include, {@code null} by default.*/public String[] getRequiredFiles() {return null;}
}

Hive自定义函数入门实例相关推荐

2021年大数据Hive（八）：Hive自定义函数
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive自定义函数一.概述 1.UDF(User-Define ...
Hive 史上最全面的大数据学习第九篇（五） Hive 自定义函数每一天都是美好的一天！
Hive概述 & 安装方式详解 Hive表操作 Hive表分类 Hive Sql 操作 Hive 自定义函数 Hive On HBase 六.Hive 自定义函数在Hive当中又系统自带的函 ...
hive自定义函数-身份证号合法性判断
hive自定义函数-身份证号合法性判断简要代码简要身份证号合法性判断: 若为18位身份证号: 1.第18位数字,应该在身份证号最后一位校验位数字中 2.前17为数字分别乘以对应的加权因子,累加 ...
Hive 自定义函数UDF入门
1.为什么要用自定义函数 1.1 hive的内置函数满足不了的业务需求,这时候就需要使用自定义函数 1.2 hive的自定义函数有那些 1.UDF 一对一输出输入(本章使用) 2.UDTF 一对多输 ...
深入学习《Programing Hive》：Hive自定义函数之UDF
为了满足用户的个性化需求,Hive被设计成了一个很开放的系统,很多内容都可以定制,主要包括: 1).文件格式: 2).内存中的数据格式,如Hadoop的Writable/Text: 3).用户提供的M ...
hive自定义函数UDF的使用方法
虽然Hive已经提供了很多内置的函数,比如count().sum(),但是还是不能满足用户的需求,因此提供了自定义函数供用户自己开发函数来满足自己的需求.本实例通过编写自己的UDF,实现通过一个人的出 ...
hive - 自定义函数（超详细步骤，手把手的交）
用Java开发自定义函数,步骤: 1.eclipse上新建一个工程project(db2019): 2.导jar依赖包: db2019右键 --build path --configure... -- ...
案例解析丨Spark Hive自定义函数应用
摘要:Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数. 1. 简介 Spark目前支持UDF,UDTF,UDAF三种类型的自定义函数.UDF使用场景:输入一行,返回一个结果,一对一, ...
Hive 自定义函数编写(UDF,UDAF,UDTF)
Hive自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义 UDF来方便的扩展. 当 Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数. 1. ...

Hive自定义函数入门实例

概念

目的

案例

UDF源码

Hive自定义函数入门实例相关推荐

最新文章

热门文章