大数据hive篇--UDF函数

什么是UDF:

它是User defined Function的简写，意思是用户自定义方法

为什么要用UDF？

hive自带了一些函数，比如：max、min 等，但是自带的函数数量有限，所以hive提供给用户自定义函数的功能。
udf 函数可以直接应用于select 语句，对查询结构做格式化处理之后，然后再输出内容。

hive 编写udf函数的时候需要注意的地方：

1.自定义udf函数需要继承org.apache.hadoop.hive.ql.UDF
2.需要实现evaluate 函数，evaluate 函数支持重载。
3.udf 必须要有返回类型，可以返回null，但是返回类型不能为void；
4.udf 常用Text/LongWrite 等类型，不推荐使用java类型。

如何编写UDF

创建project 打jar包

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.6.0</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>1.1.0</version></dependency>

需要hadoop的common包和hive的hive-exec

编写一个简单的函数

在输出的字段前加上’Hello’

package com.njbdqn;import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;public class MyFunc extends UDF {public Text evaluate(Text txt){return new Text("Hello,"+txt.toString());}
}

怎么使用函数

使用之前，先把包打包，我打的是瘦包，亲测可使用，如不行，可打胖包。

然后通过xftp传输到linux上

在linux启动了hadoop的前提下上传至hdfs端

将包上传hdfs：
hdfs dfs -mkdir -p /func
hdfs dfs -put /opt/jar/myfun-1.0-SNAPSHOT.jar /func

进入hive界面开始添加函数：

hive> add jar hdfs://192.168.56.100:9000/func/myfun-1.0-SNAPSHOT.jar；

创建新函数

create function mytest as "com.njbdqn.MyFunc";

选择表进行试验：

hive> select mytest(username) from userinfos limit 3;
OK
Hello,lhqye
Hello,gaqhq
Hello,thfqn
Time taken: 0.305 seconds, Fetched: 3 row(s)

此为原表内容：

hive> select username from userinfos limit 3;
OK
lhqye
gaqhq
thfqn
Time taken: 0.096 seconds, Fetched: 3 row(s)

可见此时编写的简单UDF函数已起作用。

大数据hive篇--UDF函数相关推荐

大数据hive篇--hive报错return 2 return 3 解决方式
oozie跑hive脚本报错: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRed ...
大数据——Redshift通过UDF函数实现金融业XIRR函数
函数简介: https://support.microsoft.com/zh-cn/office/xirr-%e5%87%bd%e6%95%b0-de1242ec-6477-445b-b11b-a30 ...
29. 大数据---hive的常用函数（一(最全的函数操作)）
Hive 内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数. 在 hive 中可通过以下命令查看函数信息: –显示所有 ...
大数据Hive篇_埋点、日志数据清洗（string类型）
实习期间处理业务需求不会的总结汇总,主要学习自花花里的前辈带教.与<Hive编程指南>一书,不足之处,望多多指正. 前言实际的业务处理中,业务方提出的一个临时需求如果找不到对应的取数表, ...
大数据hive篇--return code 3 报错
问题描述使用hive跑数时,出现return code 3的错误,但没有报出代码中具体位置的错误. 问题原因具体原因不是非常清楚,但是网上提到的原因最有可能的是数据倾斜导致的,具体的表现就是任务执 ...
大数据hive篇_group seting解决业务问题
1.业务背景最近接到的一个比较刁的体系建设需求,需求背景简述:一个功能有新老两个版本,每个功能可以通过AB两个方式进到功能中使用,其中A方式又可以细分成A1.A2.A3三个口子. 拆分方式是按三层来 ...
2021年大数据Hive（七）：Hive的开窗函数
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive的开窗函数一.窗口函数 ROW_NUMBER,RANK ...
2021年大数据Hive（八）：Hive自定义函数
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive自定义函数一.概述 1.UDF(User-Define ...
2021年大数据Hive（五）：Hive的内置函数（数学、字符串、日期、条件、转换、行转列）
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive的内置函数一.数学函数 1. 取整函数: round ...