hive中的UDF 自定义函数 ： 如何创建临时/永久函数
文章目录
- 一、为什么要使用自定义函数
- 二、自定义函数的种类
- 三、创建自定义函数
- 1、创建一个maven工程（以idea为例）
- 2、编写方法 要求： 调用函数在输入的字符串之前添加上字符串“Hello”
- 2.1、 注意
- 3、打包
- 4、上传
- 5、创建函数
- 5.1、创建临时函数
- 5.2、创建永久函数
一、为什么要使用自定义函数
在业务需求中，hive内置的函数无法满足我们的需求，可以通过自定义函数来满足。
二、自定义函数的种类
UDF（User Defined Function），一进一出（输入一行，输出一行），比如：upper（），lowser（）等。
UDFA（User Defined Aggregation Funcation），多进一出（输入多行，输出一行），比如avg（）、sum（）、max（）、min（）、count（）等。
UDTF（User Defined Table Generating Functions），一进多出（输入一行，输出多行），比如collect_set（）、collect_list（）等。
三、创建自定义函数
1、创建一个maven工程（以idea为例）
2、编写方法 要求： 调用函数在输入的字符串之前添加上字符串“Hello”
2.1、 注意
1、方法要继承org.apache.hadoop.hive.ql.exec包下得UDF类
2、必须重写evaluate方法
3、打包
测试成功之后打包
可以参考maven打包
4、上传
将打好的包上传到虚拟机，记好目录
5、创建函数
5.1、创建临时函数
临时函数，作用于当前会话，会话结束，函数失效，生效期间所有库可以使用
第一步，在hive中添加jar包
第二步，创建函数
红框内填自己的方法的路径名
第三步，测试
成功
5.2、创建永久函数
永久函数，创建的库可以使用，其他库不可以
第一步，将jar包上传至hdfs
第二步，创建函数
第三步，测试
hive中的UDF 自定义函数 ： 如何创建临时/永久函数相关推荐
- hive 转拼音udf_＜Zhuuu_ZZ＞HIVE(十二)UDF自定义函数
<Zhuuu_ZZ>HIVE(十二)UDF自定义函数 <Zhuuu_ZZ>HIVE(十二)UDF自定义函数 Hive UDF开发流程 一 创建Maven工程 二 导入依赖Jar ...
- Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数
Spark 2.2.1 + Hive 案例之不使用现有的Hive环境:使用现有的Hive数据仓库:UDF自定义函数 Spark SQL支持读写存储在Apache Hive中的数据.在Spark 2.2 ...
- hive：统计hive中所有表的大小和创建时间
目的:获取hive中所有表的创建时间和表大小 本文给出了一个既可以统计hive中非分区表也可以统计分区表的表大小的方式. 由于业务上没有针对分区数据统计的需求,所以可以使用此种方式统计. 如果业务需要 ...
- python怎么创建函数_Python创建与调用函数
今天我们来讲Python里的创建与调用函数. 先讲创建函数,创建函数使用def关键字,就是define的缩写. 上代码看看吧: def say(info): print(info) 这就是一个名叫sa ...
- Hive UDF自定义函数(临时和永久的区别)
Hive中虽然自带了一些函数,例如max().avg().sum()等,但有时候这些函数可能无法满足我们的需要,这时候就可以通过自定义UDF来进行扩展. 开发流程 UDF的开发流程基本有以下步骤: 继 ...
- UDF函数在Hive中的使用
文章目录 UDF介绍 Hive中的内置函数 开发一个UDF函数 ①创建一个普通的maven工程 ②pom文件中添加hive的依赖 ③开发UDF代码 ④打jar包 ⑤jar包上传服务器 Hive中添加U ...
- Hive函数（内置函数（字符串函数，数学函数，日期函数，集合函数，条件函数，聚合函数，表生成函数）和自定义函数（自定义函数创建流程，临时函数，永久函数）））（四）
Hive函数(内置函数和自定义函数) 一.内置函数 1.字符串函数 (1)ascii (2)base64 (3)concat (4)concat_ws (5)format_number (6)subs ...
- hive2mysql的udf_hive中的UDF函数
1.UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数.hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one ...
- 自定义函数的创建及调用
自定义函数的创建及调用 函数是指编写好的,可以重复使用的代码段. Python中,函数有内置函数和自定义函数2种. 内置函数是指:像print.input.type 等安装Python后就能直接使用的 ...
最新文章
- U-Boot 之三 U-Boot 源码文件解析及移植过程详解
- boost::leaf::try_handle_some用法的测试程序
- 主梁弹性模量计算_如何用梁格法计算曲线梁桥？
- crontab 提示 command not found 解决方案
- 小括号教学设计导入_2020年小学教师资格证复习资料之小学课堂教学导入-教师吧...
- spring定时每天早上八点_SpringBoot 如何实现并发定时任务？
- $.grep()函数
- jQuery动态五星评分
- 移除input框type=number在部分浏览器的默认上下按钮
- 安装cocoaPod 的问题
- 优秀程序员都有哪些编程习惯？
- 物联网核心安全系列——车载物联网的加密防盗版
- matplotlib制作多张图
- PRML第三章3.2
- python 导入离线地图_PyQGIS开发 -- 离线地图
- 十代思域手动挡齿比 转速 档位 时速对照表
- 利用pandas进行数据分析
- Hive误删除后，如何恢复数据
- maximo跟java_Maximo7.5远程调用maximo的手动输入节点工作流
- Windows域提权漏洞CVE-2021-442287