GenericUDAF使用流程记载(转载+自己整理)

2024-06-07 01:33:01

概述

本文是对[1]的整理和复现。

环境

组件	版本
Hadoop	3.1.2
Zookeeper	3.6.0
Mysql	8.0.22-0ubuntu0.20.04.2
Hive	3.1.2

Hive准备工作

use db1;
create table address (addressid int, province string, city string) row format delimited fields terminated by ',';
insert into address values(1,'guangdong','guangzhou');
insert into address values(1,'guangdong','guangzhou');
insert into address values(2,'guangdong','shenzhen');
insert into address values(3,'shanxi','xian');
insert into address values(4,'shanxi','hanzhong');
insert into address values(6,'jiangshu','nanjing');

注册GenericUDAF流程

注册命令(hive/beeline中进行)	备注
add jar /home/appleyuchi/桌面/Flink_Code/FLINK读写各种数据源/Java/target/table_api-1.0-SNAPSHOT.jar;	指明自定义依赖包
create temporary function udf_fieldlength as 'FieldLength';	依赖包中的FieldLength注册为udf_fieldlength

使用GenericUDAF流程

hive命令

实验结果

备注

use db1;

select * from address;

1 guangdong guangzhou
2 guangdong shenzhen

3 shanxi xian

检查hive功能是否ok

select province, count(city), udf_fieldlength(city) from address group by province;

guangdong 15 133
shanxi 1 4

使用写好的udaf

完整代码:

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/FieldLength.java

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/FieldLengthUDAFEvaluator.java

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/FieldLengthAggregationBuffer.java

Reference:

[1]hive学习笔记之十：用户自定义聚合函数(UDAF)

GenericUDAF使用流程记载(转载+自己整理)相关推荐

GenericUDTF使用流程记载(转载+自己整理)
概述本文是对[1]的整理和复现. UDTF的意思是进一出多. 在hive中UDTF的意思是,输入一条数据,返回多条数据环境组件版本 Hadoop 3.1.2 Zookeeper 3.6.0 M ...
GenericUDF使用流程记载(转载+自己整理)
概述本文是对[1]的整理和复现. 环境组件版本 Hadoop 3.1.2 Zookeeper 3.6.0 Mysql 8.0.22-0ubuntu0.20.04.2 Hive 2.3.7 Hiv ...
矩阵向量求导（转载与整理）
矩阵向量求导 (转载与整理) 矩阵向量求导 (转载与整理) 1.[刘建平Pinard老师](https://www.cnblogs.com/pinard/)的博客文章(机器学习中的矩阵向量求导) 2. ...
【贵州大学计算机考研2】贵州大学考研计算机学院考研复试内容以及流程【转载】
贵州大学考研经验贴全集: [贵州大学计算机考研1]三本学生考研上岸贵州大学软件工程专硕(附带真题与答案) [贵州大学计算机考研2]贵州大学考研计算机学院考研复试内容以及流程[转载] [贵州大学计算机考 ...
香港读书 – 香港签注延期办理流程（转载）
香港读书 – 香港签注延期办理流程(转载) 在香港读书办理各种证件超级麻烦,每年都得重新办证,一办就得办两个叫做签注(签证?)的玩意儿,香港这边办一个,大陆那边办一个.每个玩意儿需要准备一大堆乱七八糟 ...
CT流程与CT图像的windowing操作(转载＋整理)
根据[4]中的定义: CT 的特点是能够分辨人体组织密度的轻微差别,所采用的标准是根据各种组织对X 线的线性吸收系数(μ值) 来决定的. [5]中提到了一个公式: 所以比赛中的dicom的灰度值需要转 ...
全网史上最全的AR学习开发资源汇总（转载他人整理作品，供参考）
因公司想做一款AR产品,之前没有怎么去接触AR知识,通过这几天的了解,查看文档,终于对AR的技术知识.技术支持有一个大概了解.整理了一份有关AR方向参考文档,有兴趣的可以学习学习. 转载于知乎:AR新 ...
App测试流程及测试点(个人整理版)
1 APP测试基本流程 1.1流程图 1.2测试周期测试周期可按项目的开发周期来确定测试时间,一般测试时间为两三周(即15个工作日),根据项目情况以及版本质量可适当缩短或延长测试时间.正式测试前先向 ...
电商岗位流程等--转载
转载自:https://zhuanlan.zhihu.com/p/70072351 电商混战618,战果超双11!数字背后是电商运营者们怎样的疯狂? ProcessOn 已认证的官方帐号已关注 ...

最新文章

热门文章