Impala UDF - Impala调用Hive UDF函数

Impala 中运行 Hive UDF

场景：部分查询需要快速返回，使用Impala进行快速、复杂的查询

1.简单的UDF函数过滤，判断是否包含“好”字，返回boolean类型

import org.apache.hadoop.hive.ql.exec.UDF;/*** @ClassName: UdfTest* @Description: TODO * @author: Jast* @date: 2019年3月10日 上午11:30:20  */
public class UdfTest  extends UDF {public boolean evaluate(String text){if(text.contains("好")) {return true;}else {return false;}}
}

2.将jar包上传到HDFS中

hdfs dfs -put /home/xxx/hive-udf.jar /user/hive/lib

3.创建函数

create function if not exists udftest(String) returns boolean location "/user/hive/lib/hive-udf.jar" SYMBOL="com.xxx.udftest";

4.查看是否创建成功

[hostname:21000] dw_xxxx> show functions;
Query: show functions
+-------------+----------------------+-------------+---------------+
| return type | signature            | binary type | is persistent |
+-------------+----------------------+-------------+---------------+
| BOOLEAN     | udftest(STRING)      | JAVA        | false         |
+-------------+----------------------+-------------+---------------+
Fetched 1 row(s) in 0.01s

5.查询结果

Impala UDF - Impala调用Hive UDF函数相关推荐

Fluent UDF中调用Matlab矩阵运算函数(以二维插值为例)
Fluent UDF中经常需要用到一些常见算法,例如插值.拟合.矩阵运算等等,这些在UDF中是没有现成函数实现的,理论上需要我们自己去写函数.另一方面我们又注意到这些运算恰恰是Matlab的强项,几乎 ...
【Hive】函数（UDF篇）
UDF函数可以直接应用于select语句,对查询结构做格式化处理输出内容.自定义UDF需要继承org.apache.hadoop.hive.ql.UDF,实现evaluate函数. 自定义udf函数步 ...
CDH 创建Hive UDF函数
导入依赖包: hive-exec.jar hadoop-common.jar 注意:函数名必须为 evaluate ,否则hive无法识别! package com.example.hive.udf; ...
hive 元数据自定义_如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件-阿里云开发者社区...
如何在Hive中创建自定义函数UDF及使用如何在Impala中使用Hive的自定义函数 UDF函数开发使用Intellij工具开发Hive的UDF函数,进行编译: 1.使用Intellij工具通过 ...
hive UDF函数取最新分区
hive UDF函数取最新分区 1.pom文件 <dependencies><!-- https://mvnrepository.com/artifact/org.apache.hi ...
Hive UDF 函数指南
精选30+云产品,助力企业轻松上云!>>> 点击蓝色"大数据每日哔哔"关注我加个"星标",第一时间获取大数据架构,实战经验 Hive 内置了 ...
Hive UDF自定义函数(临时和永久的区别)
Hive中虽然自带了一些函数,例如max().avg().sum()等,但有时候这些函数可能无法满足我们的需要,这时候就可以通过自定义UDF来进行扩展. 开发流程 UDF的开发流程基本有以下步骤: 继 ...
hive自定义函数UDF的使用方法
虽然Hive已经提供了很多内置的函数,比如count().sum(),但是还是不能满足用户的需求,因此提供了自定义函数供用户自己开发函数来满足自己的需求.本实例通过编写自己的UDF,实现通过一个人的出 ...
Hive 自定义函数UDF入门
1.为什么要用自定义函数 1.1 hive的内置函数满足不了的业务需求,这时候就需要使用自定义函数 1.2 hive的自定义函数有那些 1.UDF 一对一输出输入(本章使用) 2.UDTF 一对多输 ...

Impala UDF - Impala调用Hive UDF函数

Impala UDF - Impala调用Hive UDF函数相关推荐

最新文章

热门文章