hive（3）——在hive中使用自己写的函数（python实现）

如果我们想在hive中添加自己写的函数，可用如下方法：
前提：已经开启hdfs，yarn服务，并且关闭safe模式，打开mysql
ps：udf是mapper类型的，进来一个数据，出去一个数据
（1）用python写好想要实现的函数
这里我的测试表是这样一份表，我想让此表的state字段都变成大写，所以我编辑了如下python脚本：

编辑的脚本py_udf（udf前面已经解释）如下：

import sys
for line in sys.stdin:line = line.strip()team,state,rank = line.split()state = state.upper()print( ' '.join([team,state,str(rank)]))

（2）加入路径（至关重要的一步）
这份文件在本地路径下

（3）实现语句TRANSFORM

可见，california和colorado已经大写，成功输出，这里要使用TRANSFORM 前面的‘（）’的参数是你表中的字段，也就是desc查出来的字段，而后面的‘（）’的参数是你pyhon脚本里输出的参数。
可以在yarn可视化界面查看该任务：

hive（3）——在hive中使用自己写的函数（python实现）相关推荐

如何在matlab sfunction 函数中调用自己写的函数？
自己编写了一个s函数,有几个参数引用了自己写的几个函数,在脚本中可以正确运行,但在写成s函数,进行 simulink 仿真的时候,已知提示"too many input auguments& ...
linux init 参数,Objective-C中实现覆写init函数以及在初始化时添加参数
Objective-C中在初始化方法中传递参数是惯用法,大致的类型使用方式为: MyClass* obj = [[MyClass alloc] initWithXXX] ; 而默认的初始化只有一个无参 ...
Java中使用MongoTemplate写聚合函数样例
mongo shell 语句 db.activity_service_log.aggregate([{$match: {"date": "2020-11-02" ...
python中可以使用变量来引用函数-python如何引用其他py文件里的函数
python引用其他py文件里的函数方法 Python中在脚本中引用其他文件函数的方法在导入文件的时候,Python只搜索当前脚本所在的目录,加载(entry-point)入口脚本运行目录和sys. ...
python 定义list长度_python中list列表的高级函数 python如何统计列表的长度
在python的函数中,如何将列表list的一部分作为函比如定义个函数,想实现的功能就是将列表a的后半部分(['c','d'])传入后面paraTestList(a[2:])中,括号里面的a[2:]命 ...
hive 删除某个分区中部分数据
目录一.需求二.思路三.补充一.需求删除 hive 表中某个分区中的部分数据(不是删除该分区) 二.思路 1.数据库删除数据的本质其实是用新的数据去覆盖原有的表,只要新的数据中不含有你想删除 ...
Hive基本操作，DDL操作(创建表，修改表，显示命令)，DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等
1. Hive基本操作 1.1DDL操作 1.1.1 创建表建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_nam ...
Hive Join Strategies hive的连接策略
2019独角兽企业重金招聘Python工程师标准>>> Common Join 最为普通的join策略,不受数据量的大小影响,也可以叫做reduce side join ,最没效率的 ...
(第二章) hive安装之Hive安装部署
Hive安装部署 1．Hive安装及配置 (1)把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 (2)解压apache-hive-1.2. ...

hive（3）——在hive中使用自己写的函数（python实现）

hive（3）——在hive中使用自己写的函数（python实现）相关推荐

最新文章

热门文章