概述

本文是对[1]的复现

支持的版本是

组件	版本	备注
Flink	1.12.0	apache版本
apache-flink	1.12.0	pip安装
python	3.6.10	anaconda虚拟环境

注意:

①除了Flink集群要配置好，pip下面还要另外安装apache-flink(必须安装，不要遗漏).

②小版本号必须严格一致,例如下面这样:

Flink1.12.0与apache-flink1.11.2搭配使用是绝对不允许的.

完整代码与配置文件

https://github.com/appleyuchi/Flink_SQL_Client_UDF

完整操作步骤

运行时采用的命令是:

$FLINK_HOME/bin/sql-client.sh embedded -e $FLINK_HOME/conf/env.yaml -pyfs $FLINK_HOME/conf/test.py

官网[1]中的写法如下:

# full example of python dependency management$ sql-client.sh embedded -e env.yaml -pyfs test.py,/home/my/func2.py -pyreq /home/my/requirements.txt#/home/my/pacakges_dir -pyarch py37.zip#venv -pyexec venv/py37/bin/python

使用下面命令查看已经注册func1:

show functions;

操作流程截图

实验结果

附录

可能遇到的报错:

Flink SQL> select func1(`en_behavior`) as a from dim_behavior;
[ERROR] Could not execute SQL statement. Reason:
java.lang.IllegalStateException: Process died with exit code 0

这是因为你的Flink集群版本和apache-flink版本不一致．

Reference

[1]FLIP-114: Support Python UDF in SQL Client

Flink SQL Client注册Python UDF完整流程相关推荐

Flink SQL Client注册JAVA UDF完整流程
概述听大佬说[1]里面有flink sql client注册udf的方法去看了一眼,全是文字,闹心,索性琢磨了一下,记录下来． UDF的完整maven工程 https://github.com/a ...
Flink SQL Client注册SCALA UDF完整流程
UDF的完整maven工程與SQL https://github.com/appleyuchi/Flink_SQL_Client_UDF 完整操作步骤 ①mvn scala:compile packa ...
Flink SQL Client方言切换与datagen-＞Hive(DDL形式+streaming形式)
概述本文是对[1]的完整复现,补充了[1]中缺失的大量细节. 切换方言切换目标 Flink SQL Client命令切换为hive SET table.sql-dialect=hive; 切换为 ...
Flink SQL Client实现CDC实验
概述本文主要是對[7]中內容的復現环境组件版本 Flink(HA) 1.12 Zookeeper 3.6.0 flink-sql-connector-mysql-cdc 1.1.1 Mysql ...
Flink SQL Client进行Kafka事实表与Hbase维度表Join(纯DDL/SQL方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
Flink SQL Client讀取csv中的數據(轉載+總結)
根據官方文檔[2] Flink SQL啓動方式啓動命令 (1)starting an embedded standalone process $FLINK_HOME/bin/sql-client.s ...
Flink SQL Client CLI 使用入门
参照:https://blog.csdn.net/boling_cavalry/article/details/105964425 一.SQL Client Flink 的 Table & S ...
Flink SQL Client读Kafka+流计算(DDL方式+代碼嵌入DDL/SQL方式)
#################################################################################################### ...
flink sql client读取hive时卡住
问题复现如下: 查看$FLINK_HOME/log/flink-appleyuchi-sql-client-Desktop.log 2020-12-23 11:48:56,811 INFO org. ...

Flink SQL Client注册Python UDF完整流程

概述

完整代码与配置文件

完整操作步骤

附录

Reference

Flink SQL Client注册Python UDF完整流程相关推荐

最新文章

热门文章