flink中UDF函数

1 函数类（Function Classes）

Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如

MapFunction, FilterFunction, ProcessFunction 等等。

下面例子实现了 FilterFunction 接口：

还可以将函数实现成匿名类

我们 filter 的字符串"flink"还可以当作参数传进去。

2 匿名函数（Lambda Functions）

3 富函数（Rich Functions）

“富函数”是 DataStream API 提供的一个函数类的接口，所有 Flink 函数类都

有其 Rich 版本。它与常规函数的不同在于，可以获取运行环境的上下文，并拥有一

些生命周期方法，所以可以实现更复杂的功能。

⚫ RichMapFunction

⚫ RichFlatMapFunction

⚫ RichFilterFunction

⚫ …

Rich Function 有一个生命周期的概念。典型的生命周期方法有：

⚫ open()方法是 rich function 的初始化方法，当一个算子例如 map 或者 filter

被调用之前 open()会被调用。

⚫ close()方法是生命周期中的最后一个调用的方法，做一些清理工作。

⚫ getRuntimeContext()方法提供了函数的 RuntimeContext 的一些信息，例如函

数执行的并行度，任务的名字，以及 state 状态

flink中UDF函数相关推荐

大数据_Flink_Java版_数据处理_流处理API_Flink中的UDF函数类---Flink工作笔记0036
然后我们再来看一个叫UDF函数的东西,利用这个可以看到可以实现更细粒度的流的控制.这个UDF函数,包含什么呢? 首先我们看flink暴露了所有udf函数的接口,这里有MapFunction,Filt ...
Flink SQL中的函数
Table API是内嵌在Java语言中的,很多方法需要在类中额外添加,扩展功能比较麻烦,目前支持的函数比较少,故一般情况下我们使用Flink SQL中的函数 Flink SQL中的函数主要分为两类: ...
hive 解密_hive 中自定义 base64 加密解密 UDF 函数
一.maven依赖 org.apache.hadoop hadoop-client 2.7.3 org.apache.hive hive-exec 1.2.1 org.apache.maven.plu ...
hive2mysql的udf_hive中的UDF函数
1.UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数.hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 UDF的分类 UDF:one ...
UDF函数在Hive中的使用
文章目录 UDF介绍 Hive中的内置函数开发一个UDF函数 ①创建一个普通的maven工程 ②pom文件中添加hive的依赖 ③开发UDF代码 ④打jar包 ⑤jar包上传服务器 Hive中添加U ...
Flink的UDF写法整理
概述这篇博客并不是简单地翻译官方文档, 而是挑选常用的信息,其他忽略(例如类型推断这种内容) Overview 几种UDF 文档中的解释备注 Scalar functions map scala ...
flink sql udf jar包_Flink 生态：一个案例快速上手 PyFlink
简介: Flink 从 1.9.0 版本开始增加了对 Python 的支持(PyFlink),在刚刚发布的 Flink 1.10 中,PyFlink 添加了对 Python UDFs 的支持,现在可以 ...
如何在 Apache Flink 中使用 Python API？
本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家孙金城分享.重点为大家介绍 Flink Python API 的现状及未来规划, ...
python flink_如何在 Apache Flink 中使用 Python API？
原标题:如何在 Apache Flink 中使用 Python API? 导读:本文重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Pyth ...

flink中UDF函数

flink中UDF函数相关推荐

最新文章

热门文章