5-10transformation中部分函数使用

1. transformation函数之map(),filter()函数的简单应用：

2. union

3.Split与Select

1. transformation函数之map(),filter()函数的简单应用：

object DataStreamTransformationAPP {def main(args: Array[String]): Unit = {val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironmentfilterFunction(env)env.execute("DataStreamTransformationAPP")}def filterFunction(env: StreamExecutionEnvironment): Unit ={val data: DataStream[Long] = env.addSource(new CustomerNonParallesourceFunction)data.map(x=>{println("received:"+x)  //此处为接收到的数据，即未处理的数据x}).filter(_%2==0)//此处过滤.print().setParallelism(1)}
}

2. union

dataStream.union(otherStream1, otherStream2, ...);

Union of two or more data streams creating a new stream containing all the elements from all the streams.

Note: If you union a data stream with itself you will get each element twice in the resulting stream.：如果你union数据流和它本身，你会的到这个数据流两次

def unionFunction(env: StreamExecutionEnvironment): Unit ={val data1: DataStream[Long] = env.addSource(new CustomerNonParallesourceFunction)val data2: DataStream[Long] = env.addSource(new CustomerNonParallesourceFunction)data1.union(data2).print().setParallelism(1)}

3.Split与Select

1)DataStream → SplitStream:Split the stream into two or more streams according to some criterion.

val split = someDataStream.split(
(num: Int) =>
(num % 2) match {
case 0 => List("even")//奇数
case 1 => List("odd")//偶数
}
)

2）SplitStream → DataStream：Select one or more streams from a split stream.

val even = split select "even"
val odd = split select "odd"
val all = split.select("even","odd")

  def splitSelectFunction(env: StreamExecutionEnvironment): Unit ={val data: DataStream[Long] = env.addSource(new CustomerNonParallesourceFunction)val splits: SplitStream[Long] = data.split(new OutputSelector[Long] {override def select(value: Long): lang.Iterable[String] = {val list = new util.ArrayList[String]()if (value % 2 != 0) {list.add("even")} else {list.add("odd")}list}})splits.select("odd").print().setParallelism(1)}

5-10transformation中部分函数使用相关推荐

python函数式编程什么意思_函数式编程中“部分函数”到底是什么意思？
答案说明了一切,我将在每种语言中添加一个示例:def add(x,y): return x+y f = add(1) print(f(3)) f = add(1) TypeError: add() m ...
CImg库中部分函数的作用和用法
部分内容来自于CImg参考手册或CImg的Doxygen手册 1.宏cimg_usage(usage):可以被用来描述程序的目的和使用情况.它通常被插入到 int main(int argc, cha ...
DllMain中不当操作导致死锁问题的分析——DllMain中要谨慎写代码（完结篇）
之前几篇文章主要介绍和分析了为什么会在DllMain做出一些不当操作导致死锁的原因.本文将总结以前文章的结论,并介绍些DllMain中还有哪些操作会导致死锁等问题.(转载请指明出于breaksoftw ...
python中functools_Python functools模块完全攻略
functools 模块中主要包含了一些函数装饰器和便捷的功能函数.在 Python 的交互式解释器中先导入 functools 模块,然后输入 [e for e in dir(functools) ...
Unity3D RTS游戏中帧同步实现
帧同步技术是早期RTS游戏常用的一种同步技术,本篇文章要给大家介绍的是RTX游戏中帧同步实现,帧同步是一种前后端数据同步的方式,一般应用于对实时性要求很高的网络游戏,想要了解更多帧同步的知识,继续往下 ...
GNU Make 使用手册（于凤昌中译版）
GNU Make 使用手册(中译版) 翻译:于凤昌 GNU make Version 3.79 April 2000 Richard M. Stallman and Roland McGrath 1 ...
发现一个windows7（32bit或64bit）DirectUI的bug
前段时间发现一个windows7的一个bug,不是什么严重的问题,我在此记录下.(转载请指明出于breaksoftware的csdn博客) 重现步骤如下: 0 在文件夹的"更改您的视图&qu ...
c++引用matlab类,matlab调用C++函数浅谈(一)
由于在下才疏学浅,在网上看各高手指南时亦觉云里雾里,遂决定一切说明从最基础说起,一是方便自己(记性奇差),二是方便似我的小白.以下部分是我从各网站论坛等摘抄.重组.改写过的,以求更加详实明朗,由于参考 ...
【Python】学习笔记总结（第一阶段（1-6）——汇总篇）
文章目录一.Python基础 1.注释 2.输入输出 3.数据类型 4.运算符 4.1.算数运算符 4.2.比较运算符 4.3.逻辑运算符 4.3.1.短路运算 4.4.赋值运算符 5. 判断与循环 ...

5-10transformation中部分函数使用

1. transformation函数之map(),filter()函数的简单应用：

2. union

3.Split与Select

5-10transformation中部分函数使用相关推荐

最新文章

热门文章