flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）

1.scala代码如下

import org.apache.flink.streaming.experimental.DataStreamUtils
import scala.collection.JavaConverters.asScalaIteratorConverterval myResult: DataStream[(String, Int)] = ...
val myOutput: Iterator[(String, Int)] = DataStreamUtils.collect(myResult.javaStream).asScala

2.java代码如下

import org.apache.flink.streaming.experimental.DataStreamUtilsDataStream<Tuple2<String, Integer>> myResult = ...
Iterator<Tuple2<String, Integer>> myOutput = DataStreamUtils.collect(myResult)

这样就可以把DataStream转成Iterator了，其中Iterator是scala中Collection集合的最上层接口，可以通过如Iterator的toArray()、toList()等方法转成我们所需要的所有集合。

3.类型不匹配的问题
上面12点都是官方的代码，但是我们用scala写DataStream的时候都是用的org.apache.flink.streaming.api.scala.DataStream包，上述代码会出现类型不匹配的问题，所以要使用org.apache.flink.streaming.api.scala.DataStreamUtils包下的scala类

import org.apache.flink.streaming.api.scala.DataStreamUtils
val myOutput: Iterator[Center] = new DataStreamUtils(window).collect()

报错消失

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）相关推荐

qgis 将县区的数据转成市区的边界数据
最近在入门三维,刚好需要处理一个数据.把县区的数据转成市区.简单点的说就是把小图合成一张大图. 效果需要把整个广州市区的县合并起来,生成的结果如下: 步骤开发三维的人都知道,处理地形数据,qgis ...
怎样用python把数据分开_python使用pandas实现数据分割实例代码
本文研究的主要是Python编程通过pandas将数据分割成时间跨度相等的数据块的相关内容,具体如下. 先上数据,有如下dataframe格式的数据,列名分别为date.ip,我需要统计每5s内出现的 ...
【Flex】读取本地JSON，然后JSON数据转成XML数据
package utils {import flash.xml.XMLDocument;import flash.xml.XMLNode;import mx.rpc.xml.SimpleXMLEnco ...
JPG、RGB、YUV像素数据保存成JPG、BMP图片
本文章使用的摄像头是OV2640,可以直接输出JPG格式的图片,摄像头不多说,开发板是ESP32-CAM,串口输出数据给上位机,C#写的,VS2017. 1.JPG数据图片显示和保存 JPG格式的图片 ...
《大数据之路：阿里巴巴大数据实践》
<大数据之路:阿里巴巴大数据实践>语录目录一.数据采集 1 ◆日志采集 1 ▼浏览器的页面日志采集 1 ▼无线客户端的日志采集 2 (1) 页面事件 3 (2) 控件点击事件 3 (3 ...
用matlab把表转化为图片,matlab怎么excel数据转化为图像《matlab将excel数据读成图片》...
这个表格的数据怎样用matlab转换为图像?是一个49*57的表格 load进workspace,数值类型做一定的转换,就可以了. 如何将Excel中的数据导入MATLAB并在MATLAB中画出图像 ...
数据湖（十七）：Flink与Iceberg整合DataStream API操作
文章目录 Flink与Iceberg整合DataStream API操作一.DataStream API 实时写入Iceberg表 1.首先在Maven中导入以下依赖
【Flink实时数仓】数据仓库项目实战《四》日志数据分流【DWD】
文章目录 [Flink实时数仓]数据仓库项目实战 <四>日志数据分流-流量域 [DWD] 1.流量域未经加工的事务事实表 1.1主要任务 1.1.1数据清洗(ETL) 1.1.2新老访客状 ...
大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink
大数据学习系列文章:大数据-博客专栏今天在学习极客时间专栏:<从0开始学大数据> 从预习 01 | 大数据技术发展史:大数据的前世今生到预习 03 | 大数据应用领域:数据驱动一切,系统 ...

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）相关推荐

最新文章

热门文章