大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010
前面我们已经写好了,流式数据处理的案例了.
但是我们执行的时候可以看到,我们输入的流,实际上是我们准备的一个文件对吧.
一个Text文件,实际上不算是一个流式数据源
那么正式环境的时候,一般都是,用流式数据,流式数据的来源,一般都是,比如
kafka,或者是消息队列对吧,但是如果我们再去搭建,消息队列,比较麻烦,这里我们
使用一个netcat工具,来进行,流式数据的模拟.
可以看到我们自己可以在win
大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010相关推荐
- 大数据_Flink_数据处理_案例WorldCount_批处理版---Flink工作笔记0008
flink给我们提供了,java和scala两套不同的api,现在我们以java来做为开发语言. 首先我们去创建一个项目. GroupId:com.atguigu ArtifactId:FlinkTu ...
- 大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如 从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
- 大数据_Flink_数据处理_流处理API_Transform(2)_滚动聚合算子_keyBy_sum_min_max_minBy_maxBy---Flink工作笔记0030
然后我们前面看了基本的转换算子,然后我们再来看 数据聚合相关的算子. 我们可以在DataStream中查一下,可以看到,这个里面 竟然没有reduce这样的方法对吧,那怎么办,数据怎么进行聚合啊 我们 ...
- 大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后trans ...
- 大数据_Flink_数据处理_运行时架构4_作业调度原理及思考问题---Flink工作笔记0019
首先我们来看这个过程,可以看到 1.比如我们写了一段代码,有可能用java写的,有可能用scala写的,这个代码,首先会生成一个数据流图,然后这个数据流图可以通过客户端client 2.提交给jobm ...
- 大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020
1.并行计算不同的任务,分配到不同的线程上就可以并行计算了 2.然后并行任务,现在我们知道,如果我们设置的并行度是3,那么这里需要的slot就是3个对吧 这个跟任务的最大并行度有关 3.然后就是我们写 ...
- 大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道 两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
- 大数据_Flink_数据处理_运行时架构6_slot和并行度的关系---Flink工作笔记0021
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧. 然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然 ...
- 大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到 首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
最新文章
- JAVA C++ 左花括号{该另起一行写还是写在行尾的思考
- SpiderData 2019年2月12日 DApp数据排行榜
- 安装网关报mysql服务ini_linux 操作系统下ORACLE数据库使用透明网关连接MYSQL
- sklearn支持gpu_Keras Sklearn随机搜索GPU OOM
- 重拾Javascript (四) KnockoutJs使用
- 集群、负载均衡、分布式
- 一分钟了解:物联网在医疗领域的应用(视频)
- python调用oracle过程 权限不足_Python连接Oracle的一些坑以及出现原因和解决方法...
- 有时候能讲出来,比沉默要好吧
- linux sd卡空间,充分利用树莓派中的SD卡空间
- python标准库——sys模块
- VSZ、RSS、Pss的区别和含义
- SPI协议详解(图文并茂+超详细)
- Delphi 鼠标移动
- 逆向CS生成的exe马
- ArcGIS笔记1_如何为shapefile要素定义坐标系
- Misumi米思米数据线驱动无法安装
- VOIP技术的专业性网站
- Python tkinter库:简易画板(笔、直线、矩形、圆形和橡皮擦工具+导入、保存、撤销、清屏功能)
- WebForm与MonoRail
热门文章
- sparkpython效率低_Effective PySpark(PySpark 常见问题)
- 源码编译安装PHP7.4,解决openssl,libxml2,libcurl依赖的问题
- Oracle完全手册,Oracle_11g+Oracle Sqldeveloper 安装完全手册(for win 7 64x)
- PSIM软件学习---02 原件模型
- STM8学习笔记---定时器 TIM1功能实现
- Spring写第一个程序HelloSpring
- SpringMVC 过滤非法字符
- 安装python的pip模块
- sencha touch 彩色图标按钮(button+ico)
- MFC不能用UpdateData的解决方法