大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取,
然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出
对吧.
transformation这个步跟spark不一样,不会区分转换算子和启动算子.
然后我们再看,把上面的 程序代码分成了3个部分以后,再去看可以看成一个数据流图了,
其实就是数据流的流动对吧,流动的各个阶段做了各种处理,这里要注意,可以看到输入source,这里
可以有多个,源数据的流也可以有多个,然后sink,也可以有多个对吧,因为这里输出sink,可以输出到
mysql,也可以输出到redis,csv等等,可以有多个输出.
然后上面的这个数据流图可以看到他是一个有向无环图对吧.
大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022相关推荐
- 大数据_Flink_数据处理_运行时架构6_slot和并行度的关系---Flink工作笔记0021
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧. 然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然 ...
- 大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到 首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
- 大数据_Flink_数据处理_运行时架构4_作业调度原理及思考问题---Flink工作笔记0019
首先我们来看这个过程,可以看到 1.比如我们写了一段代码,有可能用java写的,有可能用scala写的,这个代码,首先会生成一个数据流图,然后这个数据流图可以通过客户端client 2.提交给jobm ...
- 大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道 两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
- 大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020
1.并行计算不同的任务,分配到不同的线程上就可以并行计算了 2.然后并行任务,现在我们知道,如果我们设置的并行度是3,那么这里需要的slot就是3个对吧 这个跟任务的最大并行度有关 3.然后就是我们写 ...
- 大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017
1.首先先去提交任务,这个提交任务可以是在网页端后台,也可以是在命令行提交任务. 在网页端后台提交就是flink的网页管理端对吧. 2.第1步任务将会被提交到分发器 3.第2步分发器会把任务转交给jo ...
- 大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010
前面我们已经写好了,流式数据处理的案例了. 但是我们执行的时候可以看到,我们输入的流,实际上是我们准备的一个文件对吧. 一个Text文件,实际上不算是一个流式数据源 那么正式环境的时候,一般都是,用流 ...
- 大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如 从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
- 大数据_Flink_数据处理_流处理API_Transform(2)_滚动聚合算子_keyBy_sum_min_max_minBy_maxBy---Flink工作笔记0030
然后我们前面看了基本的转换算子,然后我们再来看 数据聚合相关的算子. 我们可以在DataStream中查一下,可以看到,这个里面 竟然没有reduce这样的方法对吧,那怎么办,数据怎么进行聚合啊 我们 ...
最新文章
- Google Maps API v2 android版本开发 国内手机不支持google play Service相关问题解决--图文教程
- python反射机制_详解python之反射机制
- Allegro禁布区打过孔或走线消除DRC错误
- linux系统日志_第十二章:走进Linux世界——系统日志管理,日志轮转。
- pytorch functional
- NS2相关学习——完成一个新协议(2)
- 软件测试基础课程学习笔记7---如何撰写测试报告
- 清华大学人工智能研究院知识中心成立仪式隆重举行,发布知识计算开放平台...
- HTML复选框可以设置为只读吗?
- paip.版本控制CVS-SVN-TFS总结
- SVN安装包汉化VS插件
- 2022 最新Robots.txt文件教程
- 好看动漫+电影+电视剧分享
- 一步一步来制作CSS3 3D旋转相册
- c语言随机漫步,【读书笔记】《随机漫步的傻瓜》随机之美
- 前馈神经网络FNN(原理及实现)
- android 存储卡 合并,安卓手机合并内存卡到内置存储
- 什么是面向对象、面向过程与面向对象的区别
- Google Earth Engine(GEE)——全球河流宽度数据集1970—2017年
- 合并HEX文件的一种方法
热门文章
- python多线程,多进程,线程池,进程池
- QList和QVector等容器的区别
- C++中如何表示2进制,8进制、16进制变量
- QT界面大小自动变化
- 吴恩达深度学习4.2练习_Convolutional Neural Networks_the Happy House(Keras)
- 一个核物理学霸为何两次收到BlackHat的邀请
- 最短路径Shortest Path algorithm
- Linux设备模型(9)_device resource management ---devm申请空间【转】
- weblogic 12C集群环境下的session复制
- cassendra数据模型