【大数据-课程】高途-天翼云侯圣文-Day3-实时计算原理解析

〇、老师及课程介绍

一、今日内容

二、实时计算理论解析

1、什么是实时计算

微批处理、流式处理、实时计算

水流和车流的例子

spark streaming就是一种微批处理，水满了才处理，进入下一个地方

流式计算：没有等待

深入：红绿灯交替的场景是微批处理，就不是流式计算了

水流的场景是流式计算时：直饮机，自来水直接可以饮用，出水的过程没有停一停等一等

其他：水流、视频流、

2、数据处理的四大概念

实时：微批处理或流式处理，20%，要求高，trouble shooting比较难

离线：80%的工作量

3、实时处理的价值

例如：送餐

4、应用场景：风控、欺诈、反欺诈

三、批处理框架比较

1、三种框架

2、storm发展历程

storm基于推特的storm自研产生

不流行的原因：开发语言不常用，准确性低，吞吐能力

阿里基于java重现，开发了jstorm

3、Spark Streaming的发展历程

为了解决准确性问题，以及吞吐量提升的问题

由流处理，转为微批处理语言

4、flink的发展历程

欧洲，德国柏林的小松鼠

5、性能对比

四、Flink介绍

1、flink在阿里的应用

2、技术栈

云计算节省成本，例如喝牛奶

流批一体，可以实现流处理，也可以实现批处理

3、适用于所有人的编程模型

越往上，越方便，越高效

越到底层，越易于troubleshooting

4、Flink核心内容-四个顶梁柱

查询状态

水印标签就是等待的时间，为了解决网络延迟带来的影响-相当于黄灯

5、无界数据流中的有限数据集

现象&技术方式-分段数汽车

数据或时间到了触发计算(汽车通行)

五、实战技术

1、技术和生活举例了解三个内容

固态水变液态水

sink：下沉

2、source

MySQL构成数据源

3、transform

通过水印标签watermark，实现了准确性

事件时间、摄入时间、处理时间

事件时间是客户端发生的时间

摄入时间是处理节点接收到的时间

处理时间是服务开始处理的时间

4、sink，把数据推送给谁

5、其他

val=value，是常量

var=variable，是变量

6、课程内容

【大数据-课程】高途-天翼云侯圣文-Day3-实时计算原理解析相关推荐

【大数据-课程】高途-天翼云侯圣文-Day2：离线数仓搭建分解
一.内容介绍昨日福利:大数据反杀熟今日:数据看板离线分析及DW数据仓库明日:实时计算框架及全流程一.数仓定义及演进史 1.概念生活中解答 2.数据仓库的理解对比商品仓库 3.数仓分层内容 ...
不错的大数据课程体系（感谢某机构，希望不属于侵权）
2019独角兽企业重金招聘Python工程师标准>>> 阶段一.大数据.云计算 - Hadoop大数据开发技术课程一.大数据运维之Linux基础本部分是基础课程,帮大家进入大数据 ...
精华 | 恩墨学院侯圣文：大数据时代下的 DBA 该何去何从？
嘉宾演讲视频 Guest Video 温馨提示: 本视频时长57分02秒,建议在 WIFI 下观看. 第七届数据技术嘉年华于 2017年11月17日-18日在北京丽都皇冠假日酒店胜利召开,全国各地技术 ...
云计算和大数据课程开课简介
云计算和大数据课程开课简介前言:小编今年还是大学的学生,这一学期学校开了有关于云计算.大数据.以及大数据仓库方面的课程,写这一系列的博客真正的意义并不在于说小编有学的多好(小编从小就是一个学渣), ...
2019大数据课程_根据数据，2019年最佳免费在线课程
2019大数据课程 As we do each year, Class Central has tallied the best courses of the previous year, based ...
2015年《大数据》高被引论文Top10文章No.7——大数据机器学习系统研究进展（上）...
2015年<大数据>高被引论文Top10文章展示 [编者按]本刊将把2015年<大数据>高被引论文Top10的文章陆续发布,欢迎大家关注!本文为高被引Top10论文的No.7, ...
大数据课程——Spark SQL
大数据课程--Spark SQL 实验内容以及要求现有一份汽车销售记录(文件名:Cars.csv),销售记录包括时间.地点.邮政编码.车辆类型等信息,每条记录信息包含39项数据项.按步骤完成如下 ...
大数据课程体系-学习笔记概要
目录目录大数据课程体系简介学习阶段不定时更新大数据课程体系简介作为一名物联网工程专业的学生,对于大数据有着不同寻常的热情,在有了一定的Android基础和J2EE基础后,希望学习更多的数 ...
打包带走极客时间大数据课程的正确姿势
"如何持续学习大数据 ,实现高效进阶?" 经常有读者让我推荐学习资源,非常开心大家能一直保持学习的习惯.其实不仅仅是大数据工程师需要学习大数据,每个软件工程师都应该学习一些大数据知 ...

【大数据-课程】高途-天翼云侯圣文-Day3-实时计算原理解析

【大数据-课程】高途-天翼云侯圣文-Day3-实时计算原理解析相关推荐

最新文章

热门文章