大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152

流处理和批处理想必,就是低延时和吞吐量高,用就用的他这个特点.

如果,数据量特别大,可能一个批处理要跑一天,这样太慢了.

上年的数据可能一跑起来就是需要12个小时这不麻烦了...

流处理可以怎么弄?

数据来的时候就可以做个计算,等下一次数据来,再做个计算把上一次计算的结果和这一次的统合起来,得到结果,

等最后用的时候,就可以直接拿到结果来用了,不用批处理那样再去等了.

2.在物联网中,对实时性要求高的,更需要这个了,比如对于汶川地震中,很多人着急联系家人可能导致,

联网设备瘫痪,这还好,只要人没事,过一两天联系上就好了,可是对于救援团队,救援物资,

这些如果联系不上怎么办,就很麻烦,那么,可不可以这样,可以调配其他地方的联网设备,来增强这个

受损的联网设备.我们flink可实现类似这样的效果.

3.另外一个场景,比如以前银行家工作时间,下午3,4点交易结束,就要做当天的交易核算,很麻烦

那么可不可以,每发生一次交易直接就做一次核算不就完了嘛,最后出个结果.这样速度就快了对吧.

开通了个人技术微信公众号:credream,有需要的朋友可以添加相互学习

大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003相关推荐

大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
车联网大数据框架_大数据基础：ORM框架入门简介
作为大数据开发技术者,需要掌握扎实的Java基础,这是不争的事实,所以对于Java开发当中需要掌握的重要框架技术,也需要有相应程度的掌握,比如说ORM框架.今天的大数据基础分享,我们就来具体讲一讲OR ...
辐流式重力浓缩池计算_注册考试重点！平流式、竖流式、辐流式、斜板式4大沉淀池构型...
[喜讯!2006-2018年注册给排水空白真题电子版.2019年注册给排水考试用规范电子版(共46本)开放下载啦!领取方式:关注本号+转发此文,私信留言"历年真题"即可获得真题下载 ...
交通流分析2：《基于公共交通大数据的上海市居民出行时空特征研究_王宇》和《面向交通拥堵预测大数据的神经网络群组快速学习_沈晴》阅读总结
上一篇的地址:https://blog.csdn.net/qq_43012160/article/details/103313749 基于公共交通大数据的上海市居民出行时空特征研究_王宇这篇论文内容 ...
大数据全栈式开发语言 – Python
前段时间,ThoughtWorks在深圳举办一次社区活动上,有一个演讲主题叫做"Fullstack JavaScript",是关于用JavaScript进行前端.服务器端,甚至数据 ...
大数据权限管理组件Apache Ranger简介和原理
大数据权限管理组件Apache Ranger简介和原理一.什么是Ranger 二.Ranger的管理页面和Ranger支持的框架三.Ranger的目标四.Ranger架构五.Ranger的工作 ...
java和大数据哪个就业前景好的专业_大数据Java学哪个好，哪个更有发展前景？...
在IT职业技能培训当中,Java开发可以说是非常经典的一个方向,行业当中对于Java开发人才,早年可以是存在长期持续性的需求.而大数据,作为近年来的新兴技术热点,也同样备受关注.因此很多人在大数据培训 ...
互联网业务实战（二）--大数据在头条的应用（离线和实时数据处理）
数据在哪里都是重要的,高考分数.股票价格,在互联网就是dau.用户时长.留存等指标.写代码也要对数据敏感,知道数据的意义是什么,又是怎么算出来的. 这篇聊下头条号的文章发出去之后,被人阅读.评论的那些 ...
AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
AI公开课:19.05.29 浣军百度大数据实验室主任<AutoDL 自动化深度学习建模的算法和应用>课堂笔记以及个人感悟导读浣军博士,汉族,1975年出生于江苏苏州, ...

大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003

大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003相关推荐

最新文章

热门文章