大数据学习（10）--流计算

2024-06-11 07:23:36

文章目录

目录
- 1.流计算的概述
- - 1.1 什么是流数据？
  - 1.2 批量计算和实时计算
  - 1.3 流计算的概念
  - 1.4 流计算和Hadoop
  - 1.5 流计算框架
- 2.流计算的处理流程
- - 2.1 流计算处理基本概念
  - 2.2 数数据的实时获取
  - 2.3 数据的实时计算
  - 2.4 实时查询任务
- 3.流计算的应用和开源框架Strom
- - 3.1 流计算应用
  - - 3.1.1 应用1：实时分析
    - 3.1.1 应用2：实时交通
  - 3.2 开源框架strom
  - - 3.2.1 strom简介
    - 3.2.2 strom的特点
    - 3.2.3 strom设计思想
    - 3.2.4 strom框架设计
- 4.spark streaming
- - 4.1 设计思想
  - 4.2 spark streaming 和 strom的对比
- 5.Samza
- - 5.1 基本概念
  - 5.2 系统架构
- 6.strom,spark streaming 和samza的应用场景
- 7.Strom编程实践
- - 7.1 编写strom程序
  - 7.2 安装strom的基本过程
  - 7.3 运行strom程序
- 8.总结

目录

1.流计算的概述

1.1 什么是流数据？

静态数据-数据仓库

流数据-物联网传感器数据

1.2 批量计算和实时计算

1.3 流计算的概念

1.4 流计算和Hadoop

1.5 流计算框架

2.流计算的处理流程

2.1 流计算处理基本概念

传统批处理

流计算

主要体现的就是数据的实时性！

2.2 数数据的实时获取

2.3 数据的实时计算

2.4 实时查询任务

3.流计算的应用和开源框架Strom

3.1 流计算应用

3.1.1 应用1：实时分析

3.1.1 应用2：实时交通

3.2 开源框架strom

3.2.1 strom简介

3.2.2 strom的特点

3.2.3 strom设计思想

3.2.4 strom框架设计

4.spark streaming

4.1 设计思想

4.2 spark streaming 和 strom的对比

5.Samza

5.1 基本概念

5.2 系统架构

6.strom,spark streaming 和samza的应用场景

7.Strom编程实践

7.1 编写strom程序

7.2 安装strom的基本过程

参考博客

7.3 运行strom程序

8.总结

大数据学习（10）--流计算相关推荐

什么是大数据「实时流计算」？深度解析它的4大应用及4个特点
导读:火灾已经爆发后才知道救火,交通已经阻塞后才知道疏通,羊毛已经被"羊毛党"薅光后才知道堵上漏洞,股价已经拉升后才知道后悔--为什么我们不能在这些事情发生之前,或者至少是刚刚发生 ...
zw·10倍速大数据与全内存计算
zw·10倍速大数据与全内存计算 zw全内存10倍速计算blog,早就在博客园机器视觉栏目发过,大数据版的一直挂着,今天抽空补上. 在<零起点,python大数据与量化交易>目录中 htt ...
大数据学习规划（新手入门）
前言: 一.背景介绍二.大数据介绍正文: 一.大数据相关的工作介绍二.大数据工程师的技能要求三.大数据学习规划四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...
【2016年第4期】大数据时代的简约计算
张家琳,孙晓明中国科学院计算技术研究所,北京 100190 摘要:大数据存储和分析的能力是未来创新型国家的核心战略能力.当前关于大数据的理论研究在共性问题提炼.方法论框架和实时数据算法理论上仍存在一 ...
大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
大数据学习路线2019版（附全套视频教程及网盘下载）
什么是大数据? 大数据(BIG DATA)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的 ...
大数据学习路线详解，零基础学大数据学习路线
在大数据蓬勃发展的现今,大家都看到了大数据未来不可限量的发展前景,跟着科技发展的潮流,不断学习新的技术知识,科多大数据相信,成为人生赢家不在话下. 大数据的三个发展方向,平台搭建/优化/运维/监控.大 ...
大数据学习计划【2019经典不断更新】
我为什么要学习大数据:因为我不喜欢现在国企的工作氛围,不看好这个行业,另外我通过多方渠道了解到,其中包括李笑来.凯文凯利.和各种新闻及文章,现在我们正处于大数据时代,我是一个不安于现状.喜欢探索顺应时 ...
2023版大数据学习路线图（适合自学）
随着信息产业的迅猛发展,大数据应用逐渐落地,行业人才需求量逐年扩大.大数据成为目前最具前景的高薪行业之一,大数据分析工程师.大数据开发工程师等大数据人才也成为市场紧缺型人才,薪资一涨再涨. 很多人想要 ...
大数据学习之路 JUC篇
大数据学习之路 JUC篇(1) 前提说明本人是一名学生,茫茫it行业的一名卑微的小白,这是我第一次写博客.其原因是学着学着知识发现回顾的时候差不多全忘记了!!为了总结.复习自己以往学到过的有关大数据 ...

最新文章

热门文章