大数据计算引擎发展的四个阶段

根据一些公开资料整理，也许有失偏颇，仅供参考：

1.第一代

Hadoop 承载的 MapReduce

2.第二代

支持 DAG（有向无环图）的框架： Tez 、 Oozie，主要还是批处理任务

3.第三代

Job 内部的 DAG（有向无环图）支持（不跨越 Job），以及强调的实时计算：Spark

4.第四代

对流计算的支持，以及更一步的实时性：Flink

SparkStreaming VS Flink Streaming

转载于:https://www.cnblogs.com/liugh/p/7823480.html

大数据计算引擎发展的四个阶段相关推荐

spark大数据计算引擎原理深剖（优缺点）-spark简介
用spark,你仅仅只是调用spark的API肯定是很low的. 今天来讲讲spark的原理,并且会针对部分源码进行讲解,如有不同意见请联系本人交流探讨. 目前大数据生态主要部分是Hadoop软件框架 ...
上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？
作者简介王海涛,曾经在微软的 SQL Server和大数据平台组工作多年.带领团队建立了微软对内的 Spark 服务,主打 Spark Streaming.去年加入阿里实时计算部门,参与改进阿里基于 ...
轻量级大数据计算引擎esProc SPL,Hadoop Spark太重
前言背景:随着大数据时代的来临,数据量不断增长,传统小机上跑数据库的模式扩容困难且成本高昂,难以支撑业务发展. 应对之法:很多用户开始转向分布式计算路线,用多台廉价的PC服务器组成集群来完成大数据计 ...
大数据计算引擎之Flink Flink CEP复杂事件编程
原文地址:大数据计算引擎之Flink Flink CEP复杂事件编程复杂事件编程(CEP)是一种基于流处理的技术,将系统数据看作不同类型的事件,通过分析事件之间的关系,建立不同的时事件系序列库,并利 ...
Apache Flink 为什么能够成为新一代大数据计算引擎？
众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会.如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速 ...
Spark 凭什么成为最火的大数据计算引擎？
这年代,做数据的,没人不知道 Spark 是什么吧.作为最火的大数据计算引擎,现在基本上是各互联网大厂的标配了. 比如,字节跳动基于 Spark 构建的数据仓库,服务了几乎所有的产品线,包括抖音.今日 ...
大数据（三）大数据计算引擎
文章目录说明分享大数据计算引擎批处理 MapReduce tez 流批处理 Flink spark 总结说明本博客每周五更新一次. 介绍过大数据平台的搭建.应用和存储,本期分享下大数据计算 ...
揭秘阿里云EB级大数据计算引擎MaxCompute
日前,全球权威咨询与服务机构Forrester发布了<The Forrester WaveTM: Cloud Data Warehouse, Q4 2018>报告.这是Forrester ...
为什么Spark能成为最火的大数据计算引擎？它是怎样工作的？
导读:零基础入门Spark必读. 作者:朱凯来源:大数据DT(ID:hzdashuju) 01 概述十年前我们只有Hadoop,大家首先通过HDFS实现海量数据的共享存储,然后使用MapReduc ...

大数据计算引擎发展的四个阶段

大数据计算引擎发展的四个阶段相关推荐

最新文章

热门文章