为什么选择spark

原因

随着互联网规模的爆发式增长，不断增加的数据量要求应用程序能够延伸到更大的集群中去计算。
与单台机器计算不同，集群计算引发了几个关键问题，如
集群计算资源的共享
单点宕机（单点死机的意思）
节点执行缓慢
程序的并行化。针对这几个集群环境的问题，许多大数据处理框架应运而生。
比如Google的MapReduce，它提出了简单、通用并具有自动容错功能的批处理计算模型。但是MapReduce对于某些类型的计算并不适合，比如
交互式（对话的方式一问一答，相互的那种）
流式计算（对数据流进行实时计算）

基于这种类型需求的不一致性，大量不同于MapReduce的专门数据处理模型诞生了，如GraphLab、Impala、Storm等。大量数据模型的产生，引发的后果是对于大数据处理而言，针对不同类型的计算，通常需要一系列不同的处理框架才能完成。这些不同的处理框架由于天生的差异又带来了一系列问题：
重复计算、
使用范围的局限性、
资源分配、
统一管理
又出现了这些问题，spark诞生了
要注意这些问题，不同的时间段出现不同的问题，有不同的解决方法

为什么选择spark相关推荐

Spark精华问答 | 为什么选择Spark作为流计算引擎？
总的来说,Spark采用更先进的架构,使得灵活性.易用性.性能等方面都比Hadoop更有优势,有取代Hadoop的趋势,但其稳定性有待进一步提高.我总结,具体表现在如下几个方面. 1 Q:为什么选择K ...
个推 Spark实践教你绕过开发那些“坑”
Spark作为一个开源数据处理框架,它在数据计算过程中把中间数据直接缓存到内存里,能大大地提高处理速度,特别是复杂的迭代计算.Spark主要包括SparkSQL,SparkStreaming,Spar ...
spark on k8s:apache YuniKorn（Incubating）的助力
背景为什么选择spark on k8s Apache Spark 作为一站式平台统一了批处理,实时处理,流分析,机器学习,以及交互式查询.虽然说spark 提供了多样的使用场景,但是也带来了额外的复 ...
中国Spark技术峰会（上）：Spark与生态圈中组件结合实战
5月13日-15日,由全球最大中文IT社区CSDN主办的"2016中国云计算技术大会"(Cloud Computing Technology Conference 2016,简称C ...
Spark 调研报告
1.总结部分什么是Spark? Spark是个通用的集群计算框架 Spark用来做什么? 分发数据,分发计算 Spark的主要应用领域? 机器学习,最优化算法为什么选择Spark? Spark对迭 ...
Spark Streaming 实时计算在甜橙金融监控系统中的应用、性能优化、任务监控
1 写在前面目前公司对实时性计算的需要及应用越来越多,本文选取了其中之一的 Spark Streaming 来介绍如何实现高吞吐量并具备容错机制的实时流应用.在甜橙金融监控系统项目中,需要对每天亿万 ...
SegmentFault D-Day 北京：大数据
很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动.此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一 ...
大数据分析-考试复习
Exam-整理 1. 选择题设计分布式数据仓库Hive的数据表时,为取样更高效,一般可以对表中的连续字段进行分桶操作. 客户端首次查询HBase数据库时,首先需要从-ROOT-表开始查找. HBas ...
我们为什么选择Kubernetes
[编者的话]这篇文章介绍了作者在选择容器编排工具过程中的一些总结和经验,各个编排工具的特性比较,以及自己团队为什么选择Kubernetes. 几个月前,我开始调研Docker容器的编排工具,例如一些可 ...

为什么选择spark

原因

为什么选择spark相关推荐

最新文章

热门文章