Spark精华问答 | Spark 会替代Hadoop 吗?
戳蓝字“CSDN云计算”关注我们哦!
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第一代产品使用HDFS,第二代加入了Cache来保存中间计算结果,并能适时主动推Map/Reduce任务,第三代就是Spark倡导的流Streaming。今天,就让我们一起来看看关于它的更加深度精华问答吧!
1
Q:目前那些行业在用Spark处理大数据?
A:Spark技术在国内外的应用开始越来越广泛,它正在逐渐走向成熟,并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如:一直支持Hadoop的四大商业机构(Cloudera、MapR、Hortonworks、EMC)已纷纷宣布支持Spark;Mahout前一阶段也表示,将不再接受任何形式以MapReduce实现的算法,同时还宣布了接受基于Spark新的算法;而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark;另外,Google也已经开始将负载从MapReduce转移到Pregel和Dremel上;FaceBook也宣布将负载转移到Presto上……,淘宝、优酷土豆、网易、百度、腾讯等国内大型知名企业已经在商业生产环境下开始使用Spark技术;Intel、IBM、Linkin、Twwitter等国外大型知名企业也都在大力支持Spark。
2
Q:Spark 会替代Hadoop 吗?
A:Hadoop在云计算大数据发展的早期做出了卓越的贡献,其MapReduce模型极大的简化了海量数据的分析。随着大数据多重处理例如迭代计算、机器学习、图计算等和低延迟交互式查询的需求爆发式的增长,Hadoop在架构的先天缓慢性导致了其无法满足人们在处理大数据时候的复杂计算和快速响应,Spark应运而生。
Hadoop的HDFS已经成为大数据存储的实施标准,例如淘宝内部有多带大数据处理系统,但是存储系统统一采用HDFS,其HDFS集群规模超过5000台,现在的Spark一般情况下都是从HDFS上获取数据并把计算后的数据交给HDFS。
Yarn这个资源管理框架也正在成为事实的群集资源管理标准,极大的简化了多套系统下资源的管理和数据的共享。
Spark会取代Hadoop的计算框架MapReduce,现在Hadoop的世界上最知名的四大发行商都正在由MapReduce转向Spark。Spark会成为大数据时代通用的计算平台。
3
Q:开发Spark程序,用Python和Scala区别大吗?
A:就代码的风格而言是不大的;世界上也有很多人使用Python开发Spark程序;但是最为推荐的是Scala,因为Spark框架是用Scala编写的,在API方面对Scala的支持也是最好的。
4
Q:SPARK环境需要哪些? 除了HDFS基础,有SPARK集成包么?
A:Spark的安装需要Hadoop的HDFS;Spark有自己的集成包,但是依旧需要HDFS的配合;同时Spark也可以部署到亚马逊云上。
5
Q: groupbykey是排好序的吗?分组排序 怎么实现?
A:groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的;要想分组排序,首先要使用groupByKey完成分组功能,然后使用sortWith这个函数对指完成排序实现。
小伙伴们冲鸭,后台留言区等着你!
关于Spark,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……
同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~
福利
1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!
2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!
推荐阅读:
全面剖析企业私有云
30 秒?!Chrome 插件带你速成编程学习 | 程序员硬核评测
为什么程序员下班后只关显示器从不关电脑?
算法警告!该图片涉嫌违规不予显示
交易机器人春天已来?先看完这篇再说吧
2019年中国IT市场趋势热点
2019年最值得关注的五大微服务发展趋势
喜欢就点击“好看”吧
Spark精华问答 | Spark 会替代Hadoop 吗?相关推荐
- Spark精华问答 | Spark和Hadoop的架构区别解读
总的来说,Spark采用更先进的架构,使得灵活性.易用性.性能等方面都比Hadoop更有优势,有取代Hadoop的趋势,但其稳定性有待进一步提高.我总结,具体表现在如下几个方面. 1 Q:Spark和 ...
- Spark精华问答 | spark性能优化方法
Hadoop再火,火得过Spark吗?今天我们继续关于Spark的精华问答吧. 1 Q:影响性能的主要因素是什么? A:网络传输开销大 硬件资源利用率低 同一资源的复用率低 2 Q:优化的方向有哪些? ...
- Spark精华问答 | spark的组件构成有哪些?
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
- Spark精华问答 | Spark的计算方法是什么?
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
- Spark精华问答 | Spark的三种运行模式有何区别?
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
- Spark精华问答 | Spark做大规模高性能数值计算可以吗?
Spark作为一个用来实现快速而通用的集群计算的平台.扩展了广泛使用的MapReduce计算模型,而且高效地支持更多的计算模式,在处理大规模数据集的时候,速度是非常重要的.Spark的一个重要特点就是 ...
- 写好python的代码怎么放在spark上跑_Spark精华问答 | spark的组件构成有哪些?
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
- Spark精华问答 | RDD的核心概念是什么?
Hadoop再火,火得过Spark吗?今天我们继续关于Spark的精华问答吧. 1 Q:RDD的核心概念是什么? A:Client:客户端进程,负责提交作业到Master. Master:Standa ...
- Spark精华问答:DataFrame与RDD的主要区别在哪?
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.目前的热度已经超过Hadoop,正所谓青出于蓝而胜于蓝,今天我们就来看看关于park 的精华问答吧. 1 Q:DataFram ...
最新文章
- 『高级篇』docker容器来说什么是微服务(三)
- websocket实现多屏互动_“京东11.11直播超级夜”正式官宣,跨屏互动新玩法燃爆11.11...
- ftp服务器在线查看文件内容,ftp服务器PDF文件在线查看的实现方法
- httpd2.2配置文件详解
- Objective-C 和 Core Foundation 对象相互转换的内存管理总结
- easyui 隐藏input_Easyui-Datebox设置隐藏或者不可用如何解决
- 软件冒烟测试报告,冒烟测试方法及报告模板
- win10 重置登录账户密码
- sqli-labs(28-28a)
- Linux下C语言开发
- html 输入框 大于0,【前端】input输入框只能输入大于等于0的正数
- 一、Filter的配置项dispatcher
- 使用阿里云服务器安装微擎教程环境搭建
- Python实现将一张图片放到另一张图片指定的位置上并合成一张图
- Linux目录结构,命令,文件类型学习
- 【Linux】解决可恶的 “NIC Link is Down”
- POI导入导出Excel数据(IDEA版)简单运用
- 微服务化的不同阶段 Kubernetes 的不同玩法
- 通过emmc分区挂载根文件系统
- R语言使用lm函数构建多元回归模型(Multiple Linear Regression)、使用step函数筛选最合适的回归变量(逐步回归筛选预测变量的最佳子集)
热门文章
- nodejs操作sqlserver数据_nodejs基于mssql模块连接sqlserver数据库的简单封装操作示例...
- 苏炳添:发C刊与拿冠军相比,哪个更难?
- 那个 14 岁上大学、17 岁读博、24 岁当教授的天才神童,如今怎么样了?
- 专注于皮肤病理诊断技术研发,贝叶科技赋予AI诊断可解释能力
- 甜甜圈和拓扑学也有关系,你想的到吗?
- 硅谷的高科技公司与“抵消战略”
- 路透社2017年度最佳图片,向你展示地球过去的一年
- html带正方形项目列表,5种简单实用的css列表样式实例,可以直接用到项目中。...
- vim grep配置及使用
- 当设计模式遇上 Hooks