Spark介绍系列01_李孟_新浪博客
Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。Spark得到了众多大数据公司的支持,这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于凤巢、大搜索、直达号、百度大数据等业务;阿里利用GraphX构建了大规模的图计算和图挖掘系统,实现了很多生产系统的推荐算法;腾讯Spark集群达到8000台的规模,是当前已知的世界上最大的Spark集群。
二.学习目的
动物园中,MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。
三.特点
快:与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。
易用:Spark支持Java、Python和Scala的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。
通用:Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力,毕竟任何公司都想用统一的平台去处理遇到的问题,减少开发和维护的人力成本和部署平台的物力成本。
兼容:Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。
--------------很多内容官网可以看到,未完待续
Spark介绍系列01_李孟_新浪博客相关推荐
- hue介绍系列02_李孟_新浪博客
配置cd /etc/hue/conf vi hue.ini desktop default_hdfs_superuser hadoop HDFS管理用户 desktop http_host 10.1 ...
- ambari报错总结01_李孟_新浪博客
ambari On host centos1.hadoop role YARN_CLIENT in invalid state. Invalid transition. Invalid event: ...
- hbase报错总结01_李孟_新浪博客
1.The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value co ...
- hadoop报错总结01_李孟_新浪博客
1.进行矩阵计算的时候,由于持续时间长,往往会出现超时的错误,错误内容如下: INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_00 ...
- 将博客搬至CSDN_李孟_新浪博客
以后关于技术文章,主要都放在CSDN上,地址:李孟的博客
- jvm系列_李孟_新浪博客
url:jvm系列--GC url:jvm系列--堆分析 url:jvm系列--监控工具 url:jvm系列--类加载器 url:jvm系列--锁
- Ambari介绍_李孟_新浪博客
Ambari目标 解决Hadoop生态系统部署 部署:hadoop组件间有依赖,包括配置.版本.启动顺序.权限配置等. 部署过程跟踪.能够展示出部署过程中每个步骤的状态及相关信息. 多机部署问题,当集 ...
- Express框架介绍_李孟_新浪博客
npm提供了大量的第三方模块,其中不乏许多Web框架,我们没有必要重复发明轮子,因而选择使用Express作为开发框架,目前最稳定且唯一一个Web开发框架. 提供更高层的接口外,还实现了许多功能,如下 ...
- kafka系列--简介_李孟_新浪博客
Kafka简介: 1.Apache Kafka是一个开源消息系统,由scala写成.是由Apache软件基金会开发的一个开源消息系统项目. 2. Kafka最初是由LinkedIn开发,并于2011年 ...
最新文章
- Linux上的WebSphere MQ开发快速入门
- Mysql清理binlog日志
- python需要学数据结构吗_Python新手学习基础之数据结构-对数据结构的认知
- lduan SCCM 2012 介绍及SQL部署(一)
- 2021-01-24
- Tomcat的角色配置
- 国内学术期刊名录·2012 年版
- 个人MD风格博客系统(未完成)
- python spearman相关系数_Pearson、Spearman秩相关系数、kendall等级相关系数 (附python实现)...
- PS如何删除智能图层为可编辑状态
- 求刷百度相关词的方法
- [转]30个总结JVM虚拟机的技术文排版好(收藏版)
- android:layout_height=match_parent和android:layout_marginTop=100dp同时作用
- 算法实现: 在二叉树中找到两个节点的最近公共祖先
- android获取app使用时间,android如何获取系统里各个应用的使用时间
- csrf攻击与防护—2用flask简单演示防范csrf攻击之referer
- Android视频背景,动态背景,Android用视频做背景的轻松实现
- 【Java 数据结构】树和二叉树
- 岚图汽车中大型智能电动SUV完成高温高原严苛测试
- Appium 点击操作梳理
热门文章
- 完全竞争市场的含义和特征
- Java8新特性 Lambda、Stream、Optional实现原理
- oem718d 基准站设置_「北斗终端设备」诺瓦泰NovAtel OEM718D全系统多频单机测向板卡-北京创宇星通-马可波罗网...
- java通用dao_java通用DAO | 学步园
- oracle未过账凭证删除,金蝶凭证已过账不能删除
- c++ gdal 矢量转栅格_GDAL矢量转栅格
- SAS编程|SDTM-DM人口学域
- 计算机科学与技术检修建筑学,2020年东南大学最好专业排名:43个专业上榜,建筑学居全国前5%!...
- 办公室局域网监控员工上网记录合适吗?
- SSH客户端Putty与多标签的Putty CM(puttycm)/MTPutty的配置使用方法