大数据 -- Spark

Spark体系架构

zhuangzai

Spark体系架构包括如下三个主要组件：

数据存储
API
管理框架

接下来让我们详细了解一下这些组件。

数据存储：

Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源，包括HDFS，HBase，Cassandra等。

API：

利用API，应用开发者可以用标准的API接口创建基于Spark的应用。Spark提供Scala，Java和Python三种程序设计语言的API。

下面是三种语言Spark API的网站链接。

Scala API
Java
Python

资源管理：

Spark既可以部署在一个单独的服务器也可以部署在像Mesos或YARN这样的分布式计算框架之上。

下图2展示了Spark体系架构模型中的各个组件。

图2 Spark体系架构

大数据 -- Spark相关推荐

2016年大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析
2016年大数据Spark"蘑菇云"行动代码学习之AdClickedStreamingStats模块分析系统背景:用户使用终端设备(IPAD.手机.浏览器)等登录系统,系 ...
光环大数据spark文档_推荐大数据Spark必读书目
我有一个非常要好的同事,无数次帮我解决了业务上的痛.技术能力很强,业务方面也精通.而且更耐得住加班,并且是自愿加班,毫无怨言.不像我,6点到准时走人了.但就是这么一位兢兢业业的技术人,却一直没有升职加 ...
大数据|Spark技术在京东智能供应链预测的应用案例深度剖析（一）
大数据|Spark技术在京东智能供应链预测的应用案例深度剖析(一) 2017-03-27 11:58 浏览次数:148 1. 背景前段时间京东公开了面向第二个十二年的战略规划,表示京东将全面走向技 ...
推荐大数据Spark必读书目
点击蓝色"有关SQL"关注我哟加个"星标",天天与10000人一起快乐成长我有一个非常要好的同事,无数次帮我解决了业务上的痛.技术能力很强,业务方面也精通. ...
大数据Spark超经典视频链接全集
论坛贴吧等信息发布参考模板 Scala.Spark史上最全面.最详细.最彻底的一整套视频全集(特别是机器学习.Spark Core解密.Spark性能优化.Spark面试宝典.Spark项目案例等). ...
大数据Spark入门案例5–统计广告点击数量排行Top3(scala版本)
大数据Spark入门案例5–统计每广告点击数量排行Top3(scala版本) 1 数据准备链接:https://pan.baidu.com/s/1afzmL-hNsAJl1_gx_dH2ag 提取码 ...
大数据Spark企业级实战与Hadoop实战PDF和PPT
今天给大家分享的是<大数据Spark企业级实战>与<Hadoop实战><大数据处理系统·Hadoop源代码情景分析><50个大厂大数据算法教程>等销量排 ...
大数据Spark实战视频教程-张长志-专题视频课程
大数据Spark实战视频教程-33364人已学习课程介绍大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装.Spark表配置.平台搭建.快学Scala入门.Sp ...
大数据Spark企业级实战 PDF 下载和目录
大数据Spark企业级实战 PDF完整版下载地址 http://download.csdn.net/detail/laoge/9504794 基本信息书名:大数据Spark企业级实战定价:12 ...
大数据Spark “蘑菇云”行动第103课：Hive源码大师之路第一步：Hive源码思考和解析初体验
大数据Spark "蘑菇云"行动第103课:Hive源码大师之路第一步:Hive源码思考和解析初体验老师上课使用的Hive源码下载地址:http://www-eu.apache. ...

大数据 -- Spark

Spark体系架构

大数据 -- Spark相关推荐

最新文章

热门文章