spart快速大数据分析学习提纲(一)

Spart是什么

Spart是一个用来实现快速而而通用的集群计算平台。

在速度方面，Spart扩展了广泛使用的Mapreduce计算模型，而且高效的支持更多的计算模式，包括交互式查询和流处理。Spart的一个主要特点是能够在内存中进行计算，因而更快。即使必须在硬盘上进行复杂计算，Spart依然比Mapreduce快。

Spart适用于各种各样原先需要多种不同分布式平台的场景，包括批处理,迭代算法，交互式查询，流处理。通过在一个统一的框架下支持这些不同的计算，Spart使我们可以简单而低耗的把各种处理流程整合在一起，不仅如此这种特性还大大减轻了原先需要对各种平台分别管理的负担。

Spart Core

Spart Core实现Spart的基本功能，包含任务调度，内存管理，错误恢复，与存储系统交互。Spart Core中包含对弹性分布式数据集(RDD)的API的定义.。RDD表示分布在多个计算机节点上可以并行操作的元素的集合，是Spart主要的编程抽象。
Spart SQL

Spart SQL是Spart用来操作结构化数据的程序包，通过Spart SQL ，我们可以使用SQL或 Apache Hive版本的SQL来查询数据。
Spart Streamig

Spart Streamig是Spart提供的对实时数据进行流式计算的组件。如生产环境中网页服务器日志，或是网络服务中用户提交的状态更新组成的消息列队，都是数据流。
MLlib

Spart中提供常见的机器学习功能的程序裤，叫做MLlib。MLlib提供的机器学习算法，包括分类，回归，聚类，协同过滤，决策树，还提供模型评估，数据导入等功能。
Graphx

Graphx是用来操作图(如社交关系图)的程序库，可以进行并行的图计算。

转载于:https://www.cnblogs.com/SamllBaby/p/5695525.html

spart快速大数据分析学习提纲(一)相关推荐

python测速程序_Python大数据分析学习.测试程序执行速度
Python大数据分析学习.测试程序执行速度发布时间:2019-03-25 22:26, 浏览次数:250 , 标签: Python Here, I introduce 2 magic functi ...
大数据分析学习笔记（Z检验，分类器以及Association Rule）
大数据分析学习笔记(Z检验,分类器以及Association Rule) Task 1 – Hypothesis Testing To improve student learning perform ...
大数据分析学习哪些编程语言
大数据分析已成为21世纪最受欢迎的技术之一.由于行业对大数据分析家的需求很高,因此需要具有所需技能的人员才能精通该领域.除了数学技能外,还需要编程专业知识.但是,在获得专业知识之前,有抱负的大数据分析 ...
大数据分析学习之七天玩转SAS-张璇-专题视频课程
大数据分析学习之七天玩转SAS-674人已学习课程介绍本课程涉SAS编程基础.SAS数据获取与数据集操作.SAS变量操作.SAS观测值操作.SAS数据集管理.SAS数据汇总与展现. ...
详细解读大数据分析学习路线
以大数据分析师为目标,从数据分析基础.JAVA语言入门和linux操作系统入门知识学起,系统介绍Hadoop.HDFS.MapReduce和Hbase等理论知识和hadoop的生态环境. 一.大数据分 ...
大数据分析学习的详细解读
以大数据分析师为目标,从数据分析基础.JAVA语言入门和linux操作系统入门知识学起,系统介绍Hadoop.HDFS.MapReduce和Hbase等理论知识和hadoop的生态环境. 一.大数据分 ...
大数据分析学习Python需要多长时间
学习Python需要多长时间?你可以在短短的一两个星期内学习基本知识.扎实的基础知识(变量,函数,for循环,if-else语句等)足以帮助你解决工作中的问题或编写简单的脚本.如果你想全职使用Pyth ...
【Daticist】|（二）大数据分析学习计划(更新ing)
本文大纲来自:https://educoder.trustie.net/paths/158 目录 1.大数据基础-- 数据处理脚本语言Python 1-1 Python初体验--Hello worl ...
Python大数据分析学习资源
为方便初学者了解Python和大数据分析的入门知识,近期提供了一些新的学习资源: 1)慕课: <小白学Python>:主要为零基础的学习者提供Python,可以独立学习,目标是基本了解Py ...
（大数据分析学习）16、标准化变量的广义样本方差和总样本方差
标准化变量的广义方差: 总体样本方差:

spart快速大数据分析学习提纲(一)

spart快速大数据分析学习提纲(一)相关推荐

最新文章

热门文章