Spark（1）——spark基本原理与启动

spark在离线计算方面可以类比于mapreduce，它完美的运用内存来进行计算，效率比mapreduce要高得多。
在spark这个大框架下，spark-core和sparksql都是处理离线数据的，但是明显要比mapreduce要快得多。而sparkstreaming是一个准实时（不是立刻处理，而是有一个batch，间隔一段时间后再获取数据）的对数据流处理框架，仅仅比storm和flink这样来一条就立刻处理一条的框架慢一些。
RDD（弹性分布式数据集）
spark中操作的数据最终都会转成对RDD的操作，RDD会在多个节点上进行保存，RDD也像HDFS那样，会切分成几个partition，就像hdfs里的数据被切分成block那样。
ps：RDD是不可变的，如果要对RDD进行修改，RDD会保存出一个新的RDD，而不会在原来的RDD上直接进行修改，这样在新的RDD丢失时，可以回退到上一个RDD重新进行数据处理。
在启动之前，一定要开启hdfs服务和yarn服务，启动Spark，先加入到环境变量中，随后输入pyspark即可启动：

Spark（1）——spark基本原理与启动相关推荐

Spark On Yarn基本原理及部署
文章目录 Spark On Yarn基本原理 Spark On Yarn架构图 Spark On Yarn部署及测试 Spark On Yarn基本原理对于企业来说,如果在已有的Yarn群集的前提下 ...
spark笔记spark优化
基本概念(Basic Concepts) RDD - resillient distributed dataset 弹性分布式数据集 Operation - 作用于RDD的各种操作分为transfor ...
Spark之 spark简介、生态圈详解
来源:http://www.cnblogs.com/shishanyuan/p/4700615.html 1.简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorith ...
Spark之Spark角色介绍及运行模式
Spark之Spark角色介绍及运行模式集群角色运行模式 1. 集群模式从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点: Master节点主要运行集群 ...
Hive on Spark和Spark sql on Hive，你能分的清楚么
摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序. 本文分享自华为云社区<Hive on Spark和Spark sql o ...
外部数据源之 Plugin 可插拔的方式整合到Spark中/Spark源码中
一:概念理解 Plugin 可插拔的方式整合到Spark中/Spark源码中为了在用外部数据源读取文件的时候,本来读取是valui 使他变成一个带schema的df 有具体的信息外部数据源就是把很 ...
Spark认知Spark环境搭建
Spark认知&Spark环境搭建 1 Spark认知篇 1.1 什么是Spark? 1.2 Spark 特点 1.2.1 快 1.2.2 易用 1.2.3 通用 1.2.4 兼容性 1.3 ...
大数据入门之分布式计算框架Spark(2) -- Spark SQL
1.Spark SQL概述一个运行在Spark上执行sql的处理框架,可以用来处理结构化的数据[外部数据源(访问hive.json.parquet等文件的数据)]. Spark SQL提供了SQL的 ...
大数据入门之分布式计算框架Spark(3) -- Spark Streaming
1.概述 Spark Streaming将不同的数据源,经过处理之后,结果输出到外部文件系统. 特点:低延时:能从错误中高效地恢复过来:能够运行在成百上千的节点上:能够将批处理.机器学习.图计算等子框 ...
Spark系列—spark简介
最近比较空,总结一下spark相关的知识. 一.Spark简介 spark是一种大规模数据处理的统一分析引擎,且基于内存计算的大数据并行计算框架.具有如下特性: 1.高效性体现在内存存储中间计算结果 ...

Spark（1）——spark基本原理与启动

Spark（1）——spark基本原理与启动相关推荐

最新文章

热门文章