Spark - 大数据Big Data处理框架

2024-05-26 11:27:39

　Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。

　　Spark是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果，并能适时主动推Map/Reduce任务，第三代就是Spark倡导的流Streaming。

　　Spark兼容Hadoop的APi，能够读写Hadoop的HDFS HBASE 顺序文件等。

　　传统Hadoop如下图性能慢原因有：磁盘IO 复制和序列化等等，涉及图中的HDFS

而在Spark中，使用内存替代了使用HDFS存储中间结果：

Spark架构图

Spark的编程模型

弹性的分布数据集(RDD) ：分布式对象集合能够跨集群在内存中保存。多个并行操作，失败自动恢复。

使用内存集群计算，内存访问要比磁盘快得多。有Scala Java Python API,能够从Scala和Python访问。

下面是一个简单的对日志log计数的代码：

/*** SimpleJob.scala ***/

import spark.SparkContext
import SparkContext._

object SimpleJob {
def main(args: Array[String]) {

val logFile = "/var/log/syslog" // Should be some file on your system
val sc = new SparkContext("local", "Simple Job", "$YOUR_SPARK_HOME",
List("target/scala-2.9.3/simple-project_2.9.3-1.0.jar"))
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}

运行原理图：

当进行filter操作是，是一种transformed RDD，RDD跟踪这种转换，当有数据丢失失败时，重新计算得到这个数据。

Spark支持物流logistic表达式，如下图：

物流表达式相比Hadoop的遍历性能：

支持以下数据分析操作：

Spark流处理

以推流方式处理数据：

Shark

Shark是基于Spark上的“Hive”，看看基于hadoop的Hive：

而Shark的结构图：

Hive是记录每行记录一个对象，而shark是每列记录：

执行SQL时间对比：

Spark - 大数据Big Data处理框架相关推荐

大数据Big Data
转载自大数据Big Data 2012年本站曾对大数据预测:如果说2012年是大数据概念为人所知.引人瞩目.小试牛刀的一年,那么2013年大数据将会实现产品部署,早期投资获得回报,一小部分的产业被 ...
认知：大数据-Big Data
大数据-Big Data 作者 | WenasWei 一大数据大数据(Big Data)也称为海量数据(Massivee),是随着计算机技术及互联网技术的高速发展而产生的数据现象,2013年也称为 ...
Spark大数据分布式机器学习处理实战
前言 Spark是一种大规模.快速计算的集群平台,本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处.有关框架介绍和环境配置可以参考以下内容: 大数据处理框架 ...
大数据(big data)_如何使用Big Query＆Data Studio处理和可视化Google Cloud上的财务数据...
大数据(big data) 介绍 (Introduction) This article will show you one of the ways you can process stock pri ...
Ronald Van Loon/Greg White带你领略Hadoop/Spark大数据CCA175认证（一）
目录圣普伦Simplilearn课程概述: 圣普伦的Hadoop/Spark大数据CCA175认证培训课程特点: 上课模式: 预修课程: 适合人群主要学习成果: 认证考试: 认证条件: 课程设置: ...
Spark大数据技术与应用第一章Spark简介与运行原理
Spark大数据技术与应用第一章Spark简介与运行原理 1.Spark是2009年由马泰·扎哈里亚在美国加州大学伯克利分校的AMPLab实验室开发的子项目,经过开源后捐赠给Aspache软件基金会 ...
王家林大咖新书预发布：清华大学出版社即将出版《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版及《企业级AI技术内幕讲解》
王家林大咖新书预发布:清华大学出版社即将出版<Spark大数据商业实战三部曲:内核解密|商业案例|性能调优>第二版,新书在第一版的基础上以Spark 2.4.3版本全面更新源码,并以Ten ...
政府大数据治理体系的框架及其实现的有效路径
政府大数据治理体系的框架及其实现的有效路径安小米1,2,郭明军1,洪学海3,魏玮1 1 中国人民大学信息资源管理学院,北京 100872 2 数据工程与知识工程教育部重点实验室(中国人民大学),北京 ...
2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!
2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作<SPARK大数据商业实战三部曲>畅销书籍清华大学出版社发行上市! 本书基于Spark 2.2.0新版本,以Spark商业案例实战 ...

最新文章

热门文章