Spark基础之 Spark的介绍

2024-06-14 10:31:41

一、什么是Spark?

Spark是一个分布式计算框架，是由Scala语言编写完成的，是apache基金会下的顶级开源项目，和Mapresuce的作用一样，可以完成对数据的计算。

Spark与MapReduce的区别：

1、Spark是基于内存计算的，会将中间结果存放在内存，方便后续计算的使用，而MR会将中间结果存储在磁盘中。

2、内存数据的读写速度要比磁盘快很多，所以Spark的计算速度比MR快。

3、Spark的计算任务是由线程完成的。MR的计算任务是由进程完成的。线程切换计算任务的速度比进程切换计算任务速度快。

二、 Spark的特点

三、Spark的架构

技术人是用代码编织世界的工程师，用0和1构筑起这个高效而便捷的世界，让科技绽放出向善而动人的力量！一行行代码创造出更加智能而美好的生活，便捷通话视频、移动支付、在线会议、智慧医疗……创造了无数种可能！

2¹⁰=1024，这个程序员最熟悉的“整数”让10月24日的这一天成为技术人的专属节日——程序员节。今天1024程序员节，致敬每一位在平凡岗位上创造不平凡的程序员！

致敬改变世界的英雄祝大家程序员节快乐！

致敬改变世界的英雄!

最近开始学习Spark啦，木易巷要加油成为大大白！

持续更新中.........

Spark基础之 Spark的介绍相关推荐

spark基础之spark streaming的checkpoint机制
一什么类型的数据需要使用checkpoint? Spark Streaming是最需要进行容错的,因为一般都是7 * 24小时运转,所以需要将足够的信息checkpoint到容错的存储系统上,比如H ...
spark基础之spark sql运行原理和架构
一 Spark SQL运行架构 Spark SQL对SQL语句的处理和关系型数据库类似,即词法/语法解析.绑定.优化.执行.Spark SQL会先将SQL语句解析成一棵树,然后使用规则(Rule)对T ...
spark基础之Spark SQL和Hive的集成以及ThriftServer配置
如果希望Maven编译Spark时支持Hive,需要给定-Phive -Phive-thriftserver.比如比如:mvn -Pyarn -Phadoop-2.6 -Dhadoop.version ...
[Spark]PySpark入门学习教程---介绍(1)
一安装指引 (91条消息) [Hadoop] mac搭建hadoop3.X 伪分布模式_小墨鱼的专栏-CSDN博客https://zengwenqi.blog.csdn.net/article/de ...
分布式离线计算—Spark—基础介绍
原文作者:饥渴的小苹果原文地址:[Spark]Spark基础教程目录 Spark特点 Spark相对于Hadoop的优势 Spark生态系统 Spark基本概念 Spark结构设计 Spark各种 ...
Spark基础【介绍、入门WordCount案例】
文章目录一概述 0 Spark和Hadoop的关系 (1)从时间节点上来看 (2)从功能上来看 1 Hadoop 0.x 1.x的问题 2 Hadoop 2.x 3 Spark 4 Spark 和 ...
【Spark】Spark基础教程知识点
第 1 部分 Spark 基础 Spark 概述本章介绍 Spark 的一些基本认识. Spark官方地址一:什么是 Spark Spark 是一个快速(基于内存), 通用, 可扩展的集群计算引擎 ...
Spark基础知识梳理
目录一.基础简介二.spark四大特点 1.速度快 2.易使用 3.通用性强 4.运行方式三.spark框架模块四.运行方式五.spark的架构角色六.总结一.基础简介 Spark是一种 ...
＜极客时间：零基础入门Spark＞学习笔记（持续更新中...）
看的是极客时间的课,讲得很不错零基础入门 Spark (geekbang.org) 基础知识 01 Spark:从"大数据的Hello World"开始准备工作 IDEA安装S ...

最新文章

热门文章