2021年大数据Spark（四）：三种常见的运行模式
目录
Spark 运行模式
一、本地模式：Local Mode
二、集群模式：Cluster Mode
三、云服务：Kubernetes 模式
Spark 运行模式
Spark 框架编写的应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。
一、本地模式：Local Mode
将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。
二、集群模式：Cluster Mode
将Spark应用程序运行在集群上，比如Hadoop YARN集群，Spark 自身集群Standalone及Apache Mesos集群，网址：http://spark.apache.org/docs/2.4.3/
- Spark Standalone集群模式（开发测试及生成环境使用）：类似Hadoop YARN架构，典型的Mater/Slaves模式，使用Zookeeper搭建高可用，避免Master是有单点故障的。
- Hadoop YARN集群模式（生产环境使用）：运行在 yarn 集群之上，由 yarn 负责资源管理，Spark 负责任务调度和计算，好处：计算资源按需伸缩，集群利用率高，共享底层存储，避免数据跨集群迁移。
- Apache Mesos集群模式（国内使用较少）：运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算。
三、云服务：Kubernetes 模式
中小公司未来会更多的使用云服务，Spark 2.3开始支持将Spark 开发应用运行到K8s上。
AWS 阿里云 等等云平台都提供了 EMR产品（弹性MapReduce计算）
2021年大数据Spark（四）：三种常见的运行模式相关推荐
- 2021年大数据Spark（四十二）：SparkStreaming的Kafka快速回顾与整合说明
目录 Kafka快速回顾 消息队列: 发布/订阅模式: Kafka 重要概念: 常用命令 整合说明 两种方式 两个版本API 在实际项目中,无论使用Storm还是SparkStreaming与Flin ...
- 2021年大数据Spark（二十七）：SparkSQL案例一花式查询和案例二WordCount
目录 案例一:花式查询 案例二:WordCount 基于DSL编程 基于SQL编程 具体演示代码如下: 案例一:花式查询 package cn.itcast.sqlimport org.apache. ...
- 2021年大数据Spark（二十三）：SparkSQL 概述
目录 SparkSQL 概述 前世今生 Shark 框架-淘汰了 SparkSQL 模块 Hive 与 SparkSQL 官方定义 第一.针对结构化数据处理,属于Spark框架一个部分 第二.抽象数据 ...
- 2021年大数据Spark（三十三）：SparkSQL分布式SQL引擎
目录 分布式SQL引擎 Hive的SQL交互方式 ThriftServer JDBC/ODBC Server 开启sparksql的thriftserver 使用beeline 客户端连接 JDBC/ ...
- 2021年大数据Spark（三十二）：SparkSQL的External DataSource
目录 External DataSource 数据源与格式 text 数据 json 数据 csv 数据 parquet 数据 jdbc 数据 加载/保存数据-API ...
- 2021年大数据Spark（一）：框架概述
目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义: Spark框架概述 Spark 是加州大学伯克利分校AMP实验室(Algorithms Machines and Pe ...
- 2021年大数据Spark（三十一）：Spark On Hive
目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说,从Apache Hive框架而来,发展历 ...
- 2021年大数据Spark（二十二）：内核原理
目录 Spark内核原理 RDD 依赖 窄依赖(Narrow Dependency) Shuffle 依赖(宽依赖 Wide Dependency) 如何区分宽窄依赖 ...
- 2021年大数据Spark（十一）：应用开发基于IDEA集成环境
目录 Spark应用开发-基于IDEA 创建工程 WordCount本地运行 WordCount集群运行 注意 修改代码如下 打成jar包 改名 上传jar包 提交到Yarn WordCount-Ja ...
最新文章
- 反编译得到的java文件好多错误 val$query什么意思_这部分代码有错么？一直提示输入框$(#msg).val()得到的值未定义...
- 干掉 Postman？测试接口直接生成 API 文档，这工具真香！
- 为什么光标停在表格中间_word里面为什么打出来的数字中间为啥差一个光标的距离 - 卡饭网...
- 虚拟技术必须解决的问题_VR/3D虚拟实验室亮相重庆市初中物理青年教师优质课大赛...
- VSCode 实时预览HTML网页效果 - Live Server插件
- 员工激励手段1+1组合出击
- k8s-controller manager原理分析
- 再谈Java中的引用
- 使用zabbix如何自动清理30天前的数据
- 小学教育专业有计算机课程吗,小学计算机课程教学工作总结
- 2048源码 linux,分享|2 的威力，Linux 的威力：终端中的 2048
- Mac 电脑--excel方便的小技巧
- word 批量替换空格和回车
- linux 词霸,Ubuntu下使用原版金山词霸
- 一碗泡面背后的努力，康师傅连续十次斩获“食安管理十强企业”
- Mybatis数据框架整合
- Oracle高级数据库复习
- java8对list的操作两个List集合取交集、并集、差集
- 狂奔的“智慧校园”：监控学生的生意，会持续吗？
- 【Uinty3d】常用API