Spark 调优 ——cache（persist）与 checkpoint

cache 是对 persist 的进一步调用；

1. 为什么要 checkpoint

为了保证数据安全性，需要对运行出的中间结果进行 checkpoint
- 最好将结果 checkpoint 到 hdfs，便于集群所有节点进行访问；
checkpoint 之前先进行 cache（persist），将数据放在缓存中
什么时候 checkpoint：
- 在发生 shuffle 之后做 checkpoint

2. checkpoint 的步骤

建立 checkpoint 存储目录：
- sc.setCheckpointDir(“hdfs://node01.9000/ck”)
rdd1.cache()
rdd1.checkpoint()

Spark 调优 ——cache（persist）与 checkpoint相关推荐

rdd数据存内存数据量_大数据开发-Spark调优常用手段
Spark调优 spark调优常见手段,在生产中常常会遇到各种各样的问题,有事前原因,有事中原因,也有不规范原因,spark调优总结下来可以从下面几个点来调优. 1. 分配更多的资源分配更多的资源: ...
Spark学习之Spark调优与调试（7）
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
跟我一起学【Spark】之——Spark调优与调试
第8章 Spark调优与调试 1.总结Spark的配置机制 2.理解Spark应用性能表现的基础知识.设置相关配置项.编写高性能应用设计模式 3.探讨Spark的用户界面.执行的组成部分.日志机制 8 ...
【Spark调优】大表join大表，少数key导致数据倾斜解决方案
[Spark调优]大表join大表,少数key导致数据倾斜解决方案参考文章: (1)[Spark调优]大表join大表,少数key导致数据倾斜解决方案 (2)https://www.cnblogs. ...
【Spark调优】小表join大表数据倾斜解决方案
[Spark调优]小表join大表数据倾斜解决方案参考文章: (1)[Spark调优]小表join大表数据倾斜解决方案 (2)https://www.cnblogs.com/wwcom123/p/1 ...
spark 写本地文件_(纯干货建议收藏)一次GC引发的Spark调优大全
上一篇Tungsten On Spark-内存模型设计总结了Spark内存设计相关的知识点,本篇会快速为读者复习一下JVM相关的知识点,然后基于线上的GC调优对spark整体的调优做一个汇总,希望能让 ...
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优...
一.前述 Spark中调优大致分为以下几种 ,代码调优,数据本地化,内存调优,SparkShuffle调优,调节Executor的堆外内存. 二.具体 1.代码调优 1.避免创建重复的RDD,尽 ...
spark调优面试专题
1.1.介绍一下join操作优化经验? 需要尚硅谷八斗学院奈学教育完整大数据资料和多家机构面试题的加威: Y17744650906 资料来之不易,不能接受小额有偿的勿扰,谢谢答:join其实常见 ...
【Spark】Spark调优资源调优
文章目录 1 Spark内存模型 2.执行流程 3.资源调优 1 Spark内存模型 Spark在一个Executor的内存分为三块, 1. 一块是execution内存 2. 一块是Storge 内 ...

Spark 调优 ——cache（persist）与 checkpoint

1. 为什么要 checkpoint

2. checkpoint 的步骤

Spark 调优 ——cache（persist）与 checkpoint相关推荐

最新文章

热门文章