spark和hadoop升级记录(持续更新中)

昨晚从spark-2.3.1-bin-hadoop2.7升级到spark-3.0.0-preview2-bin-hadoop3.2

基本结论是:

/etc/hosts不用修改

~/.bashrc中路径改下(就是和spark相关的，spark-2.3.1-bin-hadoop2.7改成spark-3.0.0-preview2-bin-hadoop3.2)

export SPARK_LOCAL_IP=Desktop（从机则要改成自己的ip）

其他地方不用修改，可以顺利跑通spark standalone模式，基本上spark-2.3.1-bin-hadoop2.7的环境配置可以直接套用于spark-3.0.0-preview2-bin-hadoop3.2

－－－－－－－－－－－－spark on yarn －－－－－－－－－－－－－－－－－－－－－－－－－－－

Hadoop2.x中是slaves

Hadoop3.x中是workers(把slaves重命名拿来用即可)

顺带一提，spark3.x中的slaves依然不变，不需要改成workers

hadoop2.x-3.x的端口改变[1]

Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820
Secondary NN ports: 50091 --> 9869, 50090 --> 9868
Datanode ports: 50020 --> 9867, 50010 --> 9866, 50475 --> 9865, 50075 --> 9864

上面的端口查了一遍，都不需要在配置文件中特意去修改，默认设定的。

集群的web ui还会提示Upgrade in progress. Not yet finalized.

解决方案:

hdfs dfsadmin -finalizeUpgrade

如果手动删除了hadoop_tmp中的一些缓存文件，那么需要确保急群中每个节点(包括master)都有这个文件夹:

/home/appleyuchi/bigdata/hadoop_tmp/nm-local-dir/filecache

上述配置可以确保spark on yarn,spark standalone跑通。

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

Reference:

[1]http://localhost:50070 does not work HADOOP - Stack Overflow

spark和hadoop升级记录(持续更新中)相关推荐

＜极客时间：零基础入门Spark＞学习笔记（持续更新中...）
看的是极客时间的课,讲得很不错零基础入门 Spark (geekbang.org) 基础知识 01 Spark:从"大数据的Hello World"开始准备工作 IDEA安装S ...
[Hadoop] Hadoop学习历程 [持续更新中…]
1. Hadoop FS Shell Hadoop之所以可以实现分布式计算,主要的原因之一是因为其背后的分布式文件系统(HDFS).所以,对于Hadoop的文件操作需要有一套全新的shell指令来完成 ...
一些问题的答案记录 (持续更新中)
前言: 博士期间会不断的学习和查阅在线资料, 甚至有时候能发现一些特别出彩的小问题及其答案. 与其花时间记住全部的答案, 不如将他们记录下来,以便后期查阅, 故写此文. 问题集: 如何清空CPU Ca ...
初中数学知识遗忘记录(持续更新中)
概念解释图示旋转中心对称把一个图形绕着某一点旋转180度,如果它能够和另一个图形重合轴对称余角果两个角的和是直角,那么称这两个角"互为余角"(complem ...
mysql查询更新优化_mysql查询优化(持续更新中)
1.索引不会包含有NULL值的列 (1) 应尽量避免在where子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描 (2) 数据库设计时不要让字段的默认值为null,可以 ...
前端知识点总结——JS高级（持续更新中）
前端知识点总结--JS高级(持续更新中) 1.字符串什么是: 连续存储多个字符的字符数组相同: 1. 下标 2. .length 3. 遍历 4. 选取: slice(starti[, endi] ...
unraid个人服务器使用指南——持续更新中
unraid个人服务器使用指南--持续更新中公网访问内网穿透公网IP访问 unRaid系统开心版系统下载增加硬盘增加与替换硬盘注意事项群晖虚拟机安装 docker安装清理docker ...
【Vue全家桶+SSR+Koa2全栈开发】项目搭建过程整合学习目录（持续更新中）
写在开头大家好,这里是lionLoveVue,基础知识决定了编程思维,学如逆水行舟,不进则退.金三银四,为了面试也还在慢慢积累知识,Github上面可以直接查看所有前端知识点梳理,github传送门 ...
【Spring Boot官方文档原文理解翻译-持续更新中】
[Spring Boot官方文档原文理解翻译-持续更新中] 文章目录 [Spring Boot官方文档原文理解翻译-持续更新中] Chapter 4. Getting Started 4.1. Int ...

spark和hadoop升级记录(持续更新中)

spark和hadoop升级记录(持续更新中)相关推荐

最新文章

热门文章