spark端口实验总结：

Spark的端口总结

Master节点的web端口是8080,work节点的web端口是8081

spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法:

1、cd $SPARK_HOME/sbin

2、vi start-master.sh

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口号

8080端口:master WEB端口

8081端口:work WEB端口

7077端口:

master通信端口

18080端口:spark历史服务器端口

spark端口实验总结：相关推荐

Spark SQL实验小结（2022.4.10）
Spark SQL实验小结(2022.4.10) 说实话,这作业写的也是真够久的,给我累到了~但是,我不能让我辛辛苦苦学的东西过几天就忘了,所以呢,所以呢,学一下大佬的学习方法,写个博客记录一下(希望 ...
hadoop spark端口整理
50070:HDFSwebUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:mas ...
【Spark】实验6 Spark机器学习库MLlib编程实践
Spark机器学习库MLlib编程实践一.实验目的通过实验掌握基本的MLLib编程方法: 掌握用MLLib解决一些常见的数据分析问题,包括数据导入.成分分析和分类和预测等. 二.实验平台新工科智 ...
Ubuntu的Spark 搭建实验（ssh配置没好，需要的看新发的，完整版）
学习目标: 学会Spark环境的搭建学习内容: 学习Spark搭建环境的过程学习环境环境组合是Spark2.3.3+Java8+Scala2.11(这里都不是最新版本的,需要的话自行去官网搜索就 ...
Spark开发环境搭建(提供实验平台)
Spark开发环境搭建 1)Scala环境 1. 前置说明安装与配置Scala开发环境. 实验平台直达链接 Scala是一种函数式面向对象语言,它融汇了许多前所未有的特性,而同时又运行于JVM之上. ...
华为nat配置实验：内网能够访问外网，内网服务器80端口映射出去
一需求分析 1.1 需求公司A在北京,公司B在上海,本次实验仅仅模拟局域网内出口路由器的配置,公司A业务流量较大,并且预算有限.公司B模拟外网的一个小型局域网,要求公司B的主机能够访问公司A的we ...
spark学习（二）
Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发. Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算,拥有Hadoop Ma ...
Spark 数据挖掘 - 利用决策树预测森林覆盖类型
Spark 数据挖掘-利用决策树预测森林覆盖类型 1 前言预测问题记住一点:最垃圾的预测就是使用平均值,如果你的预测连比直接给出平均值效果都要差,那就省省吧! 统计学诞生一个多世纪之后,随着现在机器 ...
Linux打开21端口
目录项目名称: 实验环境: 实验要求实验实施项目名称: Linux打开SSH 22端口实验环境: Linux机器一台账号密码已知实验要求通过配置文件将其IP修改为10.200.1.16 ...

spark端口实验总结：

spark端口实验总结：相关推荐

最新文章

热门文章