linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...

一、配置/etc/profile:

文件尾部增加以下内容:

export SPARK_HOME=/home/spark/spark-2.2.0-bin-hadoop2.7

export PATH=$PATH:${SPARK_HOME}/bin

export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/jars/spark-examples_2.11-2.2.0.jar

二、配置spark环境变量

在spark的conf文件夹中复制 spark-env.sh.template生成 spark-env.sh文件,在尾部添加如下代码:

export JAVA_HOME=/home/java/jdk1.8.0_161

export PATH=$PATH:$JAVA_HOME/bin

export SPARK_MASTER_HOST="10.217.2.240"

第三行的变量指定的是master的IP，我的机器上面worker节点不能直接根据hostname找到master，所以必须要在这里声明masterIP，worker才能连接到master

三、配置worker节点ip:

在spark的conf文件夹中复制 slaves.template生成 slaves文件,在尾部添加如下代码:

localhost

10.217.2.241

10.217.2.242

这里配置的是worker的ip，我这里的意思就是在本地和后面两个节点都启动worker，一共3个worker。

以上三点配置必须在所有节点上同步

四、配置ssh:

运行start-all.sh脚本的机器必须要有所有worker节点的访问权,所以要么是在环境变量中配置各个节点的登陆密码，要么就配置ssh密钥登陆，ssh更方便些。在本节点生成密钥，ssh-keygen -t rsa，

然后将密钥拷贝到所有worker节点的authorized_keys中，注意由于这里我把本机也设为worker节点，所以在本机的 authorized_keys 文件中也要放公钥。

五、运行start-all.sh,稍等一会，然后就可以在masterUI中看到启动成功了.

linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...相关推荐

关掉内核线程linux,c – 如何在rmmod上停止Linux内核线程？
您应该只使用kthread_create()或kthread_run()中的一个: /** * kthread_run - create and wake a thread. * @threadfn: ...
sql 服务器停止运行,3.1.1 启动、停止、暂停和重新启动SQL Server服务
第3章 SQL Server 2005服务器管理对SQL Server 2005数据库服务器的配置与管理,是SQL Server 2005数据库的一般性操作.SQL Server 2005提供了一 ...
本地计算机的oracle,（转）解决：本地计算机上的 OracleOraDb10g_home1TNSListener服务启动后停止...
手动启动一个问题:本地计算机上的 OracleOraDb10g_home1TNSListener服务启动后停止.某些服务在未由其他服务或程序使用时将自动停止. 在网上找解决方案的时候,发现很多人都遇 ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
linux集群启动脚本,Hadoop2.2.0集群启动和停止Shell脚本
说明:Hadoop2.2.0集群启动和停止Shell脚本,以下脚本中出现的master,slave1,slave2,slave3均已配host. startupall.sh #!/bin/bash h ...
如何查看和停止Linux启动的服务
http://blog.chinaunix.net/uid-16844439-id-3241471.html 1. 查看Linux启动的服务 chkconfig --list 查询出所有当前运行的服务 ...
hadoop集群之HDFS和YARN启动和停止命令
2019独角兽企业重金招聘Python工程师标准>>> hadoop集群之HDFS和YARN启动和停止命令博客分类: hadoop 假如我们只有3台linux虚拟机,主机名分别为h ...
linux jar 运行停止,[转] Linux中启动和停止jar包的运行
脚本一: startTest.sh内容如下: #!/bin/sh java -jar Test.jar & #注意:必须有&让其后台执行,否则没有pid生成 echo $! ...
LINUX集群技术构建ANSYS分布式高性能计算平台
(转载请注明出处)随着仿真理论和求解技术越来越成熟,人们对产品虚拟的开发要求越来越高,系统级多体耦合和多物理场耦合计算已经成为计算机仿真的发展方向,用户不在追求单一个体在单一物理场(如结构力学,流体力 ...

linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...

linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...相关推荐

最新文章

热门文章

linux集群的启动和停止,linux平台 spark standalone集群 使用 start-all，stop-all 管理集群的启动和退出...

linux集群的启动和停止,linux平台 spark standalone集群 使用 start-all，stop-all 管理集群的启动和退出...相关推荐

最新文章

热门文章

linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...

linux集群的启动和停止,linux平台 spark standalone集群使用 start-all，stop-all 管理集群的启动和退出...相关推荐