spark集群详细搭建过程及遇到的问题解决(一)
注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结。
此文是针对小白。如有不对,请大神们指教。。。。
配置环境系统:Ubuntu16.04
配置版本分别为:hadooop 2.7.3、java "1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2.7
本实验主要配置三个节点的小集群:
配置节点分为一个master、两个worker
接下来开始一步一步进行配置
(一)基础配置
master节点
#首先更改主机名与并添加三个节点到/etc/hosts中
kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#删除/etc/hostname中的文件,并添加
master
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改。
#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2
worker1节点
#首先更改主机名与并添加三个节点到/etc/hosts中
kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#删除/etc/hostname中的文件,并添加
worker1
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改
#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2
worker2节点
#首先更改主机名与并添加三个节点到/etc/hosts中
kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#删除/etc/hostname中的文件,并添加
worker2
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname
#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改
#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2
#分别重启机器,使刚才配置生效
kuku@master:~$ sudo su
[sudo] password for kuku:
root@master:/home/kuku#
#分别在三个节点上面创建hadoop组与spark用户
root@master:/home/kuku# groupadd hadoop
root@master:/home/kuku# useradd -s /bin/bash -d /home/spark -m spark -g hadoop -G root
#创建spark用户,属于hadoop组
root@worker2:/home/kuku# passwd spark
#为用户spark 创建密码
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
root@master:/home/kuku# cd ..
root@master:/home# ll
total 16
drwxr-xr-x 4 root root 4096 11月 15 15:14 ./
drwxr-xr-x 24 root root 4096 11月 14 09:06 ../
drwxr-xr-x 19 kuku kuku 4096 11月 14 15:01 kuku/
drwxr-xr-x 5 spark hadoop 4096 11月 16 13:14 spark/
#可以看到spark用户是属于hadoop组,在此一定要注意,本人在里面踩了不少坑,因为这将在后面涉及到权限所属问题
转载于:https://blog.51cto.com/lefteva/1873453
spark集群详细搭建过程及遇到的问题解决(一)相关推荐
- spark集群详细搭建过程及遇到的问题解决(四)
在spark集群详细搭建过程及遇到的问题解决(三)中,我们将讲述了hadoop的安装过程,在本文中将主要讲述spark的安装配置过程. spark@master:~/spark$ cd hadoop ...
- spark集群详细搭建过程及遇到的问题解决(三)
上篇文章中讲完了如何配置免密码登录的问题,现在讲述下,三个节点的环境配置过程. 所需要的hadoop-2.7.3.tar.gz . jdk-7u79-linux-x64.tar.gz . scala- ...
- Spark集群环境搭建(standalone模式)
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...
- 【网址收藏】k8s高可用集群详细搭建步骤
https://github.com/opsnull/follow-me-install-kubernetes-cluster
- spark 广播变量大数据_大数据处理 | Spark集群搭建及基本使用
点击蓝字关注我 前面用了一篇文章详细的介绍了集群HDFS文件系统的搭建,HDFS文件系统只是一个用于存储数据的系统,它主要是用来服务于大数据计算框架,例如MapReduce.Spark,本文就接着上一 ...
- Spark学习之spark集群搭建
(推广一下自己的个人主页 zicesun.com) 本文讲介绍如何搭建spark集群. 搭建spark集群需要进行一下几件事情: 集群配置ssh无秘登录 java jdk1.8 scala-2.11. ...
- docker下,极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的是spark应用的开发,他们希望整个环境能快速搭建好,从而尽快投入编码和调试,今天咱们就借助docker,极速搭建 ...
- 基于Hadoop集群的Spark集群搭建
基于Hadoop集群的Spark集群搭建 注:Spark需要依赖scala,因此需要先安装scala 一. 简单叙述一下scala的安装 (1)下载scala软件安装包,上传到集群 (2)建立一个用于 ...
- Spark 个人实战系列(1)--Spark 集群安装
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析. s ...
最新文章
- golang mysql 超时_golang中mysql建立连接超时时间timeout 测试
- CSS3总结(干货)
- 作者:郑飞翔(1982-),男,中国农业科学院农业环境与可持续发展研究所副研究员。...
- Python设计模式:建造者模式
- HFSS - 圆极化矩形微带天线设计与仿真
- 2022天勤数据结构
- tecplot教程发布
- 层间距离对ct图像的影响_CT图像影响因素
- python list[::2]两个分号代表什么意思
- CSDN日报20170325——《一篇文章教会你,如何做到招聘要求中的“要有扎实的Java基础”。》
- 【HTML+CSS】小米官网首页
- 去除 华军 恶心的广告验证码
- 如何结决PDF中的文字无法复制或选中(使用Adobe Acrobat X Pro转换双重PDF)
- 为你的树莓派WI-FI配置加密密码
- 虚幻4引擎开发的手游_虚幻引擎 4 手游《绝地求生:刺激战场》 开发经验分享...
- 港科夜闻|香港科大(广州)熊辉教授获委任为协理副校长(知识转移)
- DOS命令字典..收藏
- 智能小车系列文章之小车简介
- Prometheus pod 流量监控
- 燕十八ajax笔记,燕十八商城笔记资料.doc
热门文章
- 验证基于逻辑回归的隐马尔可夫模型的心音信号切分算法(literature study)
- 待办事项下拉html代码,SRM移动应用之待办事项模块
- 数字人民币问答-什么是数字人名币?
- web前端培训开发,你必须知道的CSS盒模型
- cmd命令打开文本文档_win10自带照片应用打开太慢,改用win7照片查看器
- echarts 玫瑰图比例太小显示优化
- 全新版大学英语综合教程第一册学习笔记(原文及全文翻译)——6 - What Animals Really Think(动物到底想些什么)
- 辅助 Excel 的数据计算 add-ins
- ssh备考-06Struts2 往值栈中存入值,以及前端获取值栈中的值
- 软件算法能申请专利吗