注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结。

此文是针对小白。如有不对,请大神们指教。。。。

配置环境系统:Ubuntu16.04

配置版本分别为:hadooop 2.7.3、java "1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2.7

本实验主要配置三个节点的小集群:

配置节点分为一个master、两个worker

接下来开始一步一步进行配置

(一)基础配置

master节点

#首先更改主机名与并添加三个节点到/etc/hosts中

kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

master
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改。

#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2

worker1节点

#首先更改主机名与并添加三个节点到/etc/hosts中

kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

worker1
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改

#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2

worker2节点

#首先更改主机名与并添加三个节点到/etc/hosts中

kuku@kuku-virtual-machine:~$ sudo su
[sudo] password for kuku:
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

worker2
root@kuku-virtual-machine:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改

#master
192.168.1.41 master
#worker
192.168.1.42 worker1192.168.1.55 worker2

#分别重启机器,使刚才配置生效

kuku@master:~$ sudo su
[sudo] password for kuku:
root@master:/home/kuku#

#分别在三个节点上面创建hadoop组与spark用户

root@master:/home/kuku# groupadd hadoop
root@master:/home/kuku# useradd -s /bin/bash -d /home/spark -m spark -g hadoop -G root
#创建spark用户,属于hadoop组
root@worker2:/home/kuku# passwd spark
#为用户spark 创建密码
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
root@master:/home/kuku# cd ..
root@master:/home# ll
total 16
drwxr-xr-x  4 root  root   4096 11月 15 15:14 ./
drwxr-xr-x 24 root  root   4096 11月 14 09:06 ../
drwxr-xr-x 19 kuku  kuku   4096 11月 14 15:01 kuku/
drwxr-xr-x  5 spark hadoop 4096 11月 16 13:14 spark/

#可以看到spark用户是属于hadoop组,在此一定要注意,本人在里面踩了不少坑,因为这将在后面涉及到权限所属问题

转载于:https://blog.51cto.com/lefteva/1873453

spark集群详细搭建过程及遇到的问题解决(一)相关推荐

  1. spark集群详细搭建过程及遇到的问题解决(四)

    在spark集群详细搭建过程及遇到的问题解决(三)中,我们将讲述了hadoop的安装过程,在本文中将主要讲述spark的安装配置过程. spark@master:~/spark$ cd hadoop ...

  2. spark集群详细搭建过程及遇到的问题解决(三)

    上篇文章中讲完了如何配置免密码登录的问题,现在讲述下,三个节点的环境配置过程. 所需要的hadoop-2.7.3.tar.gz . jdk-7u79-linux-x64.tar.gz . scala- ...

  3. Spark集群环境搭建(standalone模式)

    Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...

  4. 【网址收藏】k8s高可用集群详细搭建步骤

    https://github.com/opsnull/follow-me-install-kubernetes-cluster

  5. spark 广播变量大数据_大数据处理 | Spark集群搭建及基本使用

    点击蓝字关注我 前面用了一篇文章详细的介绍了集群HDFS文件系统的搭建,HDFS文件系统只是一个用于存储数据的系统,它主要是用来服务于大数据计算框架,例如MapReduce.Spark,本文就接着上一 ...

  6. Spark学习之spark集群搭建

    (推广一下自己的个人主页 zicesun.com) 本文讲介绍如何搭建spark集群. 搭建spark集群需要进行一下几件事情: 集群配置ssh无秘登录 java jdk1.8 scala-2.11. ...

  7. docker下,极速搭建spark集群(含hdfs集群)

    搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的是spark应用的开发,他们希望整个环境能快速搭建好,从而尽快投入编码和调试,今天咱们就借助docker,极速搭建 ...

  8. 基于Hadoop集群的Spark集群搭建

    基于Hadoop集群的Spark集群搭建 注:Spark需要依赖scala,因此需要先安装scala 一. 简单叙述一下scala的安装 (1)下载scala软件安装包,上传到集群 (2)建立一个用于 ...

  9. Spark 个人实战系列(1)--Spark 集群安装

    前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析. s ...

最新文章

  1. golang mysql 超时_golang中mysql建立连接超时时间timeout 测试
  2. CSS3总结(干货)
  3. 作者:郑飞翔(1982-),男,中国农业科学院农业环境与可持续发展研究所副研究员。...
  4. Python设计模式:建造者模式
  5. HFSS - 圆极化矩形微带天线设计与仿真
  6. 2022天勤数据结构
  7. tecplot教程发布
  8. 层间距离对ct图像的影响_CT图像影响因素
  9. python list[::2]两个分号代表什么意思
  10. CSDN日报20170325——《一篇文章教会你,如何做到招聘要求中的“要有扎实的Java基础”。》
  11. 【HTML+CSS】小米官网首页
  12. 去除 华军 恶心的广告验证码
  13. 如何结决PDF中的文字无法复制或选中(使用Adobe Acrobat X Pro转换双重PDF)
  14. 为你的树莓派WI-FI配置加密密码
  15. 虚幻4引擎开发的手游_虚幻引擎 4 手游《绝地求生:刺激战场》 开发经验分享...
  16. 港科夜闻|香港科大(广州)熊辉教授获委任为协理副校长(知识转移)
  17. DOS命令字典..收藏
  18. 智能小车系列文章之小车简介
  19. Prometheus pod 流量监控
  20. 燕十八ajax笔记,燕十八商城笔记资料.doc

热门文章

  1. 验证基于逻辑回归的隐马尔可夫模型的心音信号切分算法(literature study)
  2. 待办事项下拉html代码,SRM移动应用之待办事项模块
  3. 数字人民币问答-什么是数字人名币?
  4. web前端培训开发,你必须知道的CSS盒模型
  5. cmd命令打开文本文档_win10自带照片应用打开太慢,改用win7照片查看器
  6. echarts 玫瑰图比例太小显示优化
  7. 全新版大学英语综合教程第一册学习笔记(原文及全文翻译)——6 - What Animals Really Think(动物到底想些什么)
  8. 辅助 Excel 的数据计算 add-ins
  9. ssh备考-06Struts2 往值栈中存入值,以及前端获取值栈中的值
  10. 软件算法能申请专利吗