win10虚拟机搭建Hadoop集群(已完结)
1 在虚拟机安装 Ubuntu
2 安装网络工具
Ubuntu最小化安装没有 ifconfig命令
sudo apt-get install net-tools
3 Ubuntu修改网卡名字
修改网卡名字为eth0
sudo vim /etc/network/interfaces
reboot
4 修改主机名
sudo vim /etc/hosts
最后还要分别修改 /etc/hostname
reboot
5 修改IP地址
在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式->更改设置->根据自己主机的网络改子网
reboot
6 设置 DNS 解析
不需解析
7 修改 hosts 文件
sudo vim /etc/hosts
8 将yum源改为阿里云
8.1先备份
8.2打开文件设置
sudo vim /etc/apt/sources.list
8.3更新
sudo apt-get update
9 安装配置JDK
9.1 检查是否已经安装
下载JDK,将JDK拉到桌面
9.2 安装JDK包到下列文件
alien -ivh --prefix=/usr/apps jdk-8u201-linux-x64.rpm
9.3配置环境变量
sudo vim /etc/profile
10 克隆节点
如下图克隆出nobe3和nobe4
10.1修改新节点的IP
根据步骤七修改
10.2修改主机名
步骤四
10.3其他节点进行类似操作
11 配置免密登录
11.1 生成密钥对
ssh-keygen
11.2下载openssh-server
sudo apt-get install openssh-server
11.3将密钥对配置到node2 node3 和node4
12 添加Hadoop 用户
四个节点同时操作
sudo useradd hadoop
vsudo passwd hadoop
12.1为Hadoop用户添加sudo 权限
sudo vim /etc/sudoers
13 配置Hadoop
13.1安装文件上传工具
yum - y install lrzsz
13.2 在 /home/xue目录下新建apps文件夹,将源码压缩包上传到apps文件里
sudo mkdir /home/xue/apps
13.3解压
13.4 配置Hadoop环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/xue/apps/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
13.5 将配置文件拷贝到node3,node4中
sudo scp /etc/profile node3:/etc/
13.6 同时操作所有节点,重新加载配置文件
source /etc/profile
13.7 配置各类 xml 文件
配置文件在所在目录 /home/xue/apps/hadoop-2.7.7/etc/hadoop
13.7.1 配置hadoop-env.sh
添加 JAVA_HOME=/usr/apps/javajdk1.8.0_181-amd64
13.7.2 配置 core-site.xml
13.7.3 配置 hdfs-site.xml
13.7.4 配置 mapred-site.xml.template
将 mapred-site.xml.template 修改 为 mapred-site.xml
13.7.5 配置 yarn-site.xml
13.7.6 修改slaves文件
13.8 把配置文件分发到各个节点
13.9 格式化 NameNode
hdfs namenode -format
13.10 测试安装
13.10.1 将hadoop主目录授权给当前用户(各节点都操作一次)
13.10.2 启动 HDFS
start-dfs.sh
13.10.3 启动 YARN
start-yarn.sh
14 完成最后步骤
14.1 网页管理界面
将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
14.2 登陆
在浏览器上登陆HDFS ,http://node2:50070
转载于:https://www.cnblogs.com/xww115/p/10578034.html
win10虚拟机搭建Hadoop集群(已完结)相关推荐
- win10虚拟机搭建 Hadoop集群
1 在虚拟机安装centos7 2 安装网络工具 centos7最小化安装没有 ifconfig命令 yum -y install net-tools 3 centos7 修改网卡名字为eth0 修改 ...
- 微信棋牌源码虚拟机搭建Hadoop集群
虚拟机搭建Hadoop集群 安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk ...
- 三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)
最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭.但我最终确实成功了,留了一点点小问题在里面.(当Hadoop集群start-al ...
- 利用闲置电脑安装虚拟机搭建hadoop集群
文章目录 前言 一.虚拟机环境的准备 二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接 总结 前言 本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
- 虚拟机搭建hadoop集群步骤
内存4G,硬盘50G 安装好linux /boot 200M /swap 2g / 剩余 *安装VMTools 关闭防火墙 sudo service iptables stop sudo chkcon ...
- 虚拟机搭建Hadoop集群学习笔记(1)
1.首先下载安装虚拟机,具体步骤.(提供一个我下载的5.1.26版本,度盘链接没失效的话可以戳这里,key:t6wp) 2.下载系统镜像文件,CentOS-7-x86_64-Minimal-1511. ...
- CentOS7搭建Hadoop集群环境
本文章为云计算课程实验总结. 前言 CentOS7虚拟机搭建hadoop集群,共3个节点:master.slave1.slave2 软件:java1.8 hadoop2.6.0 3台虚拟机都装有Cen ...
- 使用微软云服务器搭建Hadoop集群
使用微软云服务器搭建Hadoop集群 环境准备 修改主机名 配置无秘钥登录 下载并安装JDK Java相关命令的讲解 关闭3台机器的防火墙(微软云服务器上的防火墙默认是关闭的,此步可以跳过) 三台机器 ...
- 大数据导论实验一:搭建Hadoop集群
一.实验要求(10%) 搭建Hadoop集群,要求至少是3个节点的真分布式集群系统,包含1个NameNode,两个DataNode. 集群的安装配置大致为如下流程: 1)准备3台客户机(关闭防火墙.静 ...
- linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤 实验介绍 下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令 集群安装 完成实验需要以下相关知识 解压命令 tar -zxvf XX.tar. ...
最新文章
- xmind 模板_xmind模板打包下载
- git github 快速入门
- WDS部署服务之四镜像捕获(1)
- 13.QT信号槽的连接方式
- wordpress content.php,2020主题:content.php
- HDnoip2017题解
- redis3.0搭建分布式集群
- UVA 10118 Free Candies
- try-catch语句
- 小程序 云函数 python_小程序云函数
- Android Service(一)概述、作用、生命周期
- Android 代码混淆之部分类不混淆的技巧
- Outlook 365 添加企业Exchange邮箱(亲测)
- A股将迎来一大波新经济公司:几家欢喜几家愁
- winform高仿腾讯QQ2013,几十个界面哦!!
- 大数据带来新机遇:如何利用大数据技术优化跨境电商运营?
- IDEA高效使用技巧--->IDEA批量修改变量快捷键和全局搜索键
- FSM(Finite State Machine,有限状态机)设计
- stegsolve 的安装使用
- 随机漫步范例-----python