Hadoop集群搭建

1.修改/etc/hosts文件

在每台linux机器上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：

2.配置ssh，实现无密码登录

四台虚拟机上，使用： ssh-keygen -t rsa 一路回车就行了

master上将公钥放到authorized_keys里。命令：:

sudo cat id_rsa.pub >> authorized_keys

将master上的authorized_keys放到其他linux的~/.ssh目录下。

sudo scp authorized_keys cjpt@132.228.28.183:~/.ssh

修改authorized_keys权限，命令：chmod 644 authorized_keys

测试是否成功

ssh cjpt@132.228.28.183

输入用户名密码，然后退出，再次ssh hostbb不用密码，直接进入系统。这就表示成功了

3.上传jdk，并配置环境变量

下载java，解压缩放到/usr/lib/jvm路径下

在.bash_profile文件添加环境变量，vim ~/.bash_profile：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60
export JRE_HOME=/usr/lib/jvm/jdk1.7.0_60/jre

source ~/.bash_profile，使配置生效

4.上传hadoop，并配置hadoop

4.1. 下载hadoop包，解压缩到本地路径

4.2. 修改环境变量，将hadoop加进去

vim ~/.bashrc

export HADOOP_PREFIX=/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export HADOOP_HOME=/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4.3. 修改hadoop/etc/hadoop/下面的配置文件

hadoop-env.sh

注意：JAVA_HOME必须是绝对路径，不然会报错

core-site.xml

hdfs-site.xml，

mapred-site.xml，

master，

slave，

上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，在四台linux中都是一样的。

配置完一台电脑后，可以将hadoop包，直接拷贝到其他电脑上。

4.4. 让hadoop配置生效

source hadoop-env.sh

4.5. 格式化namenode，只格式一次

hadoop namenode –format

4.6. 启动hadoop

切到hadoop/sbin目录下，执行 start-all.sh启动所有程序

./start-all.sh

4.7. 查看进程，是否启动

jps

master主机：

slave机器：

转载于:https://www.cnblogs.com/jeakeven/p/5855605.html

大数据 -- Hadoop集群搭建相关推荐

大数据Hadoop集群搭建
大数据Hadoop集群搭建一.环境服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统版本:CentO ...
大数据Hadoop集群中常用的任务调度框架
在大数据的集群环境中,经常用到的任务调度框架有如下几个,根据公司的业务的需要选择适合自己的业务调度的框架, 调度框架anzkaban,crontab(Linux自带).zeus(Alibaba).Oo ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
[喵咪大数据]Hadoop集群模式
既然是大数据无论存储和处理都需要相当大的磁盘或者是处理的资源消耗,那么单机肯定是满足不了我们的需求的,所以本节我们就来了解Hadoop的集群模式搭建,在集群情况下一同配合处理任务分发,存储分担等相关的 ...
大数据分布式集群搭建（1）
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案. 闲话不多说,进入正题. 一.环境及准备因为只有一台电脑,所以需要用虚拟机来模拟环境. 本地机器用到软件: ...
大数据+Hadoop集群学习
文章目录 1.课前资料 2.课程整体介绍 3.大数据介绍什么是大数据? 为什么要学习大数据? 大数据相关技术海量数据存储海量数据清洗海量数据处理 4.集群环境准备 4.1准备虚拟机 4.2修改 ...
大数据-Hadoop集群测试
一.通过UI界面查看Hadoop运行状态 1.查看HDFS集群状态在浏览器里访问http://master:9870 不能通过主机名master加端口9870的方式,原因在于没有在hosts文件里I ...
大数据——Hadoop集群调优
注意:本文使用的Hadoop版本为3.2.1版本目录一.HDFS多目录存储 1.1 生产环境服务器磁盘情况 1.2 在hdfs-site.xml文件中配置多个目录,需要注意新挂载磁盘的访问权限问题 ...
大数据分布式集群搭建（7）
HBASE --先部署一个zookeeper集群 (1)上传hbase安装包 (2)解压 (3)配置hbase集群,要修改3个文件注意:要把hadoop的hdfs-site.xml和core-sit ...

大数据 -- Hadoop集群搭建