Linux下Hadoop分布式系统配置

2024-06-04 07:49:45

**

我们是要利用4台linux真机（系统均为ubuntu）来配置完全分布式系统，并已知这4台服务器的外网ip与内网ip

**
远程服务器采用xshell软件，上传文件采用xftp；至于查看ubunu里面的文件，可以用editplus，它可以远程到服务器上，查看，修改，拷贝文件很方便

具体步骤如下：

将其中一台定为master，先在其上配置

1. 配置IP

修改/etc/hosts文件，加上内网的IP映射，就是固定ip和主机名，ping一下试试

2. 配置ssh免密码登录

ssh-keygen -t rsa   //生成秘钥
ssh-copy-id server2 // 发送秘钥

3. 安装JDK，配置环境变量

修改/etc/profile文件，具体要加哪些东西，之前的博客写过，记得最后要source一下

4. 安装Hadoop

就是从官网下载安装包，然后再Linux下解压，可以新建2个文件夹，一个专门存放tar.gz，另一个放解压后的文件，最后添加Hadoop环境变量

5. 修改Hadoop配置文件

hadoop-env.sh
添加JAVA_HOME
core-site.xml
namenode所在主机fs.defaultFS和tmp目录
hdfs-site.xml
配置slave和master

6. 删除cmd和doc文件

cmd是因为比较烦，doc文件太占空间，没啥用

7. 将文件拷贝要其他3台服务器

使用scp命令，后面加上文件路径，具体可以百度一下
要传的文件有：各个安装好的文件（解压文件）、hosts文件、data、jdk、profile文件

8. 在其余几台机子上都source一下

9. 关闭防火墙

如果开启失败，可能防火墙问题，几台可以ping通就不用

10. 格式化

Hadoop namenode -format

11. Hbase配置

上面都是关于Hadoop配置的，hbase也要配置

hbase-env.sh 加上环境变量JAVA_HOME
hbase-site.xml

12. 拷贝到其他几台服务器

也是使用scp

下面为我们项目几台服务器配置后的各个角色分配

server1：Namenode、SNamenode 、Web
server2 ： Datanode 、HBMaster、 HBRegion、HQuorumPeer
server3 ：Datanode、 HBRegion、HQuorumPeer 、Tomcat
server4 ：Datanode 、HBRegion、 HQuorumPeer

转载于:https://www.cnblogs.com/lantx/p/7497789.html

Linux下Hadoop分布式系统配置相关推荐

linux下Hadoop安装与环境配置
注:本文采用的Linux环境为deepin 15.11系统(是由武汉深之度科技有限公司开发的颜值极高的Linux发行版),以下命令经测试Ubuntu18.04版本同样适用.linux安装可采用虚拟机安 ...
linux hadoop etc目录,Hadoop系列——Linux下Hadoop的安装与伪分布式配置
1 环境配置 1.1 JDK配置在这里使用的是Oracle的JDK1.8. 1. 下载安装JDK 2. 配置环境变量以上两个步骤不再展开赘述. 3. 验证JDK是否安装成功分别使用 echo $ ...
Linux下Hadoop hdfs Java API使用
0 前言搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了.做个笔记方便以后参考.环境如下所示 Hadoop:2.5.1 Linux:Ubuntu kylin eclipse:lu ...
linux 查看hadoop命令大全,linux下hadoop集群常用命令
1.上传文件 1)hadoop fs -put words.txt /path/to/input/ 2)hdfs dfs -put words.txt /path/wc/input/ 2.获取hdfs ...
（一）linux下hadoop安装配置
1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkc ...
linux下hadoop集群常用命令
1.上传文件 1)hadoop fs -put words.txt /path/to/input/ 2)hdfs dfs -put words.txt /path/wc/input/ 2.获取hdfs ...
转：Linux下应用tgtadm构建iSCSI Target（SAN）
Linux target framework(tgt)是为创建.维护SCSI target 驱动(包括iSCSI.FC.SRP等)提供支持.它的关键目标是简洁地集成到scsi-mid层,并且实现大部分 ...
Linux Wi-Fi连接工具,Linux下Wi-Fi配置工具2
上回说到,linux下面的Wi-Fi配置工具,说是江湖多事,风起云涌...嗯,这回是真的要动手配置了.各种麻烦啊,想死的心都有了有木有啊. 尝试用iwconfig 话说上回说用iwconfig配置Wi ...
linux下搭建hadoop环境步骤分享
linux下搭建hadoop环境步骤,需要的朋友可以参考下 1.下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop- ...
linux hadoop 运行jar,Linux下执行Hadoop WordCount.jar
Linux执行 Hadoop WordCount Ubuntu 终端进入快捷键 :ctrl + Alt +t hadoop启动命令:start-all.sh 正常执行效果如下: hadoop@HADO ...

最新文章

热门文章