配置过程

修改配置文件

hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoop/

修改hadoop-env.sh,配置java环境变量
export JAVA_HOME=/usr/local/java
修改core-site.xml,设置文件系统和访问位置b

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

一律将ip地址改成域名映射

修改hdfs-site.xml,设置文件存储的位置(datanode和namenode不在同一个文件夹,所以可以共存在一个机器,通过端口访问)

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property><property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property><property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property></configuration>

拷贝整个hadoop安装目录到其他机器

scp -r /root/apps/  slave1:/root/apps/
scp -r /root/apps/  slave2:/root/apps/
scp -r /root/apps/  slave3:/root/apps/

初始化HDFS

配置hadoop环境变量
要运行hadoop的命令，需要在linux环境中配置HADOOP_HOME和PATH环境变量
vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60
export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

初始化namenode的元数据目录
要在master上执行hadoop的一个命令来初始化namenode的元数据存储目录
hadoop namenode -format
 创建一个全新的元数据存储目录
 生成记录元数据的文件fsimage
 生成集群的相关标识：如：集群id——clusterID

启动HDFS

启动namenode进程（在master上,不可在其他机器上，因为配置文件制定了namenode位置，b问题）
hadoop-daemon.sh start namenode
启动完后，首先用jps查看一下namenode的进程是否存在
9000端口是集群信息交流
50070是web端

http://master:50070

启动datanode（任意一台机器）
由于所有的hadoop配置文件都一样，所以所有子都知道master的位置，然后去连接
hadoop-daemon.sh start datanode
一定要在/etc/hadoop/slaves中配置子节点，/etc/hosts名字，且必须用名字，而不能直接输入ip，否则无法加入集群，好像是slaves不支持直接输入ip

一键启动hdfs
修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入）
相当于写了一个远程ssh执行的脚本

master
slave1
slave2
slave3

在master上用脚本：start-dfs.sh 来自动启动整个集群,如果要停止，则用脚本：stop-dfs.sh

其他技巧

1.查看namenode的详细信息
jps获得进行id

cla@cla:/usr/local/share/hadoop-2.8.1/etc/hadoop$ jps
1857 Jps
1784 NameNode

ps -ef | grep 1784查看具体信息

cla@cla:/usr/local/share/hadoop-2.8.1/etc/hadoop$ ps -ef | grep 1784
cla       1784     1  2 18:49 pts/8    00:00:05 /usr/local/share/jdk1.8.0_60//bin/java -Dproc_namenode -Xmx1000m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/share/hadoop-2.8.1/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/local/share/hadoop-2.8.1 -Dhadoop.id.str=cla -Dhadoop.root.logger=INFO,console -Djava.library.path=/usr/local/share/hadoop-2.8.1/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/share/hadoop-2.8.1/logs -Dhadoop.log.file=hadoop-cla-namenode-cla.log -Dhadoop.home.dir=/usr/local/share/hadoop-2.8.1 -Dhadoop.id.str=cla -Dhadoop.root.logger=INFO,RFA -Djava.library.path=/usr/local/share/hadoop-2.8.1/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.namenode.NameNode
cla@cla:/usr/local/share/hadoop-2.8.1/etc/hadoop$

netstat -nltp | grep 1784


cla@cla:/usr/local/share/hadoop-2.8.1/etc/hadoop$ netstat -nltp | grep 1784
(Not all processes could be identified, non-owned process infowill not be shown, you would have to be root to see it all.)
tcp        0      0 192.168.43.241:9000     0.0.0.0:*               LISTEN      1784/java
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      1784/java

hadoop hdfs 集群配置相关推荐

Hadoop Ha集群配置
为什么要配置HDFS HA? 首先:HDFS集群中NameNode 如果存在单点故障.对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用. 而影响HD ...
hadoop hdfs 集群模板机配置
模板机配置 1.配置主机名 vi /etc/hostname 2.配置域名映射 vi /etc/hosts 1.注意如果想在win客户端提交任务到集群,则需要在win上的hosts文件也使用同样的配置 ...
Hadoop分布式集群配置
1.三台虚拟机(Centos7.6),配置JDK,HADOOP环境,在搭建虚拟机时,可以先将一台的环境配置,再克隆两台改IP就好.三台虚拟机最小化安装,必须拥有必要的插件  ...
hadoop yarn 集群配置
yarn基本概念 yarn是负责调度mapreduce程序,hdfs是负责存储数据 1.Resource Manager 接受用户提交的分布式计算程序,并为其划分资源管理.监控各个Node Mana ...
cdh 之 HDFS集群优化篇003
2019/3/21 星期四 1.操作系统级别优化选择Linux的文件系统为:XFS文件系统 2.预读缓冲预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间,增加Linux文件系统预读缓冲区的 ...
Hadoop集群配置（最全面总结）
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程前言 Hadoop2.0介绍 Hadoop是 apache 的开源项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系统, hadoop ...
Hadoop分布式集群安装配置
1.1 安装环境操作系统deepin 15.11, VMware Workstation,hadoop 3.1.3 版本.在deepin 操作系统中安装 VMware Workstation,在 V ...
hadoop java访问_Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群
上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx ...

hadoop hdfs 集群配置