新手安装hadoop教程和个人遇到的错误及解决办法（错误：./hadoop-daemon.sh start journalnode用不了和WARNING: HADOOP_SECURE_DN_USER）
首先Hadoop的安装分为三大步（视频教程移步https://www.bilibili.com/video/BV1mL4y1T7em?spm_id_from=333.337.search-card.all.click&vd_source=96eec18a2c03fd64449b064c4b88e26a）：
一、配系统
1.安装CentOs 7 Minimal
·默认硬盘分区格式化
·设置root密码
二、配环境
1.网络环境
·静态IP
·免密登录
2.运行环境
JDK环境变量
hadoop环境变量
三、配软件
1.Hadoop的配置文件
·core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- 指定hdfs的文件系统，以及谁是namenode -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- hadoop临时文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/czq/hadoop/hadoop-3.2.0/tmp</value>
</property>
<!-- 指定ZooKeeper主机以及端口-->
<property>
<name>ha.zookeeper.quorum</name>
<value>Ubuntu3:2181,Ubuntu4:2181</value>
</property>
</configuration>
·hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. -->
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!--ns1下面有两个namenode，分别是nn1，和nn2-->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>Ubuntu1:8020</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>Ubuntu1:9870</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>Ubuntu2:8020</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>Ubuntu2:9870</value>
</property>
<!--指定NameNode的元数据放在JournalNode上的存放位置-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://Ubuntu3:8485;Ubuntu4:8485/ns1</value>
</property>
<!--指定JournalNode在本地磁盘存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/czq/hadoop/hadoop-3.2.0/journaldata</value>
</property>
<!--开启NameNode失败自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置失败自动切换实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制方法，多个机制用换行分割，每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
<!--shell(/bin/true)-->
</value>
</property>
<!--使用sshfence隔离机制时需要ssh免登陆-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/czq/.ssh/id_rsa</value>
</property>
<!--配置sshfence隔离机制超过时间-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定secondary namenode，（uri）host：50090
<property>
<name>dfs.secondary.http.address</name>
<value>Ubuntu3:50090</value>
</property>
-->
</configuration>
·mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- 指定mapreduce运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
·yarn-site.xml
<?xml version="1.0"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<configuration>
<!-- Site specific YARN configuration properties -->
<!--开启RM高可用-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定RM的Cluster id-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!--指定RM的名字-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--分别指定RM的地址-->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>Ubuntu1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>Ubuntu2</value>
</property>
<!--指定zk集群地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>Ubuntu3:2181,Ubuntu4:2181</value>
</property><!-- reducer获取数据的方式 ,当前只有mapreduce_shuffle这种方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 将 hadoop classpath输出的信息粘贴到value中，指定yarn需要的classpath，这里和之前的版本不同，之前的版本不需要-->
<property>
<name>yarn.application.classpath</name>
<value>/home/czq/hadoop/hadoop-3.2.0/etc/hadoop:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/common/lib/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/common/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/hdfs:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/hdfs/lib/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/hdfs/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/lib/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/yarn:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/yarn/lib/*:/home/czq/hadoop/hadoop-3.2.0/share/hadoop/yarn/*</value>
</property>
</configuration>
四、碰到的问题（ps:本人是看B站up主：诚意塾的教程安装的）
1.开始格式化的时候出现一堆错误
解决办法：
①检查自己的配置文件是否错误
②在sbin目录下，使用【./hadoop-daemon.sh start journalnode】或者【hdfs --daemon start journalnode】命令启动各个namenode上的 JournalNode进程。（一个旧版本一个新版本）再进行格式化即可解决
2.xshell连接虚拟机时报错：WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
解决办法：
在诚意塾安装目录下找到sbin文件夹
在里面修改四个文件
对于start-dfs.sh和stop-dfs.sh文件，在顶部添加下列参数：
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
重新开始start...就可以了。
新手安装hadoop教程和个人遇到的错误及解决办法（错误：./hadoop-daemon.sh start journalnode用不了和WARNING: HADOOP_SECURE_DN_USER）相关推荐
- 1067 mysql,mysql免安装版1067错误终极解决办法图文教程
[从笔记本到pc] 笔记本一直都使用MySQL免安装版5.6.17,使用如下方法安装: 今天把同一个zip包传到pc上,按上面的方法安装居然报1067,按上面方法多次尝试还是不行. 百度,google ...
- Ubuntu安装ros rotors 以及中间出现的问题的解决办法
Ubuntu安装ros rotors 以及中间出现的问题的解决办法 下文列出了我的问题 在文档末尾,自行查看 安装ubuntu 这个网上的教程很多 我使用的是vmware安装,基本上就是连点 我所使用 ...
- Windows10安装CentOS系统U盘和硬盘无法识别解决办法
Windows10安装CentOS系统U盘和硬盘无法识别解决办法 本人是Dell的笔记本电脑,现有是Windows10系统,不打算装双系统,所以准备将电脑完全换成CentOS系统. 我采用的是U盘安装 ...
- linux安装eclipse提示错误,四种Eclipse安装错误的解决办法
Eclipse是java零基础的初学者会首先接触到的java开发环境,我们也学习了Eclipse安装教程,相信大家也按照教程在自己的电脑上操作了一遍.但是肯定有人在安装Eclipse的时候,有不同的E ...
- Oracle10g安装中遇到的错误及解决办法
linux解决xhost: unable to open display 实用技巧:在Linux下设置xhost方法步骤 第一步:用root登陆linux,启动vnc服务: 第二步:根据vnc起来的端 ...
- mysql-8.0.17解压版安装步骤及MySQL服务无法启动问题的解决办法
mysql-8.0.17解压版安装步骤及MySQL服务无法启动问题的解决办法 参考文章: (1)mysql-8.0.17解压版安装步骤及MySQL服务无法启动问题的解决办法 (2)https://ww ...
- 安装mysql Install/Remove of the Service Denied!错误的解决办法
在安装mysql过程中, 遇到Install/Remove of the Service Denied!错误的解决办法 解决办法: 打开cmd.exe程序的时候选择"用管理员身份打开&quo ...
- VirtualBox虚拟机中Ubuntu11.10安装Additions出现 读写错误的解决办法
VirtualBox虚拟机中Ubuntu11.10安装Additions出现 读写错误的解决办法 其主要原因是硬盘的控制器的冲突造成的,考虑到兼容性,将硬盘的控制器统一改成ide即可,还用原来的虚拟文 ...
- zabbix安装MySQL失败_MySQL数据库之zabbix3.x安装出现“configure: error: Not found mysqlclient library”的解决办法...
本文主要向大家介绍了MySQL数据库之zabbix3.x安装出现"configure: error: Not found mysqlclient library"的解决办法 ,通过 ...
最新文章
- python pip-python之pip的使用
- linux下删除有锁的文件夹,Linux 文件夹右下角有锁，解锁
- MySQL中，21个写SQL的好习惯
- 开启win7 FTP 服务 无法登陆的原因
- CSocket类的使用
- 智慧城市落地难的原因分析
- webinf目录下的没有什么_为什么你的减肥没有效果？ 来看下这些习惯是否中招...
- 全面战争：战锤II-概念艺术设计
- 性能调优的方法及概念
- flash相册制作软件模板_儿童照片相册模板 怎么制作炫酷视频相册
- idea生成get/set方法
- 详细图解哈夫曼Huffman编码树
- Java ee和Java se的区别
- 多媒体计算机辅助英语教学,多媒体计算机辅助英语教学的探究.pdf
- 鼠标模拟android,android_模拟鼠标指针demo
- 百度网盘下载加速方法（免会员免破解官方正规）
- UG NX 10 草图重新附着
- 艾美捷抗人IL-8 (CXCL8)单抗MT8F19说明书
- 商业调查——您可以下载 16 个免费问卷模板
- qt快速读取excel