hadoop集群搭建出现的一些问题总结
为了实现三台主机(master slave1 slave2)间的免密码登录,分别将slave1和slave2的公钥发送给 master ,然后再将master复制到slave1和slave2
ssh-copy-id master
验证master里面的authorized_keys
cat .ssh/authorized_keys
这里出现了问题,只有master和slave2的公钥,没有slave1,最后发现是slave1主机的etc/hosts文件下没有配置这三个主机的IP地址。出现slave1和slave2的公钥就说明配置成功了。
将master的authorized_keys文件复制给slave1和slave2
scp ~/.ssh/authorized_keys hdp@slave1:~/.ssh
验证三个主机之间可以免密登录后,就直接格式化了,这个操作是错误的,结果就是格式化失败
必须将hadoop目录的所有者设置为启动hadoop的用户,查看hadoop的所有者,发现与启动hadoop的用户(hdp)不同
转换成root,才有权限修改目录的所有者,这里让我比较纠结的一点是路径问题,不确定是在root目录下的 usr 还是 / ,看了一些blog介绍说在root目录下的 / ,相当于普通用户下面的 ~ ,我的hadoop位于hdp用户下的 usr/local,因此用 / 。如果不确定,可以在终端查看一下。
su root \\转换成root修改hadoop的所有者,普通用户(hdp)没有权限修改
chown mail:mail file \\改变拥有者和群组
建议关闭防火墙后,再格式化
service iptables stop
chkconfig iptables off
hdfs namenode -format
格式化成功截图
启动hadoop集群,执行
start-dfs.sh \\启动namenode,必须在该节点主机上运行命令
出现错误
可以看到slave1主机和slave2主机没有权限和无法访问文件,主要原因是只在master修改了文件(hadoop-2.7.0)的拥有者(hdp),未在slave1和slave2中修改他们的的文件拥有者。全部修改完毕以后,用jps命令查看主机中的进程,一切正常。
继续执行启动集群命令。注意,执行以下命令时,在slave2主机上执行,不在master。
start-yarn.sh \\启动resourcemanager,必须在该节点主机上运行命令,出现问题。 master和slave1都能正常启动,唯独slave2报 Host key verification failed. 错误。
看其他的文章说与known_hosts文件有关,分别查看了一下master和slave2的known_hosts文件,发现master的文件中有master,slave1和slave2的公钥,而slave2中只有master和slave1。
vi ~/.ssh/known_hosts
我将master主机的slave2公钥复制到slave2主机的known_hosts。问题解决成功。
再次查看各个主机的进程。
运行share中的wordcount实例,统计文件中单词出现的次数。
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount /aa/ /bb
出现的具体问题如下:一直连接不上服务器。
解决方法:
关闭各个主机的防火墙!
service iptables stop
chkconfig iptables off
这里转换为root,普通用户没有权限关闭防火墙。
结果展示。
hadoop集群搭建出现的一些问题总结相关推荐
- 好程序员大数据笔记之:Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
- linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤 实验介绍 下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令 集群安装 完成实验需要以下相关知识 解压命令 tar -zxvf XX.tar. ...
- Hadoop集群搭建(27)
2019独角兽企业重金招聘Python工程师标准>>> Hadoop集群搭建方式: 1.1 确定部署三个节点,分别是hadoop0,hadoop1,hadoop2. 其中had ...
- Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...
- 大数据 -- Hadoop集群搭建
Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...
- 不看就亏系列!这里有完整的 Hadoop 集群搭建教程,和最易懂的 Hadoop 概念!| 附代码...
作者 | chen_01_c 责编 | Carol 来源 | CSDN 博客 封图 | CSDN付费下载于视觉中国 hadoop介绍 Hadoop 是 Lucene 创始人 Doug Cutting, ...
- hadoop集群搭建 修改配置文件(三台主机都要配置)
hadoop集群搭建 修改配置文件(三台主机都要配置) master 主机配置 1)hadoop-env.sh vim hadoop-env.sh 2)core-site.xml vim c ...
- Hadoop集群搭建之问题锦集
**Hadoop集群搭建之问题锦集** 1.Centos7 ifconfig这个命令没找到的解决方法 yum -y install net-tools 2.修改文件的读写权限 chmod 777 /e ...
- 大数据Hadoop集群搭建
大数据Hadoop集群搭建 一.环境 服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统 版本:CentO ...
- Hadoop集群搭建(三台Linux服务器)
Hadoop集群搭建(三台Linux服务器) 搭建之前注意的几点问题 环境以及版本 基本命令 Linux环境准备 首先安装Hadoop 配置集群分发脚本 克隆配置好的机器 Hadoop集群配置 第一步 ...
最新文章
- Redis源码解析——内存管理
- 微服务架构之「 容错隔离 」
- Pandas处理时序数据(初学者必会)!
- VSEARCH让你免费使用无内存限制的USEARCH
- 棋盘上的孙子兵法之我见
- JS流程控制语句 二选一 (if...else语句) 语法: if(条件) { 条件成立时执行的代码} else {条件不成立时执行的代码}...
- iptables防火墙(二)
- 操作系统:进程的三种状态
- java swing 传值_java swing 窗体之间怎么传值?
- android apr分析,APR分析信号篇
- HDU 1540 Tunnel Warfare 线段树区间合并
- BOS12——多对多添加方法,多对多页面需要字段问题(不多的话直接提供get方法),修改Realm中授权方法(查询数据库),缓存Java对象的方法,加载左侧菜单(ztree提供pId)...
- Disqus API 用法 How to get your Disqus API keys
- Mr.J--JS学习(闭包私有化)
- 损坏的主文件表_启动失败时如何手动修复Windows 10的MBR(主引导记录)
- English Through Movie
- C++基础教程之如何定义数字
- 【安装包】MySQL服务端
- 软件测试——JUnit基础
- 【TWVRP】基于matalb粒子群算法求解带时间窗的车辆路径规划问题【含Matlab源码 1272期】