CentOS 6 安装Hadoop 2.6 (一)准备工作
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (三)问题收集
CentOS 6 安装Hadoop 2.6 (四)运行简单例子

排查错误的重要途径就是检查日志文件,如果按照上文的配置方法,配置文件在/opt/hadoop-2.6.4/logs/底下,主要需要关注的是后缀是log的几个文件。先检查你的主节点,再检查从节点。

1. 日志中出现XXX连接不上,一直重试

这种情况在从节点的日志中很常见。

(1) 确认hosts文件是否配置正确

以下是笔者的master节点的hosts文件

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
5.2.5.5 master
5.2.8.5 slave1
5.2.9.7 slave2

(2)防火墙是否已经关闭

hadoop启动的时候,主节点和从节点之间通讯会使用到很多端口,请确保是否已经开启这些端口,或者是直接关闭防火墙。

(3)配置文件配置错误

配置文件中涉及地址的时候应该都使用主机名做前缀。

2. 日志中存在诸如localhost、0.0.0.0、127.0.0.1之类的本地地址

如果存在说明配置文件配错了,请检查配置文件。正常的情况应该是出现诸如master之类的主机名或者具体的IP地址(内网IP或者外网IP)。

3. 管理网页访问不了

(1)检查启动是否失败

按照CentOS 6 安装Hadoop 2.6 (二)配置Hadoop检查启动后应该存在进程是否都存在。
各节点启动日志是否有报错的地方。

(2)防火墙是否已经关闭

(3)该IP是否能否访问

ping一下该IP是否能通。如果你在外网环境中,应该使用外网IP或者域名进行访问。

4.访问hdfs异常

异常代码如下

16/04/11 06:31:31 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Bad connect ack with firstBadLink as 4.3.2.5:50010at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1460)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1361)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588)
16/04/11 06:31:31 INFO hdfs.DFSClient: Abandoning BP-1023463258-127.0.0.1-1460109965114:blk_1073741825_1001
16/04/11 06:31:31 INFO hdfs.DFSClient: Excluding datanode 4.3.2.5:50010

原因分析:出现这个异常,通常是有节点防火墙没关
使用/etc/init.d/iptables status(CentOS)检查各个节点的防火墙状态,再使用/etc/init.d/iptables stop关闭打开的防火墙。

CentOS 6 安装Hadoop 2.6 (三)问题收集相关推荐

  1. CentOS 6 安装Hadoop 2.6 (四)运行简单例子

    CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS ...

  2. CentOS 6 安装Hadoop 2.6 (二)配置Hadoop

    CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS ...

  3. CentOS 6 安装Hadoop 2.6 (一)准备工作

    CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS ...

  4. CentOS 7安装Hadoop 3.0.0

    最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了.网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来 ...

  5. centos oracle 安装 踩坑实录 (三:踩坑与填坑大全)

    为什么80%的码农都做不了架构师?>>>    1.安装oracle所需要的安装包 当你安装ORACLE的时候,缺依赖,按提示来,或者在下面的列表中自检. yum -y instal ...

  6. vmware虚拟机上的centos安装Hadoop,以及在本地eclipse上运行mapReduce项目,并将文件输出到HDFS中...

    注意centos主机名不支持下划线,所以文章中若出现centos_02.com,请替换为 centos02.com vmware虚拟机上的centos安装Hadoop 安装vmware虚拟机 虚拟机上 ...

  7. centOS 7下Hadoop伪分布式搭建

    记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺. 步骤 第一步:先把在window系统中下载好的关于Hadoop.jdk压缩包用Xftp传输到cent ...

  8. cdh 安装_使用Cloudera的CDH部署Hadoop:第三步,安装管理平台和数据库

    导读 这篇文章是关于使用CDH搭建Hadoop集群的第三步:安装Cloudera Manager Server和数据库的. 这篇文章有点长,涉及的知识点较多,略显零碎.虽然笔者可以将一些内容剔除,但笔 ...

  9. centos 7下Hadoop 2.7.2 伪分布式安装

    centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...

最新文章

  1. 使用ViewBag传送数据从控制器至视图
  2. 谷歌机器人业务重组 花里胡哨没有用 要做实干家
  3. 百度地图API使用之实现定位
  4. python 类方法 静态方法_python中类方法、类实例方法、静态方法的使用与区别
  5. 迁移实战:一次AntDB(基于pgxl分布式架构的数据库)数据库迁移经验分享
  6. 江苏师范大学计算机控制考试题库,江苏技术师范学院2006¬—2007学年第2学期《微机原理与接口技术》试卷(2份,有答案)...
  7. 开源阅读书源_安卓神器 | 开源小说软件阅读3.0,附赠大量书源
  8. java学习中,instanceof 关键字 和 final 关键字、值的传递(java 学习中的小记录)...
  9. WebService的网络协议
  10. java日期格式化返回date_Java日期时间格式化操作DateUtils 的整理
  11. 计算机四级网络工程师知识点(非常全面)
  12. 搜狗输入法 android 历史版本,搜狗输入法旧版
  13. Linux系统Centos7安装RabbitMQ使用压缩包配置环境变量RabbitMQ 3.8.16.tar.xz Erlang 24
  14. maven依赖名词解释
  15. 虾皮入驻后怎么经营才能:快速出单?
  16. C++ 16进制日志输出 每行右侧ASII输出
  17. 用pygame做一个简单的python小游戏---贪吃蛇
  18. Metasploit入侵win7系统
  19. 2022.02.14【读书笔记】|基于深度学习的生命科学 第2章 深度学习概论(上)
  20. soc 设计soc设计 uml实务手册_企业内训“领域建模和领域驱动设计”训练方案(2020年)...

热门文章

  1. 1032. 挖掘机技术哪家强(20)
  2. 3.type关键字.rs
  3. EXE与SYS通信(直接访问模式)
  4. 没登录网页也能个性化推荐?一文详解浏览器指纹
  5. Safari 14.0 的功臣 Webp?
  6. Python从N个数中找到最大的K个数
  7. 力扣- -231. 2的幂
  8. 从体验出发构建以增长为目标的视频服务体系
  9. 【线上分享】高性能视频推理引擎优化
  10. ECCV 2020 亮点摘要(上)