hadoop可能会遇到的问题

安装集群所遇到的问题
1 在Oracle VM VirtualBox安装ubantu集群式时每次重启IP地址都会改变
可通过命令修改各个节点上虚拟机的IP地址。

2 节点间ping连接超时
输入sudo vim /etc/hosts查看映射关系是否正确

3 开启集群后输入jps缺少进程
查看5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
是否有地方未与虚拟机配置同步

4 找不到start-dfs.sh等命令
检查路径是否配置出错
首先输入
vim ~/.bashrc
加入一行
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

配置PATH变量
保存后执行source ~/.bashrc使配置生效

5 Datanote无法正常启动
重新安装并初始化
cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

6.ping 得通但 telnet 端口不通， DataNode 启动了，但 Live datanodes 为 0
防火墙未关闭，用是 CentOS 7，需通过如下命令关闭：
systemctl stop firewalld.service # 关闭firewall
systemctl disable firewalld.service # 禁止firewall开机启动

hadoop可能会遇到的问题相关推荐

Hadoop学习笔记：MapReduce框架详解
原文:http://blog.jobbole.com/84089/ 原文出处: 夏天的森林开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手, ...
hadoop 学习笔记：mapreduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
Apache Hadoop 简单配置及实践
http://archboy.org/2011/08/19/simple-apache-hadoop-setup-application-1/ Apache Hadoop 是一个分布式计算基础框架,通 ...
Hadoop入门（六）Mapreduce
一.Mapreduce概述 MapReduce是一个编程模型,用以进行大数据量的计算二.Hadoop MapReduce (1)MapReduce是什么 Hadoop MapReduce是一个软件框 ...
Hadoop入门进阶步步高（三-配置Hadoop
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 三.配置 ...
【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署正文开始@Assassin 目录: Centos7环境 -- Hadoop单机模式部署 1. Hadoop介绍: 2. Hadoop发展史及生态圈: ...
【hadoop权威指南第四版】第六章MR的工作原理【笔记+代码】
6.1 运行MR作业工作原理四大模块: 客户端,提交MR作业. jobtracker,协调作业的运行.jobtracker 是一个java应用程序,主类是Jobtracker. tasktrack ...
Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
用Hadoop，还是不用Hadoop？
本文由伯乐在线 - Lex Lian 翻译. 英文出处:Anand Krishnaswamy.欢迎加入翻译小组. Hadoop通常被认定是能够帮助你解决所有问题的唯一方案. 当人们提到"大 ...

hadoop可能会遇到的问题

hadoop可能会遇到的问题相关推荐

最新文章

热门文章