windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法
按此文章《Hadoop集群(第7期)_Eclipse开发环境设置》进行MapReduce开发环境搭建的过程中遇到一些问题,饶了一些弯路,解决办法记录在此:
文档目的:
记录windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法;
问题一:程序运行时报JobTracker is in safe mode:
security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode at org.apache.hadoop.mapred.JobTracker.checkSafeMode(JobTracker.java:5178)
解决办法:
解除安全模式,如下命令:
bin/hadoop dfsadmin -safemode leave
操作安全模式的参数:
enter 进入安全模式
leave 强制退出安全模式
get 返回是否开启安全模式
wait 等待,一直到安全模式结束
问题二:程序运行时报错Input path does not exist: file:
14/06/05 13:41:06 INFO mapred.JobClient: Cleaning up the staging area hdfs://hadoop:9000/usr/local/hadoop/tmp/mapred/staging/hadoop/.staging/job_201406041924_0002 14/06/05 13:41:06 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:
解决办法:创建input目录
问题三:程序运行时报错unknown host: hadoop:
14/06/05 13:46:05 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: unknown host: hadoop Exception in thread "main" java.net.UnknownHostException: unknown host: hadoop
解决办法:将C:\Windows\System32\drivers\etc\hosts文件中,增加Hadoop的DNS解析
192.168.80.100 hadoop
问题四:程序运行时报错JobTracker is in safe mode:
14/06/05 14:13:21 ERROR security.UserGroupInformation: PriviledgedActionException as:administrator cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode
解决办法:"右击"桌面上图标"我的电脑",选择"管理",将用户中,找到administrator,改为hadoop,注销或重启电脑。
转载于:https://www.cnblogs.com/MyXQ/p/3789004.html
windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法相关推荐
- windows 环境下Eclipse开发MapReduce环境设置
1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0 ...
- MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试
公司有个计算需求,由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试 所以直接自己搭建一个本地Hadoop环境进行MR程序测试,然后再讲程序打包丢到公司Hadoop集群 别的不说,直接 ...
- windows 环境下node开发环境搭配问题
当我们使用ccap 生成验证码时,需要node-gyp构建build,但是c的编译环境是在python,vc. node-gyp包 https://github.com/TooTallNate/nod ...
- 【原创】OpenDDS笔记(一) Windows环境下的开发实例
一直想搞一搞OpenDDS,最近终于能抽出空来研究一下了.可能是年龄大了,若不做点记录过段时间脑子就清零了.趁热打铁,本文记录了Windows10环境下OpenDDS环境搭建,编译,idl自定义,代码 ...
- windows环境下electron开发遇到的各种坑汇总
进行electron开发要经常参考github上的优秀代码,亦或者需要使用npm.cnpm.yarn这些包管理工具来管理项目,在开发过程中会有很多坑需要填,这篇博客就综合记录下这些知识点 1.gith ...
- 【开发环境】Windows环境下Python开发环境 Pycharm Anaconda安装配置(无错完整)
目录 一.Python解释器: 1.官网下载解释器: 2.安装Python 解释器: 手动配置环境变量: 二.Pycharm 集成开发环境: 1.Pycharm官网下载: 2.Pycharm本地安装: ...
- 【开发工具】Windows环境下 IDEA 开发工具安装配置(无错完整)
目录 一.开发工具下载: 二.IDE统一管理工具: 三.IDEA配置: 设置主题: 设置代码颜色: 设置编译字符编码(全部设置为UTF-8): 开启模糊匹配: 设置背景壁纸: 自动导包移包: 方法分割 ...
- [RabbitMQ]Windows环境下rabbitmqclt(Command Line Tools)出现Erlang distribution failed错误的解决方法...
摘要 当使用rabbitmqctl时出现Erlang distribution failed,把%SystemRoot%Windows\System32\config\systemprofile下的. ...
- c语言程序做成可执行文件,windows环境下C程序生成可执行文件
windows环境下,编写C程序,生成.exe,用于操作某个文件. 包含三部分:搭建环境.程序实现.程序分析. 1.搭建程序编写和编译环境 在windows下安装Git Bash(下载页面). 安装完 ...
最新文章
- 剑指offer:剪绳子
- 当世界模型被用于sim2real:机器人通过视觉想象和交互尝试来学习
- Java 如何使用radio button保存值
- CSS DIV Shadow
- MySQL中字符串函数详细介绍
- 数据结构栈之火车出站小结
- ActiveMQ, RabbitMQ和ZeroMQ 选型关注点
- 【转】vb 关于commondialog的多选
- 红帽linux桌面版镜像下载,红帽 Red Hat Linux相关产品iso镜像下载【迅雷快传】【更新5.11 6.6】...
- 计算机多媒体软件应用,论计算机实验多媒体软件应用
- xbox 360手柄驱动程序_当手游开始变得硬核和竞技化 玩家会需要这样的手柄
- python-坦克射击飞机
- oracle 返回部分行,求救,返回部分结果后,才报单行子查询返回多行。
- 机器学习教程之朴素贝叶斯、贝叶斯信念网络
- 免Root–获取WIFI密码
- 脾气暴躁的 Linus 不大可能开喷修改 master
- Python choice() 函数
- 凸优化(一)绪论与凸集
- R语言的点图dot plot
- 传播正能量——《海南英才》阅读的读后感2200字