云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin
云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPointerException
不知道大家在学习云计算的时候怎么搭建的环境,个人用的是hadoop4win-setup-full_0.1.5,这款软件,这个软件集成了云计算中需要的软件,只要装上就可以搭建出环境,但是装好之后,也许用该软件的朋友都会发现一个这样的问题,刚刚开始用的时候没有问题,但是以后第二回,第三回的时候会报这个错误: ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPointerException
就这个问题…网上搜了很多方法,都不靠谱啊….说改配置文件,但是配置文件有两个部分,
一个是D:\hadoop4win\opt\hadoop\conf-local这个目录下的:
还有一个是conf-pseudo这个目录下的.改了都不管用.
最后我的解决方法是,把conf-local这个文件夹修改了以后,然后拷贝一份重命名为conf问题解决.下面是配置文件的
配置方法以及常见问题,收集于网络.
第一步:修改core-site.xml,配置如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第二步:修改hdfs-site.xml文件,配置如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/cygdrive/d/hadoop/working/name</value>
<final>true</final>
</property>
<property>
<name>dfs.data.dir</name>
<value>/cygdrive/d/hadoop/working/data</value>
<final>true</final>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/cygdrive/d/hadoop/working/checkpoint</value>
<final>true</final>
</property>
</configuration>
第三步:修改mapred-site.xml配置如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
<final>true</final>
</property>
<property>
<name>mapred.local.dir</name>
<value>/cygdrive/d/hadoop/working/dir1,/cygdrive/d/hadoop/working/dir2</value>
<final>true</final>
</property>
<property>
<name>mapred.system.dir</name>
<value>/cygdrive/d/hadoop/working/system</value>
<final>true</final>
</property>
</configuration>
第4步,进入cygwin客户端,执行
$ cd /cygdrive/d/hadoop 【其中/d/hadoop为hadoop安装目录,即d:\hadoop,linux表示路径和windows不同】
$ bin/hadoop namenode –format 【格式化namenode】
第5步,修改工作目录权限
$ bin/hadoop dfs chmod 777/cygdrive/d/hadoop/working 【/cygdrive/d/hadoop/working 为工作目录,默认是tmp】
第6步,启动hadoop
$ bin/start-all.sh
$ ps –ef
通过ps查看进程,能看到5个java进程,即成功。
常见问题
(1)
执行$ bin/hadoop start-all.sh之后,无法启动,在logs的namenode日志发现如下内容:
2011-08-03 08:43:08,068 ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:136)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:176)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:206)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:240)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:434)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1153)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1162)
解决方法:此时是没有配置conf/mapred-site.xml的缘故. 配置core-site.xml文件
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
配置mapred-site.xml文件:
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
<final>true</final>
</property>
(2)执行hadoop fs -ls
显示结果:ls: Cannot access .: No such file or directory.
这是这个目录为空所致。执行
hadoop fs -ls /
可以看到有一条结果。执行hadoop fs -mkdir hello 其中hello为文件夹名字,再执行ls命令,即可看到结果。
(3) TaskTracker无法启动,在logs中查看tasktracker日志,出现如下错误:
2011-08-03 08:46:45,750 ERRORorg.apache.hadoop.mapred.TaskTracker: Can not start task tracker becausejava.io.IOException: Failed to set permissions of path:/cygdrive/d/hadoop/working/dir1/ttprivate to 0700
at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
atorg.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:499)
atorg.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
atorg.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:635)
atorg.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
atorg.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)
解决方式:1.确认hadoop的版本,在0.20.203版本上有这个bug,切换会0.20.2版本;2. 执行第5步,授权
通过浏览器访问 http://localhost:50070/ ,能正常访问,表示namenode配置成功
云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin相关推荐
- HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
- ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案
ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案 参考文章: (1)ERROR:org.ap ...
- ERROR: org.apache.hadoop.hbase.PleaseHoldException:Master is initializing
http://blog.csdn.net/wuzhilon88/article/details/18408149 今天想操作HBase的CRUD,启动HBase没有问题,但是使用hbase shell ...
- ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
grep -ri Exception得到如下信息: /home/appleyuchi/bigdata/hadoop-3.2.1/logs/hadoop-appleyuchi-secondaryname ...
- ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
今天在配置好hbase分布环境后,进行shell操作,在创建表时出现了如下错误: ERROR: org.apache.hadoop.hbase.MasterNotRunningException: R ...
- 文件数据云计算学习笔记---Hadoop HDFS和MapReduce 架构浅析
本文是一篇关于文件数据的帖子 媒介 Hadoop是一个基于Java的分布式麋集数据处理和数据分析的软件框架.Hadoop在很大程度上是受Google在2004年白皮书中论述的MapReduce技术的启 ...
- 云计算学习笔记003---Hadoop简介,hadoop实现原理,NoSQL介绍...与传统关系型数据库对应关系,云计算面临的挑战
1.Hadoop简介 1.hadoop的诞生 l Nutch和Lucene之父Doug Cutting在2006年完成Hadoop项目. l Hadoop并不是一个单词,它来源于Doug Cutt ...
- 云计算学习笔记006---运行hadoop的例子程序:统计字符--wordcount例子程序
04-运行wordcount例子程序 下面可以看下hadoop的例子程序: hadoop-0.20.2-examples.jar 注意这里用到的wordcount.txt中的内容为: hello ha ...
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨...
本文是一篇关于安装.进程-的帖子 1.Hadoop简介 1.hadoop的生诞 l Nutch和Lucene之父Doug Cutting在2006年成完Hadoop目项. l Hadoop并非一个 ...
最新文章
- 你的简历到底问题在哪?
- iOS开发中使用[[UIApplication sharedApplication] openURL:]加载其它应用
- libtorchWindows中的使用
- 前1000位粉丝的诞生
- 机器学习导论(张志华):随机向量性质
- ​电赛 | 19年全国一等奖,北航学子回忆录。
- 以A表中的值快速更新B表中记录的方法
- python画羊_羊车门作业 Python版
- 线上不修改mysql的存储引擎对emoji标签做删除处理(PHP)
- 为什么我们需要研究迁移学习?
- 细说VAE的来龙去脉 (Variational Autoencoder)
- Springboot 静态资源路径配置 实例介绍
- 2020年中国工程机械租赁行业现状及市场竞争格局分析,工程机械运营市场集中度极低,高空作业平台市场集中度较高「图」
- 文字05 自定义字体
- ECharts中国地图模板
- rsyslog日志级别 配置日志输出级别
- PAYING MORE ATTENTION TO ATTENTION:
- 给子盒子设置外边距父盒子跟着移动问题
- C#获取bing每日一图的图片及图片故事(IDE为VS Code .net core)
- Android设计应用图标不用愁---Asset Studio Integration来帮你