HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常

生产上部署了HDFS 2.7.4，最近遇到了一些异常，记录下来备忘：

一、dfs.datanode.directoryscan.throttle.limit.ms.per.sec

DataNode运行一段时间后，报如下异常：

ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000

谷歌了一下，发现是一个Bug：

https://issues.apache.org/jira/browse/HDFS-9274

解决方案：

编辑hdfs-site.xml，增加如下配置

<property><name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name><value>1000</value>
</property>

重启HDFS后，问题解决。

二、DataXceiver error processing WRITE_BLOCK operation

DataNode运行一段时间后，报如下异常：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxxxxx:50010:DataXceiver error processing WRITE_BLOCK operation  src: /aaaaaa:58294 dst: /bbbbbb:50010

谷歌了一下，发现需要修改数据传输线程个数。

解决方案：

编辑hdfs-site.xml，增加如下配置

<property><name>dfs.datanode.max.transfer.threads</name><value>8192</value>
</property>

重启HDFS后，问题解决。

转载于:https://www.cnblogs.com/liugh/p/9016576.html

HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常相关推荐

java解析xml文件失败,在Java中解析大型XML文件时找不到文件异常
我使用SAX(Simple API for XML)来解析XML文档.该文档是一个巨大的XML文件(dblp.xml - 1.46 GB),我写了几行解析器并在小文件上测试它,它的工作原理. Samp ...
Hibernate中hibernate.cfg.xml核心配置文件配置
<property>行为标签,name需要操作的对象 //dialect表示数据库的方言,例org.hibernate.dialect.MySQLDialect <property ...
hdfs配置文件（hdfs.site.xml）详解
简单的对hdfs(hdfs.site.xml)配置文件做一个简单的说明. <configuration> <property> <!-- 为namenode集群定义一个s ...
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
这两个案例默认是hadoop集群环境已经搭建好以及IDEA环境也已经配置好 1.HDFS客户端测试案例 1.1.pom依赖 <?xml version="1.0" encod ...
hadoop中hdfs文件下载
一.不多说,按照惯例,先贴代码还是建议粘贴到自己的eclipse中查看 package com.Lin_wj1995.bigdata.hdfs;import java.io.FileNotFound ...
Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）
一.综述 HDFS写文件是整个Hadoop中最为复杂的流程之一,它涉及到HDFS中NameNode.DataNode.DFSClient等众多角色的分工与合作. 首先上一段代码,客户端是如何写文件的: ...
Hhadoop-2.7.0中HDFS写文件源码分析
转载自:http://blog.csdn.net/lipeng_bigdata/article/details/53738376 一.综述 HDFS写文件是整个Hadoop中最为复杂的流程之一,它涉及 ...
向HBase中导入数据3：使用MapReduce从HDFS或本地文件中读取数据并写入HBase（增加使用Reduce批量插入）
前面我们介绍了: 向HBase中导入数据1:查询Hive后写入向HBase中导入数据2:使用MapReduce从HDFS或本地文件中读取数据并写入HBase(只使用Map逐条查询) 为了提高插入效率 ...
flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs: ...

HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常

HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常相关推荐

最新文章

热门文章