HDFS: The short-circuit local reads feature cannot be used

问题：

method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.

不能使用local read的优化策略；

解决：

Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。

修改配置如下：

<configuration>  <property>  <name>dfs.client.read.shortcircuit</name>  <value>true</value>  </property>  <property>  <name>dfs.domain.socket.path</name>  <value>/var/lib/hadoop-hdfs/dn_socket</value>  </property>
</configuration>

参考：

http://blog.csdn.net/jewes/article/details/40189263

转载于:https://www.cnblogs.com/bigbigtree/p/6840270.html

HDFS: The short-circuit local reads feature cannot be used相关推荐

【Hadoop】HDFS Short Circuit Local Reads（HDFS短路读取）
官网:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/ShortCircuitLocalReads.htm ...
【Hadoop】the short-cricuit local reads feature cannnot be use because UNIX Domain sockets are not ava
1.背景报错 [Flink]UnsatisfieldlinkError : org.apache.hadoop.util.NativeCrc32 的时候,在上面还有一个warn. the short ...
protell99se DRC检查提示Short Circuit Constraint问题
最近用Protell99画了一个传感器小面板,因为比较简单就直接在PCB中画了,也没有通过原理图导入.在画完PCB后进行DRC检查的时候总是报Short Circuit Constraint错误,仔细 ...
Image Processing and Computer Vision_Review：Local Invariant Feature Detectors: A Survey——2007.11...
翻译局部不变特征探测器:一项调查摘要 -在本次调查中,我们概述了不变兴趣点探测器,它们如何随着时间的推移而发展,它们如何工作,以及它们各自的优点和缺点.我们首先定义理想局部特征检测器的属性.接下来 ...
《Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank》论文精读
文章目录一.论文信息摘要二.要解决的问题现有工作存在的问题论文给出的方法(Rank-LIME)介绍贡献三.前置知识 LIME Feature Attribution Model-Agno ...
Hybrid de novo tandem repeat detection using short and long reads 使用短读和长读的混合从头到尾串联重复检测
背景串联重复序列作为基因组重排研究的热点之一,对遗传疾病的遗传背景有着重要的影响.许多用于参考序列串联重复检测的方法获得了高质量的结果.但是,在de novo上下文中,没有可用的参考序列,串联重复检 ...
手动搭建Hadoop环境
环境 namenode有2个,datanode有3个. 基础配置环境变量 .bashrc(怕配覆盖就放.bash_profile中) ============= export PS1="[ ...
知乎爆赞干货：顶级大公司的OLAP数据仓库，这是全网最好的总结
关于数据仓库,早期分享过不少基础类文章,偶然间看到知乎上这篇关于OLAP的深度解读,从技术发展,产品选型,执行优化等方面做了详细的剖析,分享来给大家看看! 一.有哪些类型的OLAP数仓? 1.按数据量 ...
Apache Hadoop 2.9.2文档中文译文 -------未完！！！！！！
目录一. General(概括) 1. Overview 2. Single Node Setup 3. Cluster Setup 4. Commands Reference 5. FileSys ...

HDFS: The short-circuit local reads feature cannot be used

HDFS: The short-circuit local reads feature cannot be used相关推荐

最新文章

热门文章