DataStreamer Exception
问题
把一个系统的文件上传到集群的HDFS中，执行程序出现DataStreamer Exception异常：
Exception in thread "main" java.io.IOException: DataStreamer Exception: at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:695)
Caused by: java.nio.channels.UnresolvedAddressExceptionat sun.nio.ch.Net.checkAddress(Net.java:101)at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192)at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1606)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1404)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1357)at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:587)
解决方法
在此系统的/etc/hosts文件中追加集群的IP地址及服务器名称映射。
DataStreamer Exception相关推荐
- hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741891_1096java.io.IOException: Got
目录 一.异常产生过程 二.解决方案 三.思考原因 今天在配置Hadoop3.x纠删码(Erasure Coding)时,发生了以下报错, [mingyu@hadoop102 hadoop-3.1.3 ...
- Hadoop异常 hdfs.DFSClient: DataStreamer
机器环境:ubuntu 11.10 64位 hadoop版本:1.0.1 按照http://hadoop.apache.org/common/docs/stable/single_node_setup ...
- 大数据之hadoop伪集群搭建与MapReduce编程入门
一.理论知识预热 一句话介绍hadoop: Hadoop的核心由分布式文件系统HDFS与Map/Reduce计算模型组成. (1)HDFS分布式文件系统 HDFS由三个角色构成: 1)NameNode ...
- hdfs源码分析第二弹
以写文件为例,串联整个流程的源码: FSDataOutputStream out = fs.create(outFile); 1. DistributedFileSystem 继承并实现了FileSy ...
- 一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
- Hadoop HDFS分布式文件系统 常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
- Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是 ...
- Hadoop常见错误解析
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量 ...
- Could not close the output stream for file hdfs://192.168.190.129:9000/BJ_4.c
在使用kettle从windows客户端向hadoop集群传输文件的过程中,如下: 报这样的错误,文件上传成功,但是没有写入数据. 2017/04/12 15:32:08 - Hadoop Copy ...
- hadoop常见错误即解决方法
http://blog.csdn.net/yonghutwo/article/details/9206059 如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日 ...
最新文章
- matlab浮点运算的误差,MATLAB的eps，浮点数相对精度
- 手把手教你简单接入微信SDK
- 【Android 逆向】Android 进程注入工具开发 ( Visual Studio 开发 Android NDK 应用 | 使用 Makefile 构建 Android 平台 NDK 应用 )
- boost::allocate_shared相关的测试程序
- [剑指offer]面试题35：第一个只出现一次的字符
- 论文阅读：超高分辨率图像中快速、准确的条码检测
- 互联网人，从来不说人话！
- 信息学奥赛C++语言：整数的个数
- 在变量前面加个叹号什么意思_a little表示很少，quite a little什么意思？形容数量多少的用法...
- Java线程中断理解（interrupte）
- STM32F103实现LED呼吸灯程序
- C++语言对C语言的扩展（二）
- 晚安西南-----地破实验
- 在aspx页面显示一张完整的RDL报表
- 线性回归2020年天猫双十一销量
- Microsoft Visual Studio 2013 产品密匙
- 移动端--web开发
- 2021年必备的最全人工智能书单
- Mansory之一 ：mas_equalTo和equalTo区别与使用
- Swift基础之实现下拉变大和OC下拉变大上拉缩小Demo