记录执行hivesql时报org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block错误
在执行hive sql时明明已经插入了数据，可是过了一会儿查询的时候数据表为空，而且报以下错误，以前也经常遇到，搞得我一直重新插入数据反反复复，今天终于找到了root cause⬇️
⚠️报错：
org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block: BP-1094756810-192.168.10.102-1623427145615:blk_1073755935_15114 file=/warehouse/gmall/ads/ads_visit_stats/000000_0
原因排查：
查看yarn log，显示缺少块信息：
在命令行查找输出损坏的块及其所属的文件:
[xiaobai@hadoop102 ~]$ hdfs fsck -list-corruptfileblocks
输出文件及其对应的块信息:
[xiaobai@hadoop102 ~]$ hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
均显示没有问题！
于是查看了一下进程，104的datanode死掉了：
✅解决方法：
重启集群，恢复datanode，成功！
换个角度看问题 不要想得太复杂哦！
记录执行hivesql时报org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block错误相关推荐
- Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.
错误很明显无法获得BP-965200530-172.21.3.170-1400216975207:blk_-1762002543329523353_80392 file=/user/bdsdata/. ...
- 执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa”
执行HiveSql时报错"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapR ...
- Spark运行任务时报错：org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of...
今天运行spark任务时,遇到一个错误,主要报错信息如下: org.apache.spark.SparkException:Task failed while writing rows. Caused ...
- 云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin
云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin ...
- hive报错(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory/tmp/hive/.
报错场景: 使用shell脚本进行对hive的数据查询导入导致出错,先是hive执行时间较长,后面hive报错. 问题描述: 使用jps查询进程,发现有三个hive进程,三个RunJar,RunJar ...
- org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.da ...
- 用eclips连hadoop报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.ClientProtoco
win7上开发hadoop 在eclips连接hadoop时,报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.Cli ...
- ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
grep -ri Exception得到如下信息: /home/appleyuchi/bigdata/hadoop-3.2.1/logs/hadoop-appleyuchi-secondaryname ...
- Hive启动报错org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeE...
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExce ...
最新文章
- C#调用C/C++ DLL的相关说明
- 数据分析师最终都会代码化的3点原因？！
- jQuery 打气球小游戏 点击气球爆炸效果
- java恶搞程序半成品，打开将程序本身写到c盘隐藏，并设置开机启动项。可无限开机，可加影藏cmd while死循环 卡爆cpu
- 谈谈JDK8中的字符串拼接
- python中 tolist_python 列表,数组,矩阵两两转换tolist()的实例
- linux进程文件描述符 vnode,从flock引发的一个bug谈起（1） 进程的文件描述符
- java.lang.NoClassDefFoundError: org/junit/runner/manipulation/Filter
- cfa英语不好的怎么学_考CFA，英语太差怎么办？
- 八个常见CMD网络命令
- go 获取本机ip地址
- 盛京剑客系列25：极简估值教程——第一讲速判估值与PEG的推导
- ios 表情符号 键盘_iOS自定义的emoji表情键盘
- swift实现单例的四种方式
- 写给IT自学者的入门指南
- 【51单片机】普中A2开发板 模块化编程 单片机入门 实例教学目录
- 小程序源码：全新趣味测试-多玩法安装简单
- 乡村田园风的美食账号为何能在强者如云的美食号中走出一条路？
- matlab的主要功能与应用领域,MatLab的特点及应用领域？
- openbabel 3 以及 python openbabel 安装教程
热门文章
- (王道408考研操作系统)第四章文件管理-第二节1：磁盘的结构
- (王道408考研数据结构)第二章线性表-第二节2：顺序表的操作
- 1-5：学习shell之命令的使用
- CentOS 6、7 安装 Golang
- 反应堆模式(reactor)
- 【精辟】socket阻塞与非阻塞，同步与异步，select，pool，epool
- liteide无法自动补全代码问题解决【go: cannot find GOROOT directory: c:\go】
- 数据结构与算法：单链表（利用万能指针实现对任意类型数据进行操作）
- 机器学习 | 算法笔记- 集成学习（Ensemble Learning）
- Decoder is not a @Sharable handler, so can't be added or removed multiple times