处理org.apache.hadoop.hbase.client.ScannerTimeoutException
使用spark读取hbase数据成为rdd数据结构时，不论spark作业的运行模式是client和cluster都报了一个异常：
org.apache.hadoop.hbase.client.ScannerTimeoutException
【原因】
没有在指定的时长内完成从HregionServer拉取完整数据到spark job客户端的内存当中，默认这个时间为是60000ms。为什么会超时呢？是因为所需要的数据需要从HregionServer先Scan再加载到spark job的客户端的内存，但是由于我这客户端内存不足，导致了无法完成所需全部数据的本地加载。
【解决办法】
（1）要么就加大spark job客户端的内存大小
（2）要么在跑spark作业前，调整hbase.client.scanner.timeout.period参数，例如从60秒调高到120秒
参考博文：http://blog.csdn.net/bryce123phy/article/details/51504585
处理org.apache.hadoop.hbase.client.ScannerTimeoutException相关推荐
- 【HBase】关于包org.apache.hadoop.hbase.client
Package org.apache.hadoop.hbase.client 提供HBase客户端接口 参考: Description Interface概要 Interface Descript ...
- 【异常】org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:
[异常]org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: ...
- Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Can‘t get the l
看尚硅谷视频,在windows上运行集群上的hbase时 package org.example;import org.apache.hadoop.hbase.HBaseConfiguration; ...
- (Hive)org.apache.hadoop.hbase.client.Put.setDurability(Lorg/apache/hadoophbase/client/Durability;)V
报错信息: Error: java.lang.RuntimeException: java.lang.NoSuchMethodError:org.apache.hadoop.hbase.client. ...
- org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException异常处理
在hbase写入数据时,出现下列异常: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 3465 ...
- Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at
使用HBase API连接HBase集群时一直报错 查看报错原因 : 报错原因说是无法不知道 hadoop102.hadoop.com这个域名 其实这个信息,并不是Hbase的异常,而是客户端找不到z ...
- org.apache.hadoop.hbase.NotServingRegionException: hbase:meta,,1 is not online问题（暂时没有解决）
在试图使用 sqoop从mysql导数据到hbase的过程中,发生下面报错: 2020-06-30 11:53:38,636 ERROR [main] tool.ImportTool (ImportT ...
- HBase出现java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration问题
问题:Hbase在集群上运行报错:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration 需求:HBase使用Java创建表,打 ...
- org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
hbase 进行 javaAPI 操作时报了如下错误 : org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after ...
最新文章
- MS SQL入门基础:查看表
- Java判断字符串是否是整数
- 岗位推荐 | 京东AI研究院招聘计算机视觉算法实习生
- python函数大全和意思_python 之 内置函数大全
- 虚无主义还是怀疑论？
- matlab二次二阶距,用Matlab改进一次二阶矩法程序.doc
- 我做的两个游戏的免CD补丁
- 计算机大学生学生证,电子学生证运行一月争议多：学生感觉被监控
- CCF NOI1139 高精度减法
- HBuilderX报错：ESC[0；31m--＞ LibSass的二进制文件.....]
- 华为设备ERPS配置命令
- 北理珠计算机与科学就业去向,2019届我国大学毕业生就业情况：计算机类专业领跑薪酬榜...
- [Windows][卓越性能模式]win10上如何开启卓越性能模式？
- 灵芝酸大鼠血清白蛋白纳米粒|茯苓酸小麦麦清白蛋白纳米粒雷公藤内酯醇-牛血清白蛋白纳米粒(TRD-BSA NPs)
- 【OpenCV】图像进行数字化操作：像素确定位置、获取像素BGR值、修改像素BGR值、修改指定区域内像素
- 计算机就业去哪个岗位好？ 算法岗位还是开发岗位更好？
- haproxy代理https配置方法【转】
- php开启sockets模块,php开启php_sockets扩展
- H3C 无线WLAN侧AC+FIA配置
- 在win10本地开发springboot项目能上传图片，并能通过URL直接从浏览器访问，但是部署到服务器上后能上传文件，但是通过浏览器无法访问图片