SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常

参考文章：http://www.jianshu.com/p/791137760c14

运行SparkStreming程序一段时间后，发现产生了异常：

ERROR JobScheduler: Error running job streaming job 1496767480000 ms.0
org.apache.spark.SparkException: Job aborted due to stage failure: Task 13 in stage 37560.0 failed 4 times, most recent failure: Lost task 13.3 in stage 37560.0 (TID 3891416, 192.169.2.33, executor 1): kafka.common.OffsetOutOfRangeException

如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOutOfRangeException异常，然后停止服务。

解决方案：Kafka consumer中设置fetch.message.max.bytes为大一点的内存

比如设置为50M：1024*1024*50

fetch.message.max.bytes=52428800

转载于:https://www.cnblogs.com/liugh/p/6957656.html

SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常相关推荐

android获取错误原因,从http读取数据时发生OutOfMemory错误获取请求android
我正在做一个http获取请求.我需要接收大量数据,但在读取数据时出现OutOfMemory异常.从http读取数据时发生OutOfMemory错误获取请求android 我的代码: public st ...
(xxx.dll)处(位于xxx.exe 中)引发的异常: 0xC0000005: 读取位置 0x0000003F 时发生访问冲突。已解决。
下面两个这种类型的报错都一样.(跟xxx.dll和xxx.exe都没关系) 0x794CECC1 (Qt5Cored.dll)处(位于 xxx.exe 中)引发的异常: 0xC0000005: 读取位 ...
0x00007FF8DC013526(ntdll.dll) 处(位于XXX.exe中) 引发的异常 osg 0xC0000005: 读取位置 0xFFFFFFFFFFFFFFFF时发生访问
环境:Qt + VS2019 + osgearth 在加载数据界面操作成功,程序转到主界面时,弹出异常.这个问题困扰了我好长时间,终于下定决心要解决了. 下面这篇文章给我很大的启发: . ...
内存错误未处理的异常: 0xC0000005: 读取位置 0x00000000 时发生访问冲突
其他:内存错误未处理的异常: 0xC0000005: 读取位置 0x00000000 时发生访问冲突关于0xC0000005问题: 0xC0000005: Access Violation错误调试 ...
0x774B9E37 (KernelBase.dll)处(位于 LogonServer.exe 中)引发的异常: 0xC0000005: 读取位置 0x00000000 时发生访问冲突解决
网狐大联盟核心服务数据解锁函数访问冲突,报错: 0x774B9E37 (KernelBase.dll)处(位于 LogonServer.exe 中)引发的异常: 0xC0000005: 读取位置 0x ...
处有未经处理的异常:0xC0000005 : 读取位置 0x00000000 时发生访问冲突。
转首先排除一种小概率事件就是系统冲突导致的,比如系统盘目录存在类似的第三方库文件,程序运行将崩溃,并报错0xC0000005 : 读取位置 0x00000000 时发生访问冲突. 上面的意思就是,你 ...
Opencv4测试报错00007FFB3253A9C0 (ntdll.dll)处引发的异常: 0xC0000005: 读取位置 0x0000000000000010 时发生访问冲突
报错信息如下: 0x00007FFB3253A9C0 (ntdll.dll)处(位于 test1.exe 中)引发的异常: 0xC0000005: 读取位置 0x0000000000000010 时发 ...
0x0F1AFD76 (libcocos2d.dll) (Plane.exe 中)处有未经处理的异常: 0xC0000005: 读取位置 0x00000018 时发生访问冲突。
0x0F1AFD76 (libcocos2d.dll) (Plane.exe 中)处有未经处理的异常: 0xC0000005: 读取位置 0x00000018 时发生访问冲突. Get data fr ...
（转载）0x0F1AFD76 (libcocos2d.dll) (Plane.exe 中)处有未经处理的异常: 0xC0000005: 读取位置 0x00000018 时发生访问冲突。
原文地址:http://blog.csdn.net/u010398774/article/details/23567441 0x0F1AFD76 (libcocos2d.dll) (Plane.exe ...

SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常

SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常相关推荐

最新文章

热门文章