org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized
Spark使用中，通过SparkContext创建一个ssc对象，并指定HDFS/本地检查点checkpoint，前提是HDFS或本地不能存在设置保存数据的检查点目录的，设置检查点代码为：
val ssc = StreamingContext.getOrCreate("hdfs://hadoop0:9000/checkpoint001", creatingFunc)
若运行时报错：
org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized
这就说明hdfs/本地已经有 /checkpoint001这个文件了，删除或换个名字再重新运行即可。若 creatingFunc 函数中也有checkpoint定义，则也需要一并删除或更名。
org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized相关推荐
- Flume整合SparkStreaming出现UnsupportedClassVersionError: org/apache/spark/streaming/flume/sink/SparkFlum
Flume整合SparkStreaming使用Poll方式拉取数据出现 UnsupportedClassVersionError: org/apache/spark/streaming/flume/s ...
- Spark Streaming源码分析 – DStream
A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence o ...
- Spark Streaming实现实时WordCount，DStream的使用，updateStateByKey(func)实现累计计算单词出现频率
一. 实战 1．用Spark Streaming实现实时WordCount 架构图: 说明:在hadoop1:9999下的nc上发送消息,消费端接收消息,然后并进行单词统计计算. * 2.安装并启动生 ...
- DStream实战之Spark Streaming整合fulme实战, Flume向Spark Streaming中push推数据 36
前言 本文所需要的安装包&Flume配置文件,博主都已上传,链接为本文涉及安装包&Flume配置文件本文涉及的安装包&Flume配置文件,请自行下载~ flume作为日志实时采 ...
- DStream实战之Spark Streaming接收socket数据实现WordCount 31
需求 现在想要通过socket发送数据, 然后Spark Streaming接收数据并且统计socket发送的每个单词的个数. 1. 架构图 2. 实现流程 安装并启动生产者 首先在linux服务器上 ...
- Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver
[TOC] 实时WordCount案例 主要是监听网络端口中的数据,并实时进行wc的计算. Java版 测试代码如下: package cn.xpleaf.bigdata.spark.java.str ...
- spark streaming 5: InputDStream
spark streaming 5: InputDStream InputDStream的继承关系.他们都是使用InputDStream这个抽象类的接口进行操作的.特别注意ReceiverInputD ...
- Spark Streaming从Kafka中拉取数据，并且使用过“窗口函数”统计一些流量信息
一.应用案例场景: 在Spark Streaming中,我们通常计算的是一段时间间隔内的数据.比如http://blog.csdn.net/tototuzuoquan/article/details/ ...
- Spark Streaming从Kafka中获取数据，并进行实时单词统计，统计URL出现的次数
1.创建Maven项目 创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/74571374 2.启动Kafka A:安装kafka集 ...
最新文章
- hadoop W3SCHOOL
- 传智播客韩顺平老师2011ssh实战项目校内网的数据库设计32张表全解
- java基础-类加载学习笔记
- 什么是抽象类?抽象类的作用_揭秘！Java 泛型背后到底是什么？
- excel填充工作日
- 共享存储及SAN（iscsi）配置
- Jsp Servlet Mysql实现的Java Web在线商城项目源码
- BZOJ.4842.[NEERC2016]Delight for a Cat(费用流)
- 【一天一个C++小知识】003.C++中的void指针类型
- 计算机组装与维护要点,《计算机组装与维护》要点.ppt
- linux卸载nps,Linux NPS服务部署
- https://blog.csdn.net/sxf359/article/details/71082404
- android捕获按键广播,Android 解决监听home键的几种方法
- 建设一个网站需要多少钱?
- 输入一个大写（或者小写）字母，输出小写（或者大写）字母使用DEV C++编译
- [ECE]模拟试题-4
- 计算机excel隆华书店销量,计算机二级excel主要函式的用法
- c语言第4份实验报告,C语言实验报告（四）
- 游戏开发中常用的数据结构和算法
- java 从mysql 导出到excel_Java：将数据库数据导出到Excel (一眼就看会)