报错：

17/06/24 01:30:25 ERROR Utils: Exception encountered
py4j.Py4JException: Cannot obtain a new communication channelat py4j.CallbackClient.sendCommand(CallbackClient.java:340)at py4j.CallbackClient.sendCommand(CallbackClient.java:316)at py4j.reflection.PythonProxyHandler.invoke(PythonProxyHandler.java:103)at com.sun.proxy.$Proxy8.dumps(Unknown Source)at org.apache.spark.streaming.api.python.PythonTransformFunctionSerializer$.serialize(PythonDStream.scala:141)at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$1.apply$mcV$sp(PythonDStream.scala:101)at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$1.apply(PythonDStream.scala:100)at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$1.apply(PythonDStream.scala:100)at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1269)at org.apache.spark.streaming.api.python.TransformFunction.writeObject(PythonDStream.scala:100)at sun.reflect.GeneratedMethodAccessor23.invoke(Unknown Source)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:1028)at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1496)at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:1378)at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1174)at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

因为代码中设置了local directory：

 ssc.checkpoint("checkpoint")

需要设置成HDFS directory。

【参考】：http://45.55.83.242:4000/blog/2016/02/22/note-Some-Spark-issues-and-solutions/

转载于:https://www.cnblogs.com/zhzhang/p/7073064.html

spark-streaming问题集锦相关推荐

  1. Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）

    https://bigdata.163.com/product/article/5 Apache 流框架 Flink,Spark Streaming,Storm对比分析(一) 转载于:https:// ...

  2. Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver

    [TOC] 实时WordCount案例 主要是监听网络端口中的数据,并实时进行wc的计算. Java版 测试代码如下: package cn.xpleaf.bigdata.spark.java.str ...

  3. Spark Streaming实践和优化

    2019独角兽企业重金招聘Python工程师标准>>> Spark Streaming实践和优化 博客分类: spark 在流式计算领域,Spark Streaming和Storm时 ...

  4. 基于大数据的Uber数据实时监控（Part 4：Spark Streaming、DataFrames和HBase）

    导言 根据Gartner的数据,到2020年全球将有208亿个连接产品投入使用.Uber机器学习负责人Danny Lange的目标是将机器学习待到Uber业务的每个角落.连接事物的示例包括联网汽车和设 ...

  5. 基于大数据的Uber数据实时监控（Part 2：Kafka和Spark Streaming）

    导言 本文是系列文章的第二篇,我们将建立一个分析和监控Uber汽车GPS旅行数据的实时示例.在第一篇文章中讨论了使用Apache Spark的K-means算法创建机器学习模型,以根据位置聚类Uber ...

  6. Spark Streaming与Kafka Streaming对比

    ♚ 叙述 对流处理的需求每天都在增加.原因是,处理大量数据通常是不够的. 必须快速处理数据,以便公司能够对不断变化的业务条件作出实时反应. 流处理是对数据进行连续.并行的实时处理. 流式处理是处理数据 ...

  7. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  8. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装

    一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...

  9. Spark Streaming高级特性在NDCG计算实践

    从storm到spark streaming,再到flink,流式计算得到长足发展, 依托于spark平台的spark streaming走出了一条自己的路,其借鉴了spark批处理架构,通过批处理方 ...

  10. Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展

    Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展 Receiver是SparkStreaming的输入数据来源,从对Receiver整个生命周期的设计,我们 ...

最新文章

  1. MPB：林科院袁志林组-​杨树根系-真菌互作体系构建方法
  2. RDD：基于内存的集群计算容错抽象
  3. 查询数据库,处理NULL值问题
  4. ||x||的错误理解
  5. Hexo+码云+git快速搭建免费的静态Blog
  6. docker tomcat jvm 使用 visualVM监控
  7. TomCat使用以及端口号被占用的处理方法
  8. lua----------------使用VS2015搭建lua开发环境的一些侥幸成功经验，
  9. Go开发报错 -- Golang strings.Builder type undefined
  10. larvel 路由未生效_laravel-5 – 将Laravel 5项目部署到托管后路由无效
  11. 深度学习-吴恩达-笔记-5-深度学习的实践层面
  12. 手机蓝牙如何减少延时_JEET ONE真无线耳机测评-高颜值低延时的集合
  13. outlook2016修改服务器,Outlook 2016 pop3 设置
  14. 【IoT】产品设计之市场概念：市场定位、产品定位、市场需求、产品需求
  15. vue组件之间的数据通信
  16. QQScLauncher.exe应用程序错误，0xc0000022
  17. 电子计算机表格,excel电子表格(计算机).ppt
  18. YOLO家族再度升级——阿里达摩院DAMO-YOLO重磅来袭
  19. 倍福PLC在NC轴报错代码18000原因分析
  20. 如何缩小pdf的大小？如何将pdf文件变小一点？

热门文章

  1. 解决Tk的窗口左上角位置设定不正确问题
  2. baidu+app+per+android,百度移动统计|移动应用APP统计|android统计分析|iOS统计分析
  3. pandas.to_csv()中文编码问题
  4. Java输入输出（标准）
  5. PHP多选题怎么弄,php多选题评分算法求指导解决方法
  6. Idea中类实现Serializable接口 引入 serialVersionUID
  7. 迭代器、可迭代对象与生成器
  8. Centreon不出图
  9. Asp.Net Identity 深度解析 之 注册登录的扩展
  10. Ubuntu 安装任意版本Django