structed streaming基础---跳过的坑

1.spark structed streaming 报如图下面的错误

在pom.xml加这个配置即可

<spark.version>2.3.0</spark.version><scala.version>2.11</scala.version><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql-kafka-0-10_${scala.version}</artifactId><version>${spark.version}</version></dependency>

或在maven官网搜:spark－sql－kafka 也可以

第二个问题是运行structed streaming就无缘无故报空指针异常，看下报错日志

18/09/20 18:59:46 ERROR StreamMetadata: Error writing stream metadata StreamMetadata(ea90df83-a9ab-4e23-b03f-90bc3f8581ca) to file:/C:/Users/iwen/AppData/Local/Temp/temporary-c0117371-5f2e-419b-b45c-1dfd7609c644/metadata
java.lang.NullPointerExceptionat java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
......
Exception in thread "main" java.lang.NullPointerException

解决方法

下载这个，放到这个位置(https://github.com/srccodes/hadoop-common-2.2.0-bin)

代码最上面加一句这个即可

System.setProperty("hadoop.home.dir", "C:\\hadoop-common-2.2.0")

转载于:https://www.cnblogs.com/kaiwen03/p/9682726.html

structed streaming基础---跳过的坑相关推荐

webpack1.x环境配置与打包基础【附带各种 “坑“ 与解决方案！持续更新中...】
webpack1.x环境配置与打包基础[附带各种 "坑" 与解决方案!持续更新中...] 参考文章: (1)webpack1.x环境配置与打包基础[附带各种 "坑&quo ...
TeamTalk部署详细过程（跳过各种坑）
一.部署环境系统:centos7 X64位(32位不支持)核心版本二.部署过程项目下载地址https://github.com/mogujie/TeamTalk.git,这个项目已经是三年前的版 ...
那些年跳过的坑--编码格式（记事本 + WinSCP + MyEclipse）
那些年跳过的坑–编码格式(记事本 + WinSCP + MyEclipse) 背景公司有一个java开发的项目,部署在Linux下的Tomcat上.目前本人主要做.NET方面的开发,由于员工离职问题 ...
AI 人声模拟,MockingBird实现AI拟声,声音处理，基础搭建和采坑处理。
AI 人声模拟 MockingBird实现AI拟声基础搭建和采坑处理. 1.下载项目 git@github.com:babysor/MockingBird.git https://github.co ...
Structed Streaming
概论结构化流式查询使用微批处理引擎进行处理,该引擎将数据流作为一系列小批量作业处理,从而实现低至100毫秒的端到端延迟和完全一次的容错保证.但是,自Spark 2.3以来,引入了一种称为连续处理的新 ...
糯米团—重制“iPhone团购信息客户端”（零）源代码与跳的那些坑和思考
前言早就盼望着这一天发布博客记录我写程序的路程!是的,是第一个写在csdn上的app制作笔记!终于完成这个程序!!虽然有bug且功能单一,作为一个练手的app做出还是很有成就感,故拿出来和同样的新手 ...
Babylonjs 基础教程与填坑①入门常用网址
入坑babylon.js一段时间了,现在项目上线了,整理一下基础的入坑姿势和部分填坑技巧,记录一下遇到过的一些问题. babylonjs大法好,在webgl领域,国内社区活跃度还比不过three,入坑 ...
Babylonjs 基础教程与填坑③sandbox沙盒、inspector调试器操作教程【新手必看】和Camera类详解
简单介绍,无论是webgl程序员还是3D美术,都必须要学会用sandbox和inspector 提高团队效率的必备工具例如模型师导出的gltf.glb模型,程序员通过代码加载模型,部署运行后才发现碎 ...
Vue全家桶学习笔记_零基础入门到入坑:Vue篇
文章目录前言什么是Vue,什么又是框架完善的准备 Vue 引入 npm 安装 cnpm镜像加速器安装 Vue-Cli脚手架安装 webpack 安装 webpack-cli 安装 axios ...

structed streaming基础---跳过的坑

structed streaming基础---跳过的坑相关推荐

最新文章

热门文章