waterdrop1.5.1将hive中orc格式的文件导入clickhouse中

diagnostics: User class threw exception: java.lang.ExceptionInInitializerErrorat org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:84)at org.apache.spark.sql.execution.SparkSqlParser.parse(SparkSqlParser.scala:48)at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parseTableIdentifier(ParseDriver.scala:49)at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:409)at com.xinyan.blockchain.ods.DataLoadETH$.loadEth(DataLoadETH.scala:82)at com.xinyan.blockchain.ods.DataLoadETH$.main(DataLoadETH.scala:45)at com.xinyan.blockchain.ods.DataLoadETH.main(DataLoadETH.scala)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:665)
Caused by: java.lang.UnsupportedOperationException: java.io.InvalidClassException: org.antlr.v4.runtime.atn.ATN; Could not deserialize ATN with UUID 59627784-3be5-417a-b9eb-8131a7286089 (expected aadb8d7e-aeef-4415-ad2b-8204d6cf042e or a legacy UUID).at org.antlr.v4.runtime.atn.ATNDeserializer.deserialize(ATNDeserializer.java:154)at org.apache.spark.sql.catalyst.parser.SqlBaseLexer.<clinit>(SqlBaseLexer.java:1175)

解决方案：

在batch.conf中配置 spark.executor.extraClassPath = "/*/parcels/CDH/lib/spark/hive/hive-exec-2.1.1-cdh6.3.2.jar"即可

waterdrop1.5.1相关推荐

waterdrop1.x导入clickhouse分布式表-fitersql
接上一篇,最后留下的两个问题, 针对问题2:在不修改源代码的情况下,如何实现分布式表的本地hash方式写入? 现在做一些尝试和验证. 思路: waterdrop是可以进行多数据流程处理的,官方说明文档 ...
waterdrop1.x导入clickhouse分布式表-修改源码
接上一篇,使用fiter+sql方式进行分布式写表,存在效率低的问题,现在尝试从源码入手,制定clickhouse的分布式表本地写入方案编译好的class文件: https://download.c ...
waterdrop1.x导入clickhouse分布式表-默认方式
先引用一段官方output clickhouse插件中,对分布式表的说明官方文档地址:https://interestinglab.github.io/seatunnel-docs/#/zh-cn/ ...
spark 写tidb_优秀的数据工程师，怎么用Spark在TiDB上做OLAP分析
TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性. TiSpark 是 PingCAP 为解决用 ...
ClickHouse表引擎之Integration系列
Integration系统表引擎主要用于将外部数据导入到ClickHouse中,或者在ClickHouse中直接操作外部数据源. 1 Kafka 1.1 Kafka引擎将Kafka Topi ...
【clickhouse】使用waterdrop将Hive中的数据导入ClickHouse
1.概述转载:使用waterdrop将Hive中的数据导入ClickHouse 这里仅仅自己学习用. 前言最近有一个需求需要把hive的数据同步到clickhouse,而且数据量还比较大,所以使用 ...
基于waterdrop，从hive抽取数据至Oracle
相关链接:基于waterdrop,从oracle直接拉取数据进仓Clickhouse_Johnwick888的博客-CSDN博客继之前基于waterdrop,从orcale直接抽取数据到Clickh ...
Waterdrop之数据处理
背景及痛点: 我们的确可以利用Spark提供的API对数据进行任意处理,但是整套逻辑的开发是个不小的工程,需要一定的Spark基础以及使用经验才能开发出稳定高效的Spark代码.除此之外,项目的编译. ...
Waterdrop总结
目录 1.简介使用场景 Waterdrop 的特性 Waterdrop 的工作流程核心概念安装 Waterdrop 支持的插件(v1.x) 环境依赖 2.功能测试任务提交方式从Hive表导入 ...

waterdrop1.5.1

waterdrop1.5.1将hive中orc格式的文件导入clickhouse中

解决方案：

waterdrop1.5.1相关推荐

最新文章

热门文章