spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来

我正在使用Spark SQL读取Hive表并将其分配给

scala val

val x = sqlContext.sql("select * from some_table")

然后我正在使用数据帧x进行一些处理,最后得到一个数据帧y,它具有与表some_table一样的精确模式.

最后,我试图将y数据帧覆盖到同一个hive表some_table

y.write.mode(SaveMode.Overwrite).saveAsTable().insertInto("some_table")

然后我收到错误

org.apache.spark.sql.AnalysisException: Cannot insert overwrite into table that is also being read from

我尝试创建一个insert sql语句并使用sqlContext.sql()触发它,但它也给了我同样的错误.

有什么办法可以绕过这个错误吗？我需要将记录插回到同一个表中.

嗨,我尝试按照建议做,但仍然得到相同的错误.

val x = sqlContext.sql("select * from incremental.test2")

val y = x.limit(5)

y.registerTempTable("temp_table")

val dy = sqlContext.table("temp_table")

dy.write.mode("overwrite").insertInto("incremental.test2")

scala> dy.write.mode("overwrite").insertInto("incremental.test2")

org.apache.spark.sql.AnalysisException: Cannot insert overwrite into table that is also being read from.;

spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来相关推荐

python opencv 实现从一个文件夹中读取图片做切割处理后放入另一个文件夹
python opencv 实现从一个文件夹中读取图片切割处理后放入另一个文件夹. 实现的功能是把一个文件夹里的图片作处理,即把原图片中心为起点切割成1536*1536的图片,原图片必须大于这个的大小 ...
matlab sheet名字,MATLAB得到excel多个非默认sheet名_怎样利用matlab去读取一个excel表中多个sheet的数据并导入一个sheet中？...
如何用matlab读取一个excel表格中的若干个工作表如果数字: xlsread('e:/shiyanshuju/shiyanbiaoge','sheet1','B1:D1440') 最好个表格放 ...
c# applibrary实现一个Sheet表中存放多张DataTable数据
1.工具类(applibrary.dll) public class ExcelHelper {/// <summary>/// 文件名/// </summary>public ...
php使用PDO从数据库表中读取数据
php使用PDO从数据库表中读取数据 PDO为我们提供多种与数据库交互的方法,下面讨论两种可能的解决方案: 1.使用Query方法首先看一下最快的.但却不是最好的方法-–query方法. <? ...
随机从mysql中读取_如何实现MySQL表数据随机读取?从mysql表中读取随机数据
文章转自 http://blog.efbase.org/2006/10/16/244/ 如何实现MySQL表数据随机读取?从mysql表中读取随机数据?以前在群里讨论过这个问题,比较的有意思.mysq ...
mysql查询每个id的前10条数据_解决 MySQL 比如我要拉取一个消息表中用户id为1的前10条最新数据...
我们都知道,各种主流的社交应用或者阅读应用,基本都有列表类视图,并且都有滑到底部加载更多这一功能, 对应后端就是分页拉取数据. 好处不言而喻,一般来说,这些数据项都是按时间倒序排列的,用户只关心最新的 ...
如何创建最简单的 ABAP 数据库表，以及编码从数据库表中读取数据 (上) 试读版
ABAP 标准培训教程 BC400 学习笔记之一:ABAP 服务器的架构和一个典型的 ABAP 程序结构介绍 ABAP 标准培训教程 BC400 学习笔记之二:Cross-client 和 Clien ...
如何创建最简单的 ABAP 数据库表，以及编码从数据库表中读取数据 (下)
在本文的前续篇章:如何创建最简单的 ABAP 数据库表,以及编码从数据库表中读取数据 (上) 我们已经在系统里创建了两张数据库表 ZPERSON 和 ZMYORDERS, 并插入了对应的记录: 文章的 ...
sql删除表中重复记录_SQL从SQL表中删除重复行的不同方法
sql删除表中重复记录 This article explains the process of performing SQL delete activity for duplicate rows f ...

spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来

spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来相关推荐

最新文章

热门文章