27. Spark : org.apache.spark.sql.AnalysisException: Reference 'XXXX' is ambiguous

27.

Spark : org.apache.spark.sql.AnalysisException: Reference 'XXXX' is ambiguous

这个问题是大多是因为，多个表join后，存在同名的列，在select时，取同名id，无法区分所致。

解决办法：

①对于列名相同的列，在DataFrame中更名。alias或withColumnRenamed可以实现,demo代码就暂时不提供。

②在join后，drop掉同名的列

df1.join(df2,df1.a == df2.a,'left_outer').drop(df2.a)

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.csdn.net/qq0719/article/details/86003435

27. Spark : org.apache.spark.sql.AnalysisException: Reference 'XXXX' is ambiguous相关推荐

apache spark_使用Apache Spark SQL探索标普500和石油价格
apache spark 这篇文章将使用Apache Spark SQL和DataFrames查询,比较和探索过去5年中的S&P 500,Exxon和Anadarko Petroleum Co ...
大火的Apache Spark也有诸多不完美
现在如果你想要选择一个解决方案来处理企业中的大数据并不是难事,毕竟有很多数据处理框架可以任君选择,如Apache Samza,Apache Storm .Apache Spark等等.Apache S ...
spark代码连接hive_Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）...
1.在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hiv ...
3.如何安装Apache Spark
如何安装Apache Spark 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹 ...
Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN
Spark 概述 Apache Spark 是一个快速的, 多用途的集群计算系统. 它提供了 Java, Scala, Python 和 R 的高级 API,以及一个支持通用的执行图计算的优化过的引擎 ...
使用基于Apache Spark的随机森林方法预测贷款风险
原文:Predicting Loan Credit Risk using Apache Spark Machine Learning Random Forests 作者:Carol McDonald ...
Apache Spark 3.x集群部署
Apache Spark简介 Apache Spark是一个开源集群运算框架,于 2009 年诞生于加州大学伯克利分校 AMPLab,2013 年被捐赠给 Apache 软件基金会,2014 年 2 ...
Apache Spark 3.0 SQL DataFrame和DataSet指南
目录简介 SQL 数据集和数据框入门起点:SparkSession Scala语言 Java语言 Python语言 R语言创建DataFrame Scala语言 Java语言 Python语言 ...
【Spark】一条 SQL 在 Apache Spark 之旅（上）
1.概述转载学习加深印象:一条 SQL 在 Apache Spark 之旅(上) Spark SQL 是 Spark 众多组件中技术最复杂的组件之一,它同时支持 SQL 查询和 DataFrame ...

27. Spark : org.apache.spark.sql.AnalysisException: Reference 'XXXX' is ambiguous

27. Spark : org.apache.spark.sql.AnalysisException: Reference 'XXXX' is ambiguous相关推荐

最新文章

热门文章