iceberg+Spark3.0-sql测试

在Iceberg官方下载页面（http://iceberg.apache.org/releases/）
1、用的是spark3.0最新的，下载对应的jar包，放到spark的jars目录下
2、在spark-defaults.conf添加默认参数

spark.sql.catalog.hive_prod   org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.hive_prod.type   hive
spark.sql.catalog.hive_prod.uri   thrift://###

3、启动spark-sql

-- 切换命名空间,在这里我们才可以创建iceberg表，在这里的iceberg表可以使用。
use hive_prod.test;
-- 创建表
create table ygy_iceberg_spark(id int ,name string) using iceberg;
-- 插入数据
insert into table ygy_iceberg_spark values(1,'a'),(2,'b'),(3,'c'),(4,'d');
-- 更改表结构
ALTER TABLE ygy_iceberg_spark ADD COLUMN sex String AFTER id;
-- 插入数据
insert into table ygy_iceberg_spark values(5,'男','e'),(6,'女','f');
--查看数据
select * from ygy_iceberg_spark ;

4、在hive中查看表结构

show create table test.ygy_iceberg_spark;
CREATE EXTERNAL TABLE `test.ygy_iceberg_spark`(`id` int, `sex` string, `name` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.FileInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.mapred.FileOutputFormat'
LOCATION'hdfs://HDFS80933/usr/hive/warehouse/test.db/ygy_iceberg_spark'
TBLPROPERTIES ('metadata_location'='hdfs://HDFS80933/usr/hive/warehouse/test.db/ygy_iceberg_spark/metadata/00003-7c439192-6c07-4ddf-a717-1782b7f482c4.metadata.json', 'previous_metadata_location'='hdfs://HDFS80933/usr/hive/warehouse/test.db/ygy_iceberg_spark/metadata/00002-1f71e8ca-3e2c-4053-86b4-14265dc90b77.metadata.json', 'table_type'='ICEBERG', 'transient_lastDdlTime'='1618305074')

可以看到我们数据存放的一些信息。

在执行删除的时候，发生了错误，有点困扰

spark-sql> delete from ygy_iceberg_spark where id<1;
Error in query: Cannot delete from table hive_prod.test.ygy_iceberg_spark where [LessThan(id,1)]

可以看看这个文章iceberg-Spark3.0SQL 测试案例

iceberg+Spark3.0-sql测试相关推荐

[1032]spark-3.0安装和入门
文章目录一.Windows安装 1.安装 2.使用二.Linux安装一般安装模式下载设置环境变量修改配置启动确认启动成功 Local模式 1.安装 2.使用 yarn模式 1.安装 2 ...
Spark3.0发布了，代码拉过来，打个包，跑起来！| 附源码编译
作者 | 敏叔V587 责编 | 徐威龙封图| CSDN 下载于视觉中国 Spark3.0已经发布有一阵子了,官方发布了预览版,带来了一大波更新,对于我们程序员来说,首先当然是代码拉过来,打个包,跑 ...
CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群
CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7 使用Xshell连接虚拟机集群设置安装JDK 1.8 SSH 免密登陆安装ha ...
如何查看文件是否为csv格式_Spark实战第二版(涵盖Spark3.0)第七章从文件接入数据...
关注公众号:登峰大数据,阅读Spark实战第二版(完整中文版),系统学习Spark3.0大数据框架!如果您觉得作者翻译的内容有帮助,请分享给更多人.您的分享,是作者翻译的动力! 本章涵盖了解析器的常 ...
dataframe两个表合并_Spark实战第二版(涵盖Spark3.0)第三章宏伟的角色dataframe
关注公众号: 登峰大数据 ,阅读Spark实战第二版(完整中文版),系统学习Spark3.0大数据框架! 如果您觉得作者翻译的内容有帮助,请分享给更多人.您的分享,是作者翻译的动力! 本章涵盖了使用 ...
Win10安装配置Spark3.0.2+单机版hadoop+JDK并运行实例+安装运行Docker
文章目录 1.安装JDK 2.安装hadoop 3.安装spark 4.anaconda配置spark 5.安装Docker 1.安装JDK 可以去官网https://www.oracle.com/j ...
升级ambari spark至spark3.0.2 bad substitution 和scala.MatchError: x.x (of class java.lang.String)错误解决
场景描述:由于业务要求想要使用Hudi,而hudi需要spark2.4.5+版本,canal+kafka+sss+hudi 当前版本: hdp3.1.4 hadoop 3.1.0 hive 3.1.0 ...
Mysql进阶学习所用到的SQL测试库代码
Mysql进阶学习所用到的SQL测试库代码一.`myemployees`库二.`girls`库一.myemployees库 /* SQLyog Ultimate v10.00 Beta1 MyS ...
提交客户端证书_MQTT X v1.3.3 正式发布 - 跨平台 MQTT 5.0 桌面测试客户端
MQTT X 是由全球领先的开源物联网中间件提供商 EMQ 开源的一款跨平台 MQTT 5.0 桌面测试客户端,它支持 macOS,Linux,Windows.MQTT X 的用户界面借助聊天软件的形 ...

iceberg+Spark3.0-sql测试

iceberg+Spark3.0-sql测试相关推荐

最新文章

热门文章