hudi mor表数据ro和rt表问题 rt更新数据表无法使用count

本人使用canal + kafka + sparkstructedstreaming 将mysql数据同步至hudi,并将hudi与hive集成。
想利用hive查询hudi数据。

hudi 在hive中有两张表：
xxx_ro：历史（compact策略触发后能查询到的数据）
xxx_rt：实时

查询ro表发现更新数据未与历史数据合并
查询rt表为实时数据，但是无法使用count()

hudi在 hdfs以 log+parquet格式保存，更新数据存储至log

查看了官网的配置

      .option(DataSourceWriteOptions.ASYNC_COMPACT_ENABLE.key(),"true").option(HoodieCompactionConfig.INLINE_COMPACT_TRIGGER_STRATEGY.key(),"NUM_OR_TIME").option(HoodieCompactionConfig.INLINE_COMPACT_NUM_DELTA_COMMITS.key(), "3").option(HoodieCompactionConfig.INLINE_COMPACT_TIME_DELTA_SECONDS.key(),"60")

尝试一下看看

2022-03-03
昨天试了spark-sql查 rt表报错

2022-03-03 09:33:45
直接更新时compact

上面配置就都不要了

测试ro表数据是“实时”更新数据

hudi mor表数据ro和rt表问题 rt更新数据表无法使用count相关推荐

cdatatable大数据操作_C# DataRow和DataColumn：更新数据表
在前面<C# Command>一节中已经介绍了使用 SqlCommand 对象中的 ExecuteNonQuery 方法执行非查询 SQL 语句来实现对数据表的更新操作,使用 DataSe ...
mysql怎么用游标修改数据_MySql使用游标Cursor循环(While)更新数据
#要修改的变量 DECLARE var_ID VARCHAR(50) DEFAULT ''; #需要修改的数据的数量 DECLARE var_UpdateCount INT; #当前循环次数 DECL ...
FreeSql （十四）批量更新数据
FreeSql支持丰富的更新数据方法,支持单条或批量更新,在特定的数据库执行还可以返回更新后的记录值. var connstr = "Data Source=127.0.0.1;Port=3 ...
FreeSql （十）更新数据
FreeSql支持丰富的更新数据方法,支持单条或批量更新,在特定的数据库执行还可以返回更新后的记录值. var connstr = "Data Source=127.0.0.1;Port=3 ...
Django讲课笔记09：使用QuerySet新增和更新数据
文章目录零.本讲学习目标一.课程导入二.新课讲授 (一)Shell模式新增数据 1.使用实例化 - 赋值 - save新增数据 2.使用create新增数据 3.使用字典与create新增数据 ...
数据集成到可视化分析，轻松驾驭数据洞察力：ETLCloud与帆软BI完美结合
在当今数据驱动的业务环境中,企业需要快速而准确地获取.处理和分析大量的数据.为了满足这一需求,ETLCloud通过和帆软BI的集成提供了一种强大的数据采集和数据分析解决方案,通过可视化的ETL工具和灵 ...
SqlServer 利用游标批量更新数据
SqlServer 利用游标批量更新数据 Intro 游标在有时候会很有用,在更新一部分不多的数据时,可以很方便的更新数据,不需要再写一个小工具来做了,直接写 SQL 就可以了 Sample 下面来看 ...
asscess 一条记录更新数据_一条MySQL更新语句是怎么执行的？
流程图这是在网上找到的一张流程图,写的比较好,大家可以先看图,然后看详细阅读下面的各个步骤. 执行流程: 1.连接验证及解析客户端与MySQL Server建立连接,发送语句给MySQL Serv ...
使用Flink对hudi MOR表进行离线压缩
默认情况下,MERGE_ON_READ表的压缩是启用的. 触发器策略是在完成五次提交后执行压缩. 因为压缩会消耗大量内存,并且与写操作处于相同的管道中,所以当数据量很大(> 100000 /秒) ...

hudi mor表数据ro和rt表问题 rt更新数据表无法使用count

hudi mor表数据ro和rt表问题 rt更新数据表无法使用count相关推荐

最新文章

热门文章