Apache Hudi 0.8.0 版本发布,Flink 集成有重大提升以及支持并行写
4月初,Apache Hudi 发布了 0.8 版本,这个版本供解决了 97 个 ISSUES,下面简单介绍一下这个版本的迁移以及重要特性。
迁移指南
•如果从 0.5.3 以下版本迁移,请检查这个版本后面的其他版本的升级说明。•如果需要升级到 0.8 版本,请参阅 0.6.0 版本的升级指南,因为本版本没有引入新的表版本(table versions)•HoodieRecordPayload接口不建议使用现有方法,而推荐使用新方法,该方法还允许我们在运行时传递属性。鼓励用户从不建议使用的方法中迁移出来,因为这些方法将从0.9.0中删除。
Flink 集成
自从 0.7.0 版本首次支持 Hudi Flink Writer 以来,Hudi 社区在改善 Flink/Hudi 集成方面取得了很大的进展,包括重新设计具有更好性能和可伸缩性的 Flink writer 管道、Flink 支持写 MOR 表、批量读取 COW&MOR 表、流式读取 MOR 表以及 使用 Flink SQL 读写(source and sink) Hudi 的连接器。在 0.8.0 版本中,用户可以使用 Flink 1.11+ 的所有这些特性。
请参阅 RFC-24[1] 了解 Flink writer 的更多实现细节,同时可以参考这个来快速在 Flink 中使用 Hudi。
并行写支持
根据许多用户的要求,现在 Hudi 通过乐观并发控制支持多个 writers 到同一个 Hudi 表。Hudi 支持文件级 OCC,也就是说,对于发生在同一个表上的任意2个提交(或写入者),如果没有对相同的文件进行修改,那么两个写入操作都可以成功。这个特性目前还处于实验阶段,需要Zookeeper或HiveMetastore来获取锁。
请参阅 RFC-22[2] 了解更多实现细节,同时可以参考这个来了解 Hudi Tables 的并发控制。
写端的改进
•Flink writer client 支持 InsertOverwrite;•Java writer client 支持 CopyOnWriteTable。
查询端的改进
•支持使用 Spark Structured Streaming 读取 Hudi 表;•Metadata table 的性能有所提升;•Clustering 的性能有所提升。
其他
https://github.com/apache/hudi/releases/tag/release-0.8.0
Apache Hudi 0.8.0 Releases Note:http://hudi.apache.org/releases.html
引用链接
[1]
RFC-24: https://cwiki.apache.org/confluence/display/HUDI/RFC+-+24%3A+Hoodie+Flink+Writer+Proposal
[2]
RFC-22: https://cwiki.apache.org/confluence/display/HUDI/RFC+-+22+%3A+Snapshot+Isolation+using+Optimistic+Concurrency+Control+for+multi-writers
Apache Hudi 0.8.0 版本发布,Flink 集成有重大提升以及支持并行写相关推荐
- 开源微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器...
JeeWx捷微4.0 微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...
- android b571 版本,HUAWEI Mate 7 EMUI 4.0.1 B571 版本发布说明及问题反馈
[问题反馈] HUAWEI Mate 7 EMUI 4.0.1 B571 版本发布说明及问题反馈 2739582263 电梯直达 DP手机产品经理 产品经理 发表于 2016-9-29 18:00:0 ...
- JAVA版微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器
JeeWx捷微4.0 微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...
- oracle 11.2.0.4 mos,Oracle 11.2.0.4 最终版本发布以来的 Oracle PSU 列表
Oracle 11.2.0.4 最终版本发布以来的 Oracle PSU 列表 Oracle 11g R2 是目前客户的主流版本,这个版本后续发布了一系列的补丁,今天列表整理一下,供大家参考. 云和恩 ...
- JeeWx捷微2.4.1版本发布,JAVA微信管家平台(支持公众号、企业号)
JeeWx捷微2.4.1版本发布,JAVA微信管家平台(支持公众号.企业号) 1.JEEWX平台介绍 Jeewx是一款开源.敏捷.组件化的微信管家平台,支持微信公众号.微信企业号管理,采用JAVA语 ...
- PEACHPIE 0.9.11 版本发布,可以上生产了
PeachPie在官方博客(https://www.peachpie.io/2018/10/release-0911-visual-studio.html)发布了PeachPie的0.9.11版本 - ...
- jeewx-api 1.0.5 版本发布,微信SDK接口封装(支持微信第三方开放平台)
JeeWx-api 1.0.5 版本发布,微信SDK接口封装 1.jeewx-api为何诞生 现在微信越来越火,基于微信的公众号和服务号越来越丰富,虽然微信帮助文档已经提供了相关的接口,但是接口比较多 ...
- ceph 版本升级_Ceph V10.2.0 Jewel正式版本发布
本文由Ceph中国社区-半天河翻译,Devin校稿 英文出处:官网release-notes 欢迎加入翻译组 此次主版本的更新将是下一个长期稳定发行版的基础版本.在Infernalis(9.2.X)版 ...
- hysVideoQC v0.0.2.002版本发布
概述 hysVideoQC (video quality comparator) 视频质量比较工具 基于开源项目VMAF和FFMPEG开发的一款 QT 图形界面工具.它可用于对比转码前后的视频失真变化 ...
最新文章
- day12-nginx
- 模板:莫比乌斯反演(数论)
- SpringBoot整合阿里云OSS文件上传、下载、查看、删除
- Git最新版下载(安装包)——阿里镜像快速下载
- 细致入微:如何使用数据泵导出表的部分列数据
- 安装squid_CVE-2019-12527:Squid缓冲区溢出漏洞利用分析
- 一步一步部署GlusterFS
- 每日算法系列【kentln供题】模糊的数字
- IT忍者神龟之Java动态代理与CGLib代理
- 百度网盘下载提速,推荐3种亲测有效的方法
- iframe背景色透明
- 破解Windows系统密码---利用PE系统破解
- 【计算理论】非确定性有限自动机 ( NFA ) 转换成 确定性有限自动机 ( DFA )
- 高版本SDK编译生成的apk放入低版本android源码中集成编译
- XP系统安装打印机提示未安装打印机驱动程序,操作无法完成.
- 郁金香java_郁金香搜索引擎的方案
- CA数字证书是什么?
- 网页在线视频下载教程(m3u8格式介绍及下载教程)
- SQL中DDL语句(数据表定义语言)
- 如何知道计算机显示器尺寸,如何查看电脑显示器尺寸?
热门文章
- 小米有品上新:青萍蓝牙温湿度计 电子墨水屏
- 微信小程序 - 横向靠右显示
- 基于OpenMV的QMC5883L三轴地磁场传感器应用
- LeetCode517 超级洗衣机 Java
- ciscn_2019_sw_7
- 手机如何查看电脑上的html,如何在电脑上查看手机wps内的文档
- html图片与文字轮播,我是这样写文字轮播的
- LookAround开元之旅(持续更新中...)
- Android Studio 编译时报错乱码的解决方法
- Win10自带截图工具SnippingTool.exe截图锁屏异常一例