4月初,Apache Hudi 发布了 0.8 版本,这个版本供解决了 97 个 ISSUES,下面简单介绍一下这个版本的迁移以及重要特性。

迁移指南

•如果从 0.5.3 以下版本迁移,请检查这个版本后面的其他版本的升级说明。•如果需要升级到 0.8 版本,请参阅 0.6.0 版本的升级指南,因为本版本没有引入新的表版本(table versions)•HoodieRecordPayload接口不建议使用现有方法,而推荐使用新方法,该方法还允许我们在运行时传递属性。鼓励用户从不建议使用的方法中迁移出来,因为这些方法将从0.9.0中删除。

Flink 集成

自从 0.7.0 版本首次支持 Hudi Flink Writer 以来,Hudi 社区在改善 Flink/Hudi 集成方面取得了很大的进展,包括重新设计具有更好性能和可伸缩性的 Flink writer 管道、Flink 支持写 MOR 表、批量读取 COW&MOR 表、流式读取 MOR 表以及 使用 Flink SQL 读写(source and sink) Hudi 的连接器。在 0.8.0 版本中,用户可以使用 Flink 1.11+ 的所有这些特性。

请参阅 RFC-24[1] 了解 Flink writer 的更多实现细节,同时可以参考这个来快速在 Flink 中使用 Hudi。

并行写支持

根据许多用户的要求,现在 Hudi 通过乐观并发控制支持多个 writers 到同一个 Hudi 表。Hudi 支持文件级 OCC,也就是说,对于发生在同一个表上的任意2个提交(或写入者),如果没有对相同的文件进行修改,那么两个写入操作都可以成功。这个特性目前还处于实验阶段,需要Zookeeper或HiveMetastore来获取锁。

请参阅 RFC-22[2] 了解更多实现细节,同时可以参考这个来了解 Hudi Tables 的并发控制。

写端的改进

•Flink writer client 支持 InsertOverwrite;•Java writer client 支持 CopyOnWriteTable。

查询端的改进

•支持使用 Spark Structured Streaming 读取 Hudi 表;•Metadata table 的性能有所提升;•Clustering 的性能有所提升。

其他

https://github.com/apache/hudi/releases/tag/release-0.8.0

Apache Hudi 0.8.0 Releases Note:http://hudi.apache.org/releases.html

引用链接

[1] RFC-24: https://cwiki.apache.org/confluence/display/HUDI/RFC+-+24%3A+Hoodie+Flink+Writer+Proposal
[2] RFC-22: https://cwiki.apache.org/confluence/display/HUDI/RFC+-+22+%3A+Snapshot+Isolation+using+Optimistic+Concurrency+Control+for+multi-writers

Apache Hudi 0.8.0 版本发布,Flink 集成有重大提升以及支持并行写相关推荐

  1. 开源微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器...

    JeeWx捷微4.0   微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...

  2. android b571 版本,HUAWEI Mate 7 EMUI 4.0.1 B571 版本发布说明及问题反馈

    [问题反馈] HUAWEI Mate 7 EMUI 4.0.1 B571 版本发布说明及问题反馈 2739582263 电梯直达 DP手机产品经理 产品经理 发表于 2016-9-29 18:00:0 ...

  3. JAVA版微信管家平台——JeeWx 捷微4.0 微服务版本发布,全新架构,全新UI,提供强大的图文编辑器

    JeeWx捷微4.0   微服务版本发布^_^ 换代产品(全新架构,全新UI,提供强大的图文编辑器) JEEWX 从4.0版本开始,技术架构全新换代,采用微服务架构,插件式开发,每个业务模块都是独立的 ...

  4. oracle 11.2.0.4 mos,Oracle 11.2.0.4 最终版本发布以来的 Oracle PSU 列表

    Oracle 11.2.0.4 最终版本发布以来的 Oracle PSU 列表 Oracle 11g R2 是目前客户的主流版本,这个版本后续发布了一系列的补丁,今天列表整理一下,供大家参考. 云和恩 ...

  5. JeeWx捷微2.4.1版本发布,JAVA微信管家平台(支持公众号、企业号)

    JeeWx捷微2.4.1版本发布,JAVA微信管家平台(支持公众号.企业号) 1.JEEWX平台介绍  Jeewx是一款开源.敏捷.组件化的微信管家平台,支持微信公众号.微信企业号管理,采用JAVA语 ...

  6. PEACHPIE 0.9.11 版本发布,可以上生产了

    PeachPie在官方博客(https://www.peachpie.io/2018/10/release-0911-visual-studio.html)发布了PeachPie的0.9.11版本 - ...

  7. jeewx-api 1.0.5 版本发布,微信SDK接口封装(支持微信第三方开放平台)

    JeeWx-api 1.0.5 版本发布,微信SDK接口封装 1.jeewx-api为何诞生 现在微信越来越火,基于微信的公众号和服务号越来越丰富,虽然微信帮助文档已经提供了相关的接口,但是接口比较多 ...

  8. ceph 版本升级_Ceph V10.2.0 Jewel正式版本发布

    本文由Ceph中国社区-半天河翻译,Devin校稿 英文出处:官网release-notes 欢迎加入翻译组 此次主版本的更新将是下一个长期稳定发行版的基础版本.在Infernalis(9.2.X)版 ...

  9. hysVideoQC v0.0.2.002版本发布

    概述 hysVideoQC (video quality comparator) 视频质量比较工具 基于开源项目VMAF和FFMPEG开发的一款 QT 图形界面工具.它可用于对比转码前后的视频失真变化 ...

最新文章

  1. day12-nginx
  2. 模板:莫比乌斯反演(数论)
  3. SpringBoot整合阿里云OSS文件上传、下载、查看、删除
  4. Git最新版下载(安装包)——阿里镜像快速下载
  5. 细致入微:如何使用数据泵导出表的部分列数据
  6. 安装squid_CVE-2019-12527:Squid缓冲区溢出漏洞利用分析
  7. 一步一步部署GlusterFS
  8. 每日算法系列【kentln供题】模糊的数字
  9. IT忍者神龟之Java动态代理与CGLib代理
  10. 百度网盘下载提速,推荐3种亲测有效的方法
  11. iframe背景色透明
  12. 破解Windows系统密码---利用PE系统破解
  13. 【计算理论】非确定性有限自动机 ( NFA ) 转换成 确定性有限自动机 ( DFA )
  14. 高版本SDK编译生成的apk放入低版本android源码中集成编译
  15. XP系统安装打印机提示未安装打印机驱动程序,操作无法完成.
  16. 郁金香java_郁金香搜索引擎的方案
  17. CA数字证书是什么?
  18. 网页在线视频下载教程(m3u8格式介绍及下载教程)
  19. SQL中DDL语句(数据表定义语言)
  20. 如何知道计算机显示器尺寸,如何查看电脑显示器尺寸?

热门文章

  1. 小米有品上新:青萍蓝牙温湿度计 电子墨水屏
  2. 微信小程序 - 横向靠右显示
  3. 基于OpenMV的QMC5883L三轴地磁场传感器应用
  4. LeetCode517 超级洗衣机 Java
  5. ciscn_2019_sw_7
  6. 手机如何查看电脑上的html,如何在电脑上查看手机wps内的文档
  7. html图片与文字轮播,我是这样写文字轮播的
  8. LookAround开元之旅(持续更新中...)
  9. Android Studio 编译时报错乱码的解决方法
  10. Win10自带截图工具SnippingTool.exe截图锁屏异常一例