Cloudera在北京时间2019年3月30日正式发布了Cloudera Enterprise 6.2.0,此版本包括了许多新功能,可用性改进以及性能提升。Cloudera Enterprise 6.2.0同时也包括很多组件版本的更新,如下:

组件

组件描述

版本

Hadoop

可靠的,可扩展的,分布式的存储和计算平台

v3.0.0

HBase

实时读写访问的可扩展的记录和表的存储

v2.1.2

Hive

具备类SQL接口和ODBC/JDBC驱动的元数据知识库连接BI应用和Hadoop

v2.1.1

Hue

遵循Apache许可协议的基于浏览器的桌面Hadoop接口

v4.2.0

Impala

遵循Apache许可协议的、针对存放在HDFS和HBase数据的实时SQL查询引擎

v3.2.0

Kafka

高度可扩展的、容错的发布订阅制消息系统

V2.1.0

Yarn

Hadoop各组件资源协调

V3.0.0

Flume

收集和聚合日志和事件数据,实时流写入HDFS或HBase的分布式框架

v1.9.0

Pig

处理存放在Hadoop里的数据的高级数据流语言

v0.17.0

Solr

文本、模糊数学和分面搜索引擎

v7.4.0

Spark

支持循环数据流和内存计算的高速通用数据处理引擎

v2.4

Sqoop

为集成Hadoop和关系数据库的数据传输引擎

v1.4.7

Zookeeper

高可靠的分布式协同服务

v3.4.5

Kudu

一种新的列式存储

V1.9

Cloudera Manager:

1.在Cloudera Manager中支持共享数据体验(Shared Data Experience,SDX)。Cloudera Manager现在支持创建一个或多个“计算集群”,为具有更强隔离性和可靠性的独立租户提供不同的工作负载,同时使用“数据上下文”(data context)抽象操作共享数据,元数据,安全和治理。这允许在每个租户的管理中,通过部署来实现存储和计算的分离,并与私有云基础设施进行协作。

2.BDR在集群间做数据复制时支持云对象存储。Cloudera BDR现在支持将存储在HDFS中的Hive和Impala表直接复制到使用S3和ADLS进行表存储的集群中,从而实现针对混合云用例的定期同步。

3.支持在YARN中调度GPU资源。Cloudera Manager和YARN一起支持对多个工作负载共享的GPU资源进行自动检测,隔离和使用报告,以便用户在集群中请求像GPU这种专有资源时可以被分配到相应的节点上。

4.Automated wire encryption (TLS)设置和秘钥轮换现在可用于最初未使用TLS的现有CDH集群。

5.针对安全集群中的Hive的AWS/Azure凭据处理,为共享集群中的多个Hive用户提供对S3/ADLS数据的透明访问,同时保持云凭据的安全性并远离最终用户。

6.支持在Cloudera Manager中配置TLS安全的Hive Metastore数据库。

7.跨集群网络带宽测试工具。Cloudera Manager现在有一个API来测试集群之间的网络带宽,有助于确定基础架构是否适合分离存储和计算服务

8.自动化的对重复主机进行检测和主机名迁移。Cloudera Manager现在可以检测并拒绝重复加入集群的主机,并且可以优雅地容忍托管主机的主机名更改,从而更好地支持自动部署。这个问题可以参考Fayson之前的文章《0519-如何解决Cloudera Manager主机页面出现重复主机异常》

Hue:

1.在HUE中,我们显著改进了Impala查询的故障排查体验,以便SQL开发人员能够更快地了解正在发生的事情,花费的时间以及应该优化哪里。

Impala:

1.Impala Web UI中添加了一个新部分(/admission),可提供对Admission Control资源池,运行和排队查询以及其他相关指标的查看。

2.添加了一个新的护栏(guardrail),当查询产生的行数多于护栏(guardrail)限制时自动取消。

3.用户现在可以设置默认文件格式查询选项,该选项将应用于未指定STORED AS子句的CREATE TABLE命令。

4.(预览)零接触元数据:目前,如果是非Impala引擎,例如Hive或Spark将新分区添加到现有表或新表中,Impala用户需要运行REFRESH table或INVALIDATE metadata操作后才能访问它们。在6.2中,我们引入了一种自动机制,可以避免Impala用户手动刷新元数据。在可配置的时间段内(默认为30秒),Impala用户可以自动访问现有表的新添加的分区以及Impala之外的新添加的表。

Hive:

1.编译锁删除:由于HiveServer2(HS2)中存在通用编译锁,因此在Hive中编译单个大型查询可能会阻止所有其他较小查询的编译。在6.2中,已删除此锁,并对查询启用并行编译。并行级别是可配置的,默认设置为3。

2.改进了连接池代理的可配置性(DBCP和BoneCP):配置更改为连接池代理,用于从HiveServer2连接到Hive Metastore,例如DBCP和BoneCP需要重新编译jar。 现在,在6.2中,可以通过更改hive-site.xml文件来完成。

3.Hive现在支持Google Cloud Storage作为表的数据存储。

安全:

1.HMS Metadata Read Authorization: 在6.2之前,HMS API有一个Sentry插件,授权所有元数据更改(写入)。现在在6.2中,Sentry的权限也扩展到了读取元数据。默认情况下,为了向后兼容性,此功能会被关闭。启用此功能后,直接访问HMS API的用户(例如SparkSQL用户)现在必须至少具有对对象的SELECT访问权限才能查看与该对象相关的元数据。请注意,Hive和Impala DESCRIBE命令也类似地过滤用户看到的元数据。

Navigator:

1.列序号 - 现在跟踪列添加到表中的顺序。

2.元数据清除改进:清除可以设置为更高的优先级 - 在确定的时间运行(run at exact time)。注意:Navigator UI将不可用,但不会丢失元数据或审计。

3.批量更新API:合作伙伴产品和客户集成的元数据更新速度提高了100倍

HBase:

1.串行复制(Serial replication)。此前HBase复制最终是一致的。这意味着更新可以无序传递到replication的end-points。Serial replication是replication的一个标志(flag),可确保为replication的end-points传递更新。

2.支持Intel Optane内存DC持久内存。 客户可以将DC持久性内存用于BucketCache,从而可以创建比DRAM更大的bucket cache。

3.Minor replication improvements(新配置选项,验证复制工具的改进,bug修复)。

Kudu:

1.现在,Kudu可以部署在跨机架,数据中心(DC)或可用区(AZ)的集群中。Kudu Master会将tablet分布到跨机架,DC或AZ,以便在发生故障时提供持续可用性。如果发生机架,DC或AZ中断,不需要手动进行故障转移。

Platform:

1.支持部署到Ubuntu 18

大家工作学习遇到HBase技术问题,把问题发布到HBase技术社区论坛http://hbase.group,欢迎大家论坛上面提问留言讨论。想了解更多HBase技术关注HBase技术社区公众号(微信号:hbasegroup),非常欢迎大家积极投稿。

技术社群

【HBase生态+Spark社区大群】
群福利:群内每周进行群直播技术分享及问答加入方式1:

https://dwz.cn/Fvqv066s?spm=a2c4e.11153940.blogcont688191.19.1fcd1351nOOPvI

加入方式2:钉钉扫码加入

免费试用

HBase初学者的福利来袭

cdh中hue集成hbase_HBase版本 | Cloudera Enterprise 6.2.0发布相关推荐

  1. CDH中hue使用oozie调度的文件注意事项

    CDH中hue使用oozie调度的文件注意事项 三个文件 job.properties 这个很重要,往往在创建得时候没有的,可以从其他地方cp也可以的 [root@hadoop001 bin]# su ...

  2. CDH中hue的oozie调度流程shell

    CDH中hue的oozie调度流程shell 1.将shell脚本上传到对应的hdfs的路径下 2.创建工作流 3.编辑工作流 4.上传脚本 5.添加文件 6.指定执行oozie的时候使用的Hadoo ...

  3. oracle 8.0版本下载,Oracle Linux 8.0 发布

    早在5月初,就在Red Hat Enterprise Linux 8.0发布之前,我们看到了Oracle Linux 8的公测版,而今天,Oracle Linux 8.0已经升级到稳定的版本,并且已经 ...

  4. CDH中文文档下载,Cloudera中文手册,CM中文文档

    CDH中文文档下载 链接:https://pan.baidu.com/s/1G-8WCafpPZ3p7ZDeXLcgug  提取码:ubxz

  5. Enterprise Library 3.0 发布

    微软今天发布了Enterprise Library 3.0,又有新的东西可以研究了,在Enterprise Library 3.0中包含如下8个应用程序块: l         Caching App ...

  6. springboot2稳定版本_重要版本Spring Boot 2.3.0发布 - spring.io

    重要版本Spring Boot 2.3.0于2020年5月15日发布,此版本增加了大量新功能和改进.有关完整的升级说明以及新的和值得注意的功能,请参阅发行说明. 2.3的新功能 依赖升级 Spring ...

  7. Enterprise Library 5.0发布

    Microsoft Enterprise Library 5.0是一套可重用的应用程序块,帮助开发人员进行企业应用开发.包括:Caching Block.Cryptography Block.Data ...

  8. 077 Apache的HBase与cdh的hue集成(不建议不同版本之间的集成)

    1.修改hue的配置文件hue.ini [hbase] # Use full hostname with security. hbase_clusters=(Cluster|linux-hadoop3 ...

  9. ShareSDK for Android 版本:V 2.5.0发布

    [更新内容]: 1.新增蓝牙分享,Pocket.FacebookMessenger.Instapaper平台 2.新增腾讯微博分享多张图片功能 3.新增facebook分享网络图片功能 4.新增人人网 ...

最新文章

  1. ICLR 2022|唯快不破!面向极限压缩的全二值化BiBERT
  2. Word中新建样式/修改样式对话框中的各个选项意义
  3. python property理解
  4. UA SIE545 优化理论基础1 例题2 Farkas定理与相关结论
  5. markdown中添加锚点
  6. eclipse/myeclipse高亮显示相同变量名 .
  7. QtCreator中的Sysroot的含义及坑
  8. 颠覆数学思维:直觉也会欺骗你
  9. linux下进程调度模拟程序,linux认证辅导:linux进程调度模拟怎么做?
  10. 应用数据挖掘进行客户关系管理
  11. 微软ReportViewer(rdlc)发布时所需要的动态库(vs2010)
  12. 当内存512遇上Access数据库600M,IO磁盘受伤了
  13. php如何从获取数据,如何从​​获取值并保存到php的数据库
  14. dockerfile中的env指令_Dockerfile中的ENV指令的具体使用详解
  15. magisk 启动 安全 app
  16. unity 老版本 离线下载
  17. android 评论发表情,安卓手机怎么在微信朋友圈评论发表情包?
  18. 艾克---BBB时间设置
  19. 我的世界服务器回到死亡位置,我的世界返回死亡地点指令是什么
  20. 南京软件测试自学英语,南京软件测试培训班怎么样?南京软件测试培训班学什么?...

热门文章

  1. Django练习——TodoList
  2. angularjs -- 监听angularJs列表数据是否渲染完毕
  3. 转:Java多线程学习(吐血超详细总结)
  4. php随笔10-thinkphp 3.1.3 模板继承 布局
  5. Android 分析工具 APKAnalyser
  6. 淘宝SDK easing属性(旋转木马)
  7. Inside Dynamics Axapta源代码赏析(三)
  8. SQL Server2005创建新数据库时不允许创建新数据库的问题
  9. 举枪消灭烂代码的实战案例
  10. Java Socket 编程