hadoop+hive+flink+hbase交互的版本兼容性

与Hive兼容的Hadoop版本[3]	Flink支持的Hive[1]
1.x.y, 2.x.y	1.0.0 1.0.1
1.x.y, 2.x.y	1.1.0 1.1.1
1.x.y, 2.x.y	1.2.0 1.2.1 1.2.2
2.x.y	2.0.0 2.0.1
2.x.y	2.1.0 2.1.1
2.x.y	2.2.0
2.x.y	2.3.0 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.3.6
3.x.y	3.1.0 3.1.1 3.1.2

Hadoop與Hbase兼容性([5]中搜索Hadoop version support matrix)

hadoop版本	hbase
Hadoop-2.7.1+	HBase-1.4.x
Hadoop-2.8.5+	HBase-1.6.x HBase-2.2.x
Hadoop-2.9.2+	HBase-1.6.x HBase-2.2.x
Hadoop-2.10.x	HBase-1.6.x HBase-1.7.x HBase-2.3.x
Hadoop-3.1.1+	HBase-2.2.x HBase-2.3.x
Hadoop-3.2.x	HBase-2.2.x HBase-2.3.x

其他版本都和hadoop不兼容，不要去下載。

hadoop和hbase肯定是屬於同一個集羣的

Flink版本至少需要1.9或者以上[2]，否則是不可能進行各種實驗操作的

因爲從1.9開始flink官方才開始出現beta版本

根据[6][7]可知，Flink1.12对hbase当前最高支持版本是2.2.x

补充:

关于Hbase和hadoop，即使参考了官方兼容列表，也会出现兼容性的问题，

此时需要参考[8]解决(尽量采用自己在gitee上编译的hbase版本)

Reference:

[1]Hive

[2]Hive Integration Beta-1.9

[3]Hive-Downloads

[4]Hadoop、Hbase、Hive版本兼容性

[5]Apache HBase ™ Reference Guide

[6]HBase SQL Connector

[7]https://repo1.maven.org/maven2/org/apache/flink/

[8]The procedure WAL relies on the ability to hsync for proper operation during component failures

hadoop+hive+flink+hbase交互的版本兼容性相关推荐

Hadoop Hive与Hbase关系整合
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询.hive也即做数据仓库 1. 基于Ha ...
【伊利丹】Hadoop-2.5.0-CDH5.2.0/Hive与Hbase整合实验
Hadoop Hive与Hbase整合用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询 ...
最新spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apache历史版本大全下载
最新spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apachek开源框架历史版本下载 TP通道 >> www.apac ...
hadoop + spark+ hive 集群搭建(apache版本)
0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑.经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考. 由于搭建过程比较 ...
hadoop hive hbase 入门学习 (二)
hadoop 自学系列 hadoop hive hbase 入门学习 (一) hadoop安装.hdfs学习及mapreduce学习 hadoop 软件下载 (hadoo ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
hadoop/hive/hbase 简单区别及应用场景
1.hadoop:它是一个分布式计算+分布式文件系统,前者其实就是MapReduce,后者是HDFS.后者可以独立运行,前者可以选择性使用,也可以不使用 2.hive:通俗的说是一个数据仓库,仓库中的 ...
hadoop hive hbase 集群搭建
摘要:去年开发BI系统,其中ETL用到了Hadoop和Hive,我用三台Dell服务器,搭建了一个Hadoop集群,用于开发测试. 在接下来的几篇中,我会介绍些BI架构设计的内容,以及在开发中遇到的困 ...
BigData：大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介.核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS.HBase.Hive}+Docker).经典场景应用之详细攻略 BigData:大数 ...

hadoop+hive+flink+hbase交互的版本兼容性

hadoop+hive+flink+hbase交互的版本兼容性相关推荐

最新文章

热门文章