大数据发行版本+组件中的竞品/等同地位关系(持续更新中)

开源大数据版本	公司/开源组织	是否付费	备注
Apache Hadoop	Apache	否	大数据组件的最初发型版
CDH	Cloudera’s Distribution Including Apache Hadoop	是	和HDP合并
FusionInsight	华为	是	无
HDP	Hortonworks Data Platform	否	和CDH合并
MapR	Cloudera MapR	是	被Hewlett Packard EnterPrise收购
hadoop容错系统	Zettaset	是
Intel IT’s Secure Hadoop Platform	Intel	是	英特尔放弃发行 Hadoop 版本,转而支持 Cloudera

上述红色的表示商用，紫色的表示开源

一些大数据组件在一定程度上是可以互相取代的，这里进行一些整理。

常见大数据组件	竞品/等同地位	用途
Flink	KSQL/Kafka streaming	为什么kafka streams和 ksql没什么人用？
HDFS	FastDFS(已经淘汰)	分布式文件系统
MapReduce	Spark	集群计算
Hive	Cloudera Impala/Apache Kylin	静态分析(OLAP)
Flink	Streaming/Storm	实时计算
Yarn(管理spark任务)	zookeeper(管理集群节点数据一致性)	集群管理器，但是各自管理功能不同
Apache Zeppelin(集群数据处理，相当于spark-shell的GUI版本)	Jupyter Notebook(非集群数据处理)	代码逐句调试用+在线可视化
Apache Kylin(Hbase OLAP SQL接口)[1] 适合静态分析出报表	Apache Phoenix(Hbase OLTP SQL接口)[1] 适合接网站业务	都是hbase的SQL接口，但是侧重点不同[1]
ElasticSearch	Solr/Phoenix	为了满足OLTP的复杂SQL查询
Hbase+ElasticSearch/Hbase+Phoneix（强一致性）	Cassandra(最终一致性)	支持对分布式数据库灵活的SQL查询
Ambari	Cloudera Manager
[2]: Apache转发静态页面 Tomcat转发动态页面	Nginx	代理服务器

注意:

上述软件中,Zeppelin对高版本的spark/hadoop支持较差。

Phoenix对高版本的hbase支持较差。

别浪费时间捣鼓。

注:上面加粗字体表示在正常中更为常用或在开发上更加快速

Reference:

[1]都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

[2]apache代理服务器设置

大数据发行版本+组件中的竞品/等同地位关系(持续更新中)相关推荐

香港电影中的演员：B字头（持续更新中）
作者:caocao(网络隐士) 转载请注明来源:http://www.caocao.name/ 本系列部分内容是隐士从网上采集,部分内容是隐士原创,内容持续更新中. 白彪隐士八卦:白彪师傅可是邵氏当 ...
香港电影中的演员：F字头（持续更新中）
作者:caocao(网络隐士) 转载请注明来源:http://www.caocao.name/ 本系列部分内容是隐士从网上采集,部分内容是隐士原创,内容持续更新中. 樊梅生隐士八卦:樊梅生当年是邵氏 ...
香港电影中的演员：A字头（持续更新中）
作者:caocao(网络隐士) 转载请注明来源:http://www.caocao.name/ 本系列部分内容是隐士从网上采集,部分内容是隐士原创,内容持续更新中. A字头演员隐士觉得的好难找啊. 安 ...
大数据组件需要额外添加的依赖包汇总(持续更新中)
现在FLINK已经被阿里收购了,所以会有blink的jar包大数据组件依赖包来源具体的依赖包 Hadoop3.1.2 用户添加 javax.ws.rs-api-2.0-m11.jar jerse ...
香港电影中的演员：G字头（持续更新中）
高飞批发简介:高飞是空手道教练转行,身手自然不会差,在香港拍动作片也成了自然而然的事情.按照时间顺序,早些他的是在邵氏电影里头混,演些江湖人物或黑道人物:邵氏关闭之后和成龙洪金宝多有合作,做起了打手 ...
JAVA-Word转PDF各种版本实现方式--亲测有效。。。持续更新中
当下做一个项目,就是各种操作office,客户的需求总是各种不按常理,来需求就得搞啊.对JAVA操作office这方面真是头大,弟弟是真滴不懂不会啊.无奈只好试啊试的.网上一大堆好使的,一大堆不好使的 ...
spark中各类key算子的用法汇总(持续更新中)
启动方式: spark-shell --master yarn 依赖导入: import org.apache.spark.{SparkConf, SparkContext} 输出rdd的类型举例: ...
spark中各种数量的确定和查询(持续更新中)
数量决定/设置方式函数查询方式备注 partition数量 sqlContext.setConf("spark.sql.shuffle.partitions", " ...
hexo主题应用中遇到的问题和解决方案（持续更新中）
1 常见问题解决技巧 1.1 主题仓库和博客仓库嵌套在使用github和hexo主题搭建个人博客过程中,我们使用hexo初始化的文件夹需要交给github进行代码托管,同时主题themes中的主题也 ...

大数据发行版本+组件中的竞品/等同地位关系(持续更新中)

大数据发行版本+组件中的竞品/等同地位关系(持续更新中)相关推荐

最新文章

热门文章