【大数据架构】-- 开源框架技术汇总

1.系统平台

Hadoop、CDH、HDP、BigTop

2.监控管理

CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle

3.文件系统

HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio

4.资源管理

YARN、Mesos、K8s

5.协调框架

ZooKeeper 、Etcd、Consul

6.数据存储

HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData

7.数据处理

MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron

8.查询分析

Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix

9.数据收集

Flume、Filebeat、Logstash、Chukwa、Fluentd

10、数据交换

Sqoop 、Kettle、DataX 、NiFi、Vector

11.消息系统

Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ

12.任务调度

Azkaban、Oozie、Airflow、DolphinScheduler

13.数据治理

Ranger 、Sentry、Atlas

14.可视化

Kibana 、D3.js、ECharts、Redash、Hue

15.数据挖掘

Mahout 、MADlib 、Spark ML、TensorFlow、Keras

16.云平台

国际：Amazon S3、GCP、Microsoft Azure

国内：阿里云、腾讯云

【大数据架构】-- 开源框架技术汇总相关推荐

大数据开源框架技术汇总
主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理.可能会有疏漏,发现再整理.参考得太多,就不一一列出来了.这只是作为一个梳理,对以后选型或者扩展的做个参考. ...
大数据分布式计算开源框架Hadoop的介绍和运用
Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊.Facebook和Yahoo等等.对于我来说,最近的一个使用点就是服务集成平台的日志分析.服务集 ...
大数据架构师基础：hadoop家族，Cloudera产品系列等各种技术
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选 ...
【云周刊】第135期：云栖大会珍贵技术资料：20+覆盖容器技术、智能工业、大数据、开源数据库
摘要: 云栖大会珍贵技术资料合集:覆盖容器技术.智能工业.大数据.开源数据库等,阿里公开内部超大规模分布式机器学习平台,机器学习能为你的业务做什么?有些事情你肯定猜不到!...更多精彩技术资讯,尽在云 ...
【云周刊】第135期：云栖大会珍贵技术资料：20+覆盖容器技术、智能工业、大数据、开源数据库...
摘要: 云栖大会珍贵技术资料合集:覆盖容器技术.智能工业.大数据.开源数据库等,阿里公开内部超大规模分布式机器学习平台,机器学习能为你的业务做什么?有些事情你肯定猜不到!...更多精彩技术资讯,尽在云 ...
《大数据架构和算法实现之路：电商系统的技术实战》——1.5　相关软件：R和Mahout...
本节书摘来自华章计算机<大数据架构和算法实现之路:电商系统的技术实战>一书中的第1章,第1.5节,作者黄申,更多章节内容可以访问云栖社区"华章计算机"公众号查看. ...
大数据架构师进阶之路-技术学习路线
大数据架构师进阶之路自大学毕业从事IT行业已有两年有余,虽在这两年一直没有停止学习的脚步,但总是感觉,不成体系,再就是学过的技术长时间不用,也忘记了,写篇博客的目的,是想在工作之余,一是充实自己,将 ...
瓜子大数据架构首曝光：掩藏在“二手车”背后的技术思考
提起车好多集团,可能有些人会感到陌生,但提起瓜子二手车.毛豆新车,想必都十分熟悉,脍炙人口的广告语使得大家忽视了这家公司的技术能力.车好多集团旗下拥有瓜子二手车.毛豆新车.车速拍与瓜子养车四大品牌, ...
【合集】云栖大会珍贵技术资料：20+覆盖容器技术、智能工业、大数据、开源数据库等（下）...
2019独角兽企业重金招聘Python工程师标准>>> 云栖社区从几百位讲师中精挑细选了若干精华,其中涵盖了智能物流.大数据.开源数据库.智能工业.容器技术以及智能应用实践等. 作为 ...

【大数据架构】-- 开源框架技术汇总

【大数据架构】-- 开源框架技术汇总相关推荐

最新文章

热门文章