最新主流大数据技术分类大全（持续更新）

目前绝大多数企业正在使用的技术，大部分都是基于Apache协议开源框架，因为有些框架有多种分类方式，而且篇幅有限，暂不做详细介绍，仅供参考调研。

数据采集：Flume、Kafka、Sqoop 、Logstash、DataX、Canal、Kettle、Maxwell、Databus、NIFI、Pulsar、Debezium
数据存储：HDFS、HBase、Kudu、Redis、MongoDB、Elasticsearch、TiDB、IotDB、MySql
数据计算：Spark、 Flink、Storm、Hive、Tez、streamx
OLAP(这里面有些也可以归类到数据存储)：Presto、Kylin、ClickHouse、Druid、Impala、Hawq、Greenplum、SparkSQL、Doris、DorisDB(StarRocks)
数据可视化与BI：Superset、QuickBI、DataV、Tableau、Kibana、Metabase、Davinci、Echarts
任务调度：Azkaban、Oozie、Dolphinscheduler、Airflow、Datax-web
集群监控：Zabbix、Ganglia、Cloudera Manager 、Grafana、Ambari
元数据管理：Atlas
权限管理：Ranger、Sentry
数据质量管理：Griffin
集群管理：k8s docker 容器化
数据湖：Hudi、Iceberg、Delta

最新主流大数据技术分类大全（持续更新）相关推荐

ECharts数据可视化项目-大屏数据可视化【持续更新中】
ECharts数据可视化项目-大屏数据可视化[持续更新中] 文章目录 ECharts数据可视化项目-大屏数据可视化[持续更新中] 一. 数据可视化ECharts使用二.技术栈三.数据可视化四.可 ...
FC金手指代码大全·持续更新-亲测可用-FC 经典游戏完整可用的金手指大全---持续更新，偶尔玩玩经典回味无穷，小时候不能通关的现在通通通关一遍
FC 经典游戏完整可用的金手指大全-持续更新,偶尔玩玩经典回味无穷,小时候不能通关的现在通通通关一遍 2021年5月11日更新: 每次翻金手指一些垃圾小网站标题党吸引进去吓一大堆木马什么也没有,什么x ...
2020年| 最新自动驾驶数据集汇总，持续更新（2）
实时分享CVPR.ECCV等会议,关注深度学习.自动驾驶领域,我们期待你的加入.点击上方"CNNer",选择加"星标"或"置顶"精选干货,当 ...
什么是教育大数据？| 教育热点更新
教育大数据的概念面向教育全过程时空的多种类型的全样本的数据集合.教育大数据不仅仅是建设教育大数据中心,不仅仅是分析全过程学习数据,更多的是一种共享的生态思想. 教育大数据的定义包含三层含义:第一个含 ...
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
简介:阿里云智能研究员林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...
主流大数据调度工具对比(DolphinScheduler特点)
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job A ...
主流大数据调度工具对比
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...
adb 输入回车命令_Android超级终端（Adb Shell)常用命令、命令大全-持续更新 | 何连超的博客小站...
Android超级终端(Adb Shell)常用命令.命令大全-持续更新超级终端(手机端操作)与AdbShell(电脑端操作)使用的Shell命令(即Linux shell命令,类似Dos命令)是相 ...
数据库SQL语言学习--数据查询（持续更新中）
数据库SQL语言学习--数据查询(持续更新中) 上机练习1 1. 启动SQL Server 2008中的 SQL Server Management Studio. 2. ...

最新主流大数据技术分类大全（持续更新）

最新主流大数据技术分类大全（持续更新）相关推荐

最新文章

热门文章