目前绝大多数企业正在使用的技术,大部分都是基于Apache协议开源框架,因为有些框架有多种分类方式,而且篇幅有限,暂不做详细介绍,仅供参考调研。

  1. 数据采集:Flume、Kafka、Sqoop 、Logstash、DataX、Canal、Kettle、Maxwell、Databus、NIFI、Pulsar、Debezium
  2. 数据存储:HDFS、HBase、Kudu、Redis、MongoDB、Elasticsearch、TiDB、IotDB、MySql
  3. 数据计算:Spark、 Flink、Storm、Hive、Tez、streamx
  4. OLAP(这里面有些也可以归类到数据存储):Presto、Kylin、ClickHouse、Druid、Impala、Hawq、Greenplum、SparkSQL、Doris、DorisDB(StarRocks)
  5. 数据可视化与BI:Superset、QuickBI、DataV、Tableau、Kibana、Metabase、Davinci、Echarts
  6. 任务调度:Azkaban、Oozie、Dolphinscheduler、Airflow、Datax-web
  7. 集群监控:Zabbix、Ganglia、Cloudera Manager 、Grafana、Ambari
  8. 元数据管理:Atlas
  9. 权限管理:Ranger、Sentry
  10. 数据质量管理:Griffin
  11. 集群管理:k8s docker 容器化
  12. 数据湖:Hudi、Iceberg、Delta

最新主流大数据技术分类大全(持续更新)相关推荐

  1. ECharts数据可视化项目-大屏数据可视化【持续更新中】

    ECharts数据可视化项目-大屏数据可视化[持续更新中] 文章目录 ECharts数据可视化项目-大屏数据可视化[持续更新中] 一. 数据可视化ECharts使用 二.技术栈 三.数据可视化 四.可 ...

  2. FC金手指代码大全·持续更新-亲测可用-FC 经典游戏完整可用的金手指大全---持续更新,偶尔玩玩经典回味无穷,小时候不能通关的现在通通通关一遍

    FC 经典游戏完整可用的金手指大全-持续更新,偶尔玩玩经典回味无穷,小时候不能通关的现在通通通关一遍 2021年5月11日更新: 每次翻金手指一些垃圾小网站标题党吸引进去吓一大堆木马什么也没有,什么x ...

  3. 2020年| 最新自动驾驶数据集汇总,持续更新(2)

    实时分享CVPR.ECCV等会议,关注深度学习.自动驾驶领域,我们期待你的加入.点击上方"CNNer",选择加"星标"或"置顶"精选干货,当 ...

  4. 什么是教育大数据?| 教育热点更新

    教育大数据的概念 面向教育全过程时空的多种类型的全样本的数据集合.教育大数据不仅仅是建设教育大数据中心,不仅仅是分析全过程学习数据,更多的是一种共享的生态思想. 教育大数据的定义包含三层含义:第一个含 ...

  5. 离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

    简介:阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...

  6. 主流大数据调度工具对比(DolphinScheduler特点)

    大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job A ...

  7. 主流大数据调度工具对比

    大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...

  8. adb 输入回车命令_Android超级终端(Adb Shell)常用命令、命令大全-持续更新 | 何连超的博客小站...

    Android超级终端(Adb Shell)常用命令.命令大全-持续更新 超级终端(手机端操作)与AdbShell(电脑端操作)使用的Shell命令(即Linux shell命令,类似Dos命令)是相 ...

  9. 数据库SQL语言学习--数据查询(持续更新中)

    数据库SQL语言学习--数据查询(持续更新中) 上机练习1 1.              启动SQL Server 2008中的 SQL Server Management Studio. 2.   ...

最新文章

  1. 构建高可用服务器之二 Keepalive参数详解
  2. RH033 Unit 13 Finding and Processing Files
  3. pandorabox php7,【恐惧交响4之潘多拉】ProjectSAM Symphobia 4 Pandora v1.0.7
  4. 计算机操作系统_计算机理论(操作系统概念及常见操作系统类型)
  5. CTFshow 信息收集 web15
  6. java23种模式之单例模式
  7. 赛码网算法: 上台阶 ( python3实现 、c实现)
  8. linux下搭建FTP服务器
  9. Matlab--Figure界面工具栏使用简要说明
  10. 0-10不断循环的js
  11. Python 数据结构 树
  12. Chrome插件开发教程
  13. 语音识别使用推荐(讯飞、百度、腾讯、云知声等)
  14. 森林老是显示连接服务器超时,乌鸦森林之谜3:卡赫拉之影无法连接服务器是什么原因...
  15. HTML标签--换行标签与段落标签的区别对比
  16. KBMMW-创建自定义服务
  17. 智能手机操作系统Android
  18. PHP 操作redis 详细讲解
  19. 全球及中国连续性肾脏替代治疗机行业发展趋势及前景规划分析报告2022-2027
  20. 实体店运用互联网思维进行客户裂变,不到8个月净赚2000万

热门文章

  1. Direct3D 12 尝鲜(二): Fence
  2. [Java]使用ArrayList类来把54张扑克牌发给3位玩家各17张,剩下3张是底牌
  3. Python Diary - Day 15 模块、异常和文件
  4. 【论文笔记】DSIFN:用于高分辨率双时相遥感图像变化检测的深度监督图像融合网络
  5. HDU - 5643 King's Game (约瑟夫环变式)
  6. 关于host文件、IE代理和nginx的关系
  7. MySQL 设计与开发规范
  8. 这应该是第一篇写拼多多商业模式的文章吧
  9. python命令窗口代码如何调整大小_可调整窗口大小命令pythonmay
  10. 关于Zion真实性问题的图文分析及其他 V1.06