目前绝大多数企业正在使用的技术,大部分都是基于Apache协议开源框架,因为有些框架有多种分类方式,而且篇幅有限,暂不做详细介绍,仅供参考调研。

  1. 数据采集:Flume、Kafka、Sqoop 、Logstash、DataX、Canal、Kettle、Maxwell、Databus、NIFI、Pulsar、Debezium
  2. 数据存储:HDFS、HBase、Kudu、Redis、MongoDB、Elasticsearch、TiDB、IotDB、MySql
  3. 数据计算:Spark、 Flink、Storm、Hive、Tez、streamx
  4. OLAP(这里面有些也可以归类到数据存储):Presto、Kylin、ClickHouse、Druid、Impala、Hawq、Greenplum、SparkSQL、Doris、DorisDB(StarRocks)
  5. 数据可视化与BI:Superset、QuickBI、DataV、Tableau、Kibana、Metabase、Davinci、Echarts
  6. 任务调度:Azkaban、Oozie、Dolphinscheduler、Airflow、Datax-web
  7. 集群监控:Zabbix、Ganglia、Cloudera Manager 、Grafana、Ambari
  8. 元数据管理:Atlas
  9. 权限管理:Ranger、Sentry
  10. 数据质量管理:Griffin
  11. 集群管理:k8s docker 容器化
  12. 数据湖:Hudi、Iceberg、Delta

最新主流大数据技术分类大全(持续更新)相关推荐

  1. ECharts数据可视化项目-大屏数据可视化【持续更新中】

    ECharts数据可视化项目-大屏数据可视化[持续更新中] 文章目录 ECharts数据可视化项目-大屏数据可视化[持续更新中] 一. 数据可视化ECharts使用 二.技术栈 三.数据可视化 四.可 ...

  2. FC金手指代码大全·持续更新-亲测可用-FC 经典游戏完整可用的金手指大全---持续更新,偶尔玩玩经典回味无穷,小时候不能通关的现在通通通关一遍

    FC 经典游戏完整可用的金手指大全-持续更新,偶尔玩玩经典回味无穷,小时候不能通关的现在通通通关一遍 2021年5月11日更新: 每次翻金手指一些垃圾小网站标题党吸引进去吓一大堆木马什么也没有,什么x ...

  3. 2020年| 最新自动驾驶数据集汇总,持续更新(2)

    实时分享CVPR.ECCV等会议,关注深度学习.自动驾驶领域,我们期待你的加入.点击上方"CNNer",选择加"星标"或"置顶"精选干货,当 ...

  4. 什么是教育大数据?| 教育热点更新

    教育大数据的概念 面向教育全过程时空的多种类型的全样本的数据集合.教育大数据不仅仅是建设教育大数据中心,不仅仅是分析全过程学习数据,更多的是一种共享的生态思想. 教育大数据的定义包含三层含义:第一个含 ...

  5. 离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

    简介:阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...

  6. 主流大数据调度工具对比(DolphinScheduler特点)

    大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job A ...

  7. 主流大数据调度工具对比

    大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...

  8. adb 输入回车命令_Android超级终端(Adb Shell)常用命令、命令大全-持续更新 | 何连超的博客小站...

    Android超级终端(Adb Shell)常用命令.命令大全-持续更新 超级终端(手机端操作)与AdbShell(电脑端操作)使用的Shell命令(即Linux shell命令,类似Dos命令)是相 ...

  9. 数据库SQL语言学习--数据查询(持续更新中)

    数据库SQL语言学习--数据查询(持续更新中) 上机练习1 1.              启动SQL Server 2008中的 SQL Server Management Studio. 2.   ...

最新文章

  1. javascript 变量监听器
  2. [jobdu]调整数组顺序使奇数位于偶数前面
  3. 自由自在珍珠奶茶让奶茶文化更加多元
  4. 汇编语言--微机CPU的指令系统(五)(字符串操作指令)
  5. python迭代器使用_python迭代器的使用方法实例
  6. 面向切面编程--AOP
  7. python语法31[with来自动释放对象]
  8. 特斯拉造人、小鹏骑马、小米遛狗,准车企们为何集体盯上了机器人生意?
  9. Spring Boot 项目打成 .exe 程序,实战来了!
  10. 每天一个Linux命令(6):rmdir命令
  11. oracle ash dump 导出,Oracle 导出 ASH的dump信息
  12. 【MAC】使用CHM查看JDK帮助文档【转载】
  13. xmapp启动数据库问题记录 Access denied for user ‘me‘@‘localhost‘ (using password: NO)
  14. waves服务器系统盘,Waves Soundgrid服务器(DIY)
  15. 【.Net平台下插件开发】-MEF与MAF初步调研
  16. oracle 生成随机姓名_Oracle生成随机日期时间
  17. 使用百度天气API制作天气组件
  18. 降噪蓝牙耳机哪个好?2021主流蓝牙耳机当选降噪耳机
  19. Dojo Charting 控件高级用法
  20. [游戏数据分析]WAU模型简介及WAU预测

热门文章

  1. 马化腾对C语言的重视
  2. 清除浏览器默认表单边框/背景特效和下拉菜单背景
  3. 更改tkinter的OptionMenu背景颜色和下拉菜单宽度
  4. 【已补蓝奏云链接】PyTorch中MNIST数据集(附datasets.MNIST离线包)下载慢/安装慢的解决方案
  5. 测试显卡位宽软件,科普:显卡位宽基础知识指南
  6. android轻量级数据存储框架Hawk
  7. echarts地图地名显示_ECharts特定地图区域的文本标签
  8. html背景音乐音量控制,视频加背景音乐 调小背景音乐音量 这样不影响原视频声音...
  9. Linux内核配置(转)
  10. The Bucket List 题解