常见的大数据框架技术总结

目前常见的技术框架，部分列举如下：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

后续持续更新。。。。。。

常见的大数据框架技术总结相关推荐

现行大数据框架技术思想鼻祖--不得不看的Google三大论文（英文原文）
GFS:http://download.csdn.net/detail/myaoyou/9688736 MapReduce:http://download.csdn.net/detail/myaoyo ...
大数据OLAP技术体系学习框架
文章目录大数据OLAP技术体系学习框架前言一.Apache Druid分布式数据存储二.ClickHouse列式数据库三.Presto分布式查询引擎四.Kudu分布式存储库五.Kylin ...
大数据可视化技术面临的挑战及应对措施
来源:科技导报本文约5400字,建议阅读10分钟本文介绍了适用于大数据的数据可视化技术,讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用. [ 导读 ]本文从大数 ...
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink——flink支持SQL，待看
简介大数据是收集.整理.处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称.虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性.规模,以及价值在最近几年才 ...
常见的大数据误区有哪些
大数据对所有企业都有合理的承诺,无论其规模如何.通过大数据分析,企业可以获得洞察力,帮助他们不仅可以增加收入,还可以了解他们的服务和产品中的差距. 让我们来看看最常见的大数据误区作为一项不断发展的技 ...
大数据工程师技术栈探讨
1.前言随着国务院印发十四五规划关于数字经济规划和数字信息化建设的推进(如下图1所示).大量的数字化的产品将产生海量的数据,因此近些年大数据技术越来越被大家重视起来. 图1 国务院十四五数字经济规 ...
视频教程-大数据搜索技术-大数据
大数据搜索技术软通动力教育集团简称软通大学,依托软通动力在技术服务领域的多方位解决方案能力,采用先进的教学理念和模式,直通高校和城市,开展干部培养,文化落地,初级资源培训,培训需求对接,专业项目课程 ...
玩转人工智能（3）常用的大数据框架简单介绍
时光不老,我们不散. 讲大数据框架前,简单的介绍下大数据的文化.信息时代人类社会的进步得益于分享和开源.大数据时代属于信息时代的第三代发展阶段(2001年到2011年可以认为是CT行业的黄金期,200 ...
大数据分析师 - 技术体系 - 了解篇
来自知乎:https://www.zhihu.com/question/49291394 大数据技术体系太庞杂了,基础技术覆盖数据采集. 数据预处理. 分布式存储. NOSQL数据库. 多模式 ...

常见的大数据框架技术总结

常见的大数据框架技术总结相关推荐

最新文章

热门文章