一文看懂大数据领域的六年巨变

2024-04-10 15:52:23

在过去的6年里，本文的作者一直在关注Data Eng Weekly（前身是Hadoop Weekly），它是与大数据和数据工程相关内容的重要来源，涵盖了非常广泛的技术文章、产品公告和行业新闻。

今年，作者打算将分析Data Eng的归档内容（这些归档可追溯到2013年1月）作为其个人项目，来析过去6年中的大数据的趋势和变化。

为此，作者抓取并清理了290多期内容（使用了Python爬虫），保留了与技术、新闻和发布公告相关的文章片段。接下来，他对文章片段进行了一些基本的自然语言处理并应用了一些基本的过滤，最后生成关键字和下下列表。

过去七年的主要趋势

作者绘制了特定关键词被提及次数的月滚动平均值，并将它们绘制在同一个图表上。下面的图表说明了这些技术大约在什么时间点变得越来越流行。

Hadoop与Spark

从2013年Spark开始接管Hadoop的那一刻起，Hadoop就开始稳步下滑。

Hadoop与Kafka

Kafka成为所有大数据技术栈的主要构建块。

Hadoop与Kubernetes

Kubernestes的崛起，尽管Data Eng Weekly并不十分关注DevOps，但却也见证了从2017年开始围绕Kubernetes在各个领域的全面炒作。

年度热门关键词

我只是简单地画出在给定年份中被提及次数最多的10个关键词。

2013年：Hadoop的黄金时期！

所有原始的Hadoop项目都在这里：HDFS、YARN、MR、PIG……以及两大主流发行版CDH和HDP，除此之外别无其他！

2014年：Spark的崛起！

Hadoop总体上延续了它的统治地位，但Spark在这一年推出的第一个版本成为2014年最热门的话题！

2015年：Kafka来了！

Spark取代Hadoop的一名位的置，Kafka进入前三。大多数旧项目（HDFS、YARN、MR、PIG……）都没有进入前十。

2016年：流式处理火热！

2016年是流式处理年，Kafka取代了Hadoop第二名的位置，Spark（流式处理）继续占据主导地位。

2017：一切向流式处理看齐！

与2016年的阵容相同，只是加入了Flink。

2018年：回到基础！

Kubernetes首次亮相，我们回到了基础，试图找出如何管理（K8S）、调度（airflow）和运行（Spark、Kafka、存储……）我们的流。

2019年：…

现在对2019年给出任何结论还为时过早，但看起来K8s将在2019年成为主流！

英文原文：

https://blog.marouni.fr/bidata-trends-analysis/

一文看懂大数据领域的六年巨变相关推荐

一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
一文看懂大数据生态圈完整知识体系徐葳随着大数据行业的发展,大数据生态圈中相关的技术也在一直迭代进步,作者有幸亲身经历了国内大数据行业从零到一的发展历程,通过本文希望能够帮助大家快速构建大数据生态圈 ...
一文看懂大数据矩阵运算利器-Spark Distributed Matrix
如今是大数据的时代,数据呈指数型增长,那么如何利用这些数据?离不开大数据计算,今天小普给大家介绍的是:Spark的分布式计算框架,它能很好地适配大数据场景下的计算任务. [相似度计算]是金融领域或商品 ...
超级干货，一文看懂大数据的前世今生
"不参与大数据建设,10年后一定后悔".早在几年前,马云就在某次峰会中提到,未来30年,是从IT时代到DT时代的变革. 大数据发展态势从上世纪60年代到现在,我们对数据的处理能 ...
一文看懂大数据的技术生态圈，Hadoop，hive，spar
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可 ...
一文读懂大数据平台——写给大数据开发初学者的话!
一文读懂大数据平台--写给大数据开发初学者的话! 文|miao君导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上第四章:把Hado ...
超级干货：一文读懂大数据计算框架与平台（升级版）
1. 前言计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为 ...
一篇文章看懂大数据的5大关键技术
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术.大数据领域已经涌现出了大量新的技术,它们成为大数据采集.存储.处理和呈现的有力武器.大数据处理关键技术一般包括:大数据采集.大数据预处理.大 ...
一文读懂大数据计算框架与平台
1. 前言计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为 ...
一文读懂大数据及大数据产业
随着"云计算"."互联网"."物联网"的快速发展,大数据(Big Data)也吸引了越来越多的人关注,成为社会热点之一.大街小巷不论是技术人 ...

最新文章

热门文章