大数据方向另一个十年开启 |《硬刚系列》第一版完结
《硬刚Presto|Presto原理&调优&面试&实战全面升级版》
《硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结》
《硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析》
《硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结》
《硬刚Hive | 4万字基础调优面试小总结》
《硬刚用户画像(一) | 标签体系下的用户画像建设小指南》
《硬刚用户画像(二) | 基于大数据的用户画像构建小百科全书》
《我们在学习Spark的时候,到底在学习什么?》
《我们在学习Flink的时候,到底在学习什么?》
我先声明一下,有些文章我没有标记原创,任何未经本人授权转载一律追究侵权责任。
【硬刚系列】是针对某一个框架/知识点进行的系统性总结和学习,基本上也是个人学习的必要路径。个人会从一个框架/知识点入手进行全方位的立体整合。
争取一篇文章能介绍清楚来龙去脉和重点难点,读者根据需要去针对性的学习。
上面是当初我立Flag的时候,写的简介。第一个版本主要针对一些OLAP框架为主吧。我个人感觉基本目的都达到了。
上面的每篇文章都参考了10篇以上的我的个人笔记和外部资料。有些非常经典的论文在我的收藏夹里躺了超过3年之久。
有些文章的名字可能没有「硬刚」字眼,但是行文思路基本上也是按照原来的设想进行的。
与自己是一种总结。与读者是一种输入。
大家都有收获,岂不美哉?
写了这么久文章,除了恰饭的时候,一直保持着旺盛的精力和强大的输出,有时候也真是疲倦,感觉找不到什么方向去突破。
现在的大数据行业细分也秉持了10年的刚刚出现的时候的姿态一直在向前发展,未来可能有些方向会慢慢消亡,或者从传统的定义进化。
比如传统的BI岗位,这个岗位已经开始慢慢在消亡,和传统的离线数据仓库&实时数据仓库进行了有机的融合。再比如,原来有个岗位叫做 ETL,也慢慢要淡出大家视野了,因为技能的局限性和可替代性太强?
最近的一年来,Flink社区仍然保持比较旺盛的活力,更多的原因是因为社区的推动,与开发者不过是个工具,与阿里是技术影响力和商业化考量。
数据湖方向发展方兴未艾,都想攀上Flink社区的大树。未来谨慎看好吧,因为并未给一家业务主导的公司带来实质性的改变。
最近Apache社区停更了Sqoop,阿帕奇社区的几个项目在阶段性的完成了它的使命后最终都落幕了。比如刚刚停更的Sqoop,可能还有些同学在用的Kettle,还有我很早接触过的一个Falcon,它们早就该消失在历史的滚滚洪流中了。
自今年4月1日起,Apache软件基金会宣布将至少19个开源项目撤回到他们的Attic,其中13个与大数据相关,10个属于Hadoop生态系统。这种事情的发生基本也可以宣布大数据领域的黄金十年(2010-2020年)结束了。
很多同学可能都没有仔细了解过大数据这个细分方向的历史,但是没有关系,下一个十年你们有机会一起见证了。
我之前还写过一篇《2021年,开发者的落日》,从我个人感情角度讲,不太想写这种唱衰的文章,但是我看到一些现象就会引发思考。
居安思危也许是人类经过百万年的进化得以统治地球的原因吧。
周末一个星球里的校招应届生找到我,关于学习路线和未来发展方向的问题。
我觉得我又有新的方向了,大数据行业马上要迎来井喷式增长的10年,大量从业人员从学校开始涌入。也代表这个行业走向历史的拐点了。
从野蛮发展到科班式培养,更多的应届生愿意从事这个行业,也是好事儿。
我觉得他们缺一个引路人,比如我。
好了,本次分享就到这里了。欢迎大家「点赞」「分享」「在看」。
我是王知无,一个大数据领域的硬核原创作者。关注技术提升&个人成长&职场进阶,欢迎关注。
大数据方向另一个十年开启 |《硬刚系列》第一版完结相关推荐
- 数据湖,大数据的下一个变革!
作者 | Tina 采访嘉宾 | 堵俊平 AI 前线导读:让数据产生价值才叫成功.早期有不少的公司引入了 Hadoop,将企业的各种结构化非结构化数据加载至 Hadoop 环境当中,想让自己的数据发挥 ...
- 统计学专业未来从事大数据方向有优势吗?
根据现在工业界的大数据就业情况来说(对于一般同学而非牛人),统计从事大数据来说优势小.对一般数据分析甚至建模有一定优势. 我这篇回答面向的是大部分水平还可以的统计本科生,他们也努力学习了专业课,编程基 ...
- 2020九月 京东大数据方向 Java 面试经验、面试题分享
足球运动里,身价最高的运动员就是能够把球踢进的那个人,临门一脚也是价值最高的运动.找工作如同这个阶段,如何把我们积蓄二十几,三十年的知识能力和修养在极短地时间内表达地最好呢? 在这里,跟大家分享一下我 ...
- 打怪升级之小白的大数据之旅(五十九)<Hadoop优化方案>
打怪升级之小白的大数据之旅(五十八) Hadoop优化方案与扩展知识点 上次回顾 上一章,我们对Hadoop的扩展知识HA进行了学习,本章是我们在使用Hadoop过程中的一些优化方案和其他几个需要了解 ...
- 2021年大数据Hadoop(三十):Hadoop3.x的介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 Hadoop3.x的介绍 介绍 Hadoop 3.0新特性 ...
- 2021年大数据Hadoop(二十六):YARN三大组件介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 Yarn三大组件介绍 ResourceManager No ...
- 2021年大数据Hadoop(二十五):YARN通俗介绍和基本架构
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 YARN通俗介绍和基本架构 Yarn通俗介绍 Yarn基本 ...
- 2021年大数据Hadoop(二十二):MapReduce的自定义分组
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 MapReduce的自定义分组 需求 分析 实现 第一步: ...
- 打怪升级之小白的大数据之旅(七十四)<初识Kafka>
打怪升级之小白的大数据之旅(七十四) 初识Kafka 引言 学完Flume之后,接下来将为大家带来Kafka相关的知识点,在工作中,Kafka和Flume经常会搭配使用,那么Kafka究竟是什么呢?让 ...
最新文章
- 一次SQL查询优化原理分析(900W+数据,从17s到300ms)
- Discovery studio画蛋白质构象叠合图
- java获取URL参数(get方式,并且你不知道他末尾有什么参数名)
- css animate属性spend不生效
- 百元价位的水下相机?!1000个去海边的人有900个选择了它!
- GridView中添加自动编号,以及鼠标经过时行背景色变和删除时提示。
- mysql数据库数据表的指令_mysql数据库和表操作命令
- openwrt 19 overlay 空间不足_新桥胡同拆除19处违建!背街小巷“瘦身”后宽敞多了...
- 算法题|-灯泡开关问题
- 【日常记录】解决‘GLIBC_2.34‘ not found,并且gcc制定glibc版本编译
- day04-判断和循环
- 1-2 认识905.4王国的交流规范
- 2021最新 阿里云ECS搭建我的世界服务器
- java开发工具排名_干货:排名前16的Java工具类
- Python pyc文件 bytecode的压缩, 加壳和脱壳解析
- 计算机辅助设计所开课程,计算机辅助设计教学存在的问题与改革
- 【Unity项目实战】手把手教学:飞翔的小鸟(5)背景滚动
- MySql优化(六)MyCat中间件
- 【报告分享】2021年新消费品牌发展报告- WEIQ(附下载)
- 这13本豆瓣高分算法书,必读!
热门文章
- Android URL通过OkGo下载pdf或docx到本地
- Redis cache-aside模型-分布式锁等问题研究
- 工程流体力学笔记暂记4(流体运动的基本概念:流管+系统与控制体)
- nohup/SIGHUP的一个坑
- 浪涌保护器ant120_pubgatant120帧数下载-pubgatant画质助手120帧软件 _5577安卓网
- 解决IntelliJ IDEA中文乱码方法大全
- iPad充电器不能为iPhone充电吗?
- 阿里字体图标之Symbol用法
- 宠物消费升级 “黑科技”带来了哪些改变?
- [附源码]Python计算机毕业设计仿咸鱼二手物品交易系统