编 辑:彭文华

来 源:大数据架构师(ID:bigdata_arch)

彭友们好,我是老彭。好长时间没刷脉脉了。最近有个彭友喊我去围观一个帖子:

emmmmmmm,居然有332条留言,这老彭得围观啊!加班之余,老彭把帖子刷了一下,还是有点意思的。

数仓围城

嗯,老彭选择几个精彩的回帖,各位彭友跟着老彭一起围观一下:

这位彭友讲对了一半。技术也是要滴,而且还是很重要的一环。但是业务也是非常非常重要滴。

所以想要了解一个公司的数据情况,找开发是不行滴,找数仓团队准没错。上懂业务,下晓数据。

这个哥们其实说的现象,其实就是数仓技术含量的体现所在了。这玩意跟炒菜一样,不会炒菜的,倒点水进去反正也能熟,吃不死人。但是但凡会做菜的,隔壁小孩的饭都要多吃两碗。

没有规范、分层不合理、建模考虑不周,导致的结果就是各种爆炸,最后就没法管理,陷入在“人工提数”的汪洋大海中。

讲真,不少厂子里的数仓还真是前面半句话说的那样。但后面的“归根结底”不太正确。

大家都知道数仓实际上做的是业务和数据之间的“翻译”工作,互联网公司的业务tmd恨不得一天一变!然后数据库管理也是一塌糊涂,经常是数据结构变了,数仓这边不知道。

所以,这个锅,数仓Leader不背!上面业务变,下面数据变,关键还得马上出数,你让我咋弄?只能不断的拖宽表啊...

这哥们说的东西很多人不太认同,他还有一句话“吃大米没必要研究杂交水稻”。话是没错,但其实也不必深究这些,大家都是各自围城而已。

在大厂核心部门,大家用的都是开源的产品,面对的是海量用户几乎不间断滴访问,所以必须要保证高可靠、高可用。

开源工具,尤其是新版本有点小问题是很正常的,这时候可能不能等开源产品版本更新了,所以就要求核心团队 必须要有改源码的能力。

像BAT、JMD等大厂都在开源前线作战,研究底层技术不是跟风,而是必须的。

数仓迷思

其实类似的讨论,已经成为“年经贴”了。去年大概也是3、4月的时候,也是在脉脉,同样有一个讨论:

嘿嘿,没错,去年我也写了一篇文章专门解析这个问题,感兴趣的可以点进去瞅瞅:阿里的《大数据之路》吹牛了?

我忘记是在那个地方看到一篇杂文,说老农修农具,现在冶炼技术这么发达,为啥锄头不做一个全钢的,那不是更坚固么?反而还得是前面是铁锄头,后面是木头长柄?

我是下过地的。不用钢管锄头的原因,是因为钢管锄头真的不好用。原因有三:

1、太圆了,会转,老农作木头柄一般会弄成卵形的;

2、传导性太强,太热了烫手,太用力了震得麻手,木头柄就没这毛病;

3、会变形,更不好用力了,而且坏了不好修,木头柄不会变形,修起来很方便。

所以还是那句话:不要小看了任何一件事情。如果你觉得这件事很简单,那么应该是进入了“所知障”,对这件事情认识不足。

爱因斯坦做过一个比喻,如果说每个人的认识是一个圆,那么这个圆越大,圆内的面积也就越大。但是同样,圆的周长也就越长,对于圆之外的内容接触的也就越多。所以,知道的越多,不知道的也更多。

苏格拉底也说过类似的话:“我拥有的知识越多,我越觉得无知 ”。

所以无论是什么,不用那么迷茫,也不必轻视,好好学习,刻苦钻研,不断磨练自己的技术就对了,肯定没坏处。

如何学习

在现在知识爆炸的时代,学习一项技能还是有很多便利条件的。不像我们那时候,只能啃很生涩的《数据仓库工具箱》之类的书,看的云里雾里的。

现在有很多像老彭一样的知识博主,免费给大家贡献知识,有写公众号的,有做视频的,甚至有些连代码都给你准备好了,就等着你去研究、去讨论。

类似的课程也有很多,白嫖都能找到不少,花点钱更是能找到一大堆资料。

所以,如果你需要学习数仓,建议走以下路线:

1、写文章。输出倒逼输入,这是最佳学习方法。参考“费曼学习法”

2、实战。毛主席有一段名言:“读书是学习,使用也是学习,而且是更重要的学习。从战争中学习战争,这是我们的主要方法”。不实战,哪怕你把《数据仓库工具箱》背会了都没用。

3、提真问题。思考,不断地思考,这样才能提出真问题。哪怕这个问题看起来非常非常的笨。

看到这里,有些彭友会很奇怪:老彭,你不是要给我推荐课程么?不是要给我资料么?不是要给我**么?

我给你资料,是为了提升你工作效率的。

我推荐课程,是为了降低你学习难度的。

而这些都跟提升你学习效率、提高能力增长曲线没关系。如果单纯的听,那这个效率是最低的。

而单纯的收藏资料,就会变成白嫖怪、伸手党、收藏癖,坚决反对这类行为!浪费时间。

更多精彩:

数仓到底要分多少层?

阿里的《大数据之路》吹牛了?

数仓已死?数据湖当立!

数仓的建模和BI的建模有啥区别?

漫谈实时数仓架构

【附下载】实时数仓架构设计与选型

传统数仓和大数据数仓的区别是什么?

排版 | 老彭

审校 | 老彭  主编 | 老彭

脉脉热帖:数仓真的是太无聊了...相关推荐

  1. 脉脉热帖:学历、履历双造假,拿了抖音Offer

    脉脉上最近的有个热帖,通过造假工作经历.学历水平,成功拿到抖音Offer 不知道大家信不信. 我信,这类事情真的有,对于很多同学而言,通过造假学历和工作经历,面试通过的概率都是很高的,但即便通过面试就 ...

  2. 脉脉热帖:为啥大厂都热衷于造轮子?

    转载/技术琐话 ,作者老G先生 不要问我为啥总关注脉脉,因为脉脉里有真话.今天的话题是:为啥大厂热衷于造轮子? 脉脉上讨论造轮子的事情太多了,随便截几个图看看. 其实不只是大厂,中型公司亦有不少造轮子 ...

  3. 【数据仓库】数仓到底要分多少层

    0.前言 初学数仓的同学都喜欢问一个很有意思的问题:数据仓库到底要分几层?我一般的回答都是:你想分几层就分几层.很显然, 虽然我是很认真的在回答,但是提问题的人会感觉非常不认真.还是完完整整的阐述一下 ...

  4. 数仓已死?数据湖当立!

    前言 前两天,我详细剖析了一下这两天脉脉上很火的数据建模帖子.指出来帖子里百度小哥"只见宽表不见建模"的核心原因是整个数据圈的核心逻辑变了. 然后就引起了建模群里一帮人在疯狂吐槽. ...

  5. 数仓 调度_网易实时数仓实践

    分享嘉宾:马进 网易杭研 技术专家 编辑整理:张满意 出品平台:DataFunTalk 导读:随着大数据技术的进步,各种计算框架的涌现,数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓,越来越多的 ...

  6. 基于MaxCompute的数仓数据质量管理

    声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路--阿里巴巴大数据实践>--阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...

  7. 史上最全企业数据产品选型对比(含数仓、报表、BI、中台、数据治理)

    前言 这个从上至下都在强调数字化转型的时代,越来越多公司重视数据,也越来越多的企业有数据建设的需求. 企业无论做任何数据工作,必然要有一定的信息化基础,也要有数据化建设的基础,少不了数据平台.数据应用 ...

  8. 帆软报表在已经搭载服务器上开发_史上最全企业数据产品选型对比(含数仓、报表、BI、中台、数据治理)...

    前言 这个从上至下都在强调数字化转型的时代,越来越多公司重视数据,也越来越多的企业有数据建设的需求. 企业无论做任何数据工作,必然要有一定的信息化基础,也要有数据化建设的基础,少不了数据平台.数据应用 ...

  9. 出大事了!IBM的数仓项目黄了,赔了好几亿!

    这是彭文华的第182篇原创 其实建模的文章写了不少了,但是都还停留在什么星型.雪花型这些比较粗浅的内容层面. 其实,建模这件事情是个能力要求非常高的技术活儿.而且这个活儿不是说公司牛.技术牛就能搞定的 ...

最新文章

  1. BZOJ 4152: [AMPPZ2014]The Captain(最短路)
  2. APUE读书笔记-第14章-高级I/O
  3. 解决 IntelliJ IDEA 中 .propertise 文件保存后中文乱码
  4. 标准配置的Windows平台上潜在可用屏幕区域
  5. ie 调用java的时候报错,关于java的applet在网页中打开的时候出错
  6. 何时在脚本标记中需要CDATA节?
  7. linux内核的自旋锁spin_lock和互斥锁mutex_lock
  8. RSA原理及其攻击方法
  9. Python win32com模块安装
  10. 【历史上的今天】9 月 14 日:中国第一封电子邮件;世界上最早的电子银行系统;微软发布 Windows Me
  11. [渝粤教育] 浙江工商大学 工程英语口语(王晓英) 参考 资料
  12. typeorm实战之findOne()方法
  13. 如何从视频中提取音频?
  14. 数论作业 —— 同余理论
  15. caffe 搭建参数服务器(1)—— 用MPI实现多节点同时训练一个模型
  16. C# 开发备忘录(自定义日历)
  17. 联想拯救者pro装华为鸿蒙OS,预装鸿蒙OS!华为Mate 40 Pro 4G通过3C认证
  18. selenium进行QQ空间登录
  19. 手工纸盒子_折纸盒子大全_10多种折纸盒子制作图解教程|怎么折纸盒子 - 聚巧网...
  20. JVM的直接引用和符号引用

热门文章

  1. NMock学习系列(三)--- NMock在DDD领域驱动的单元测试中的应用
  2. 网易云音乐歌单可视化,有多少是你收藏过的呢
  3. 苹果是如何让iOS12加速的
  4. “.”和“->”的区别
  5. 分享一个自动刷抖音的代码
  6. 2023软件测试最难求职季,哪些测试技能更容易拿到offer?
  7. PHP笔记03-数组1
  8. 2022-2028年中国中医医疗机构行业投资策略探讨及市场规模预测报告
  9. 在Mac OSX下安装Microsoft Calibri字体
  10. 计算机与手机联网,手机与电脑无线连接怎么实现