一年一度史诗级大片高考火热上映中,今天终于迎来了结束考试之时,不少学生已经切换到了放飞自我的模式。不过,考生还将迎来最后一道难题:填志愿。我们先来看看大佬们怎么说?俞敏洪和刘强东都认为应该去大城市;马云认为选专业比选学校更重要;任正非则认为大数据时代就要做统计学……

选专业,填志愿,如此迫在眉睫,毕竟它决定了未来几年你的人生选择和前途。正如任正非所强调一定要抓住大数据时代的机遇,大数据作为时下火热的IT行业的词汇,相关方向的专业更是十分抢手。那么,今天小智就来说一说大数据专业究竟有多火?大家又该如何选择适合自己的方向和领域呢?

来源:大鱼漫画

人才缺口150万的大数据行业,薪资前景究竟如何?

人才缺口:据国内最热职位人才报告显示,大数据人才的供给指数最低,仅为0.05,属于极度稀缺。而随着企业越来越重视大数据的利用,大数据人才缺口已超百万,但国内大数据从业人员只有约30万人,与此同时,大数据在不断往各垂直领域延伸发展,ETL研发、系统架构开发、数据仓库研究、数据分析、数据挖掘、人工智能等领域的人才需求不断加大。

就业形势:不局限于一线城市,随着新技术时代的到来,众多行业面临转型升级,以金融行业为例,二三线城市的金融市场逐渐呈现勃勃生机,大数据人才需求同比增长90%。因此,二三线城市的发展潜力同样巨大,将为大数据人才提供广阔的舞台。

数据来源于职友集

就业领域:大数据应用开发,其就业领域是很宽广的,不管是传统领域,还是新兴领域,都需要大数据人才进行大数据的采集、分析、开发、应用等,因此可以在电商、金融、医疗、交通、教育、电信、安防、传媒、能源、电力等各领域从事大数据相关工作。

大数据相关知识繁杂,该如何了解和学习?

就拿近几年大火的“数据中台”而言,市面上关于它的说法众说纷纭,究竟何为数据中台,与它相关的大数据技术如何了解?小智认为依赖网络上只言片语的解说或许会让你更加迷茫,而一本干货满满的图书确实会更加透彻和方便的帮助你解决困难。尤其是真正有实战经验的作者,他们更能够以亲身经历以通俗易懂、有趣的方式来为大家讲解。

想必EA和Twitter两家硅谷巨头企业大家一定不会陌生,那么这两家企业是如何利用“数据中台”进行改造升级,进而让大家熟悉的游戏和社交方式走进全球呢?下面小智就以图书作者曾在硅谷负责建设的两个典型大数据项目,来简单介绍一下关于数据中台与大数据相关的知识。

艺电的“数据中台”改造

EA(艺电)是一家总部位于硅谷的知名跨国游戏公司,创造和发行了众多深受游戏迷喜爱的游戏,例如《FIFA 足球》《Madden 橄榄球》《NHL 冰球》和《NBA 篮球》等体育游戏,令军迷们狂热的《战地》及《星球大战》系列游戏,以及经久不衰的《模拟城市》《模拟人生》《植物大战僵尸》等游戏。

这些游戏都是由 EA 位于全球各地的游戏工作室开发的,但是游戏里所涉及的数据分析工具却是由位于硅谷总部的大数据团队提供的。在有统一的大数据平台之前,EA 的每个工作室都需要开发自己的大数据平台,编写自己的大数据分析程序。各个工作室的数据能力参差不齐,数据质量得不到保证,有的产品甚至完全没有数据分析。各个工作室之间无法共享数据和用户资源,总部在汇总全集团的营业数据时也费时费力。这可以说是一个非常典型的数据孤岛的情况。

2011 年,EA 开始逐步建立全局大数据平台(类似于具有数据中台功能的平台),将各个工作室的数据逐渐汇聚到这个全局大数据平台上,并为各个工作室提供统一的数据分析和数据服务工具。各个工作室不再需要自己维护大数据平台,也无须自己雇用大数据平台开发人员,它们既可以使用集团的数据分析系统得到自己需要的业务报表,又可以使用系统提供的反欺诈、产品推荐等服务,专注于业务使它们能够快速推出新产品。同时,由于各个游戏的数据得以打通,用户数据得到统一,EA 可以构建更全面的用户画像,帮助工作室更精准地为用户提供个性化服务,提升用户体验。而且,集团总部能够快速且自动地获得全局的运营信息,而无须等到各个业务部门提交月度报表之后再手工合并和审核。

通过大数据平台的建设,在 2012 年和 2013 年被评为最差劲体验游戏公司、营收逐年下降的 EA,一举华丽转身,2014 年被评为最佳体验游戏公司之一,2015 年更是创下 43 亿美元的营收历史新高。

本书作者之一宋文欣作为主要技术和团队负责人带领了 EA 大数据平台团队的组建以及该平台的设计和建设。第 16 章将详细描述其类似于 Supercell 的平台的建设历程。

Twitter 的数据驱动

Twitter 是硅谷社交三驾马车之一,其陌生人/公开社交与 Facebook 的熟人/私有社交、LinkedIn 的职场社交都对互联网产生了极大影响。这三驾马车出现于 2006~2008 年,在时间上与此相耦合的一个现象是大数据的发展。Facebook 成立于 2004 年,Twitter 成立于 2006 年,LinkedIn 成立于 2002 年(但发展期是 2006~2010 年),而作为大数据的启动项目,Hadoop 的首发时间是 2006 年。

熟悉大数据早期发展历程的业内人士都知道,虽然 Hadoop 起源于 Google,由 Yahoo!开源,但是 Facebook、Twitter 和 LinkedIn 却是硅谷早期推动大数据发展的核心力量,Hive、Pig、HBase、Mesos、Kafka、Spark、Storm、Thrift、Presto、Parquet 以及其他很多现在广泛使用的大数据组件,都是由这三家公司开源或提供最早的企业级应用和支持的。究其原因,除了这几家公司的工程师文化和对开源的推崇之外,更重要的是实际业务的数据驱动需求,因为它们都需要通过分析海量的数据来推动产品研发、用户拓展和核心营收的增长。

以 Twitter 为例,整个公司的管理都基于数据驱动的理念,而其底层支撑是一个全局共享的大数据平台。从 CEO 需要的 BI 部门实时业务报表、广告部门的精准定位、产品部门的个性化推荐,到用户拓展部门的增长黑客技术、反欺诈部门的异常监控、研发部门的实时产品反馈、运维部门的智能运维,相关的数据应用都通过统一的数据工具运行在同一个大数据平台之上。

整个平台中的数据能力共享和复用随处可见:产品部门研发的用户画像可以被广告部门用来精准定位目标客户,社交图谱被用来实现用户拓展;反欺诈部门的机器人识别功能被广告部门用来识别恶意点击,被 BI 部门用来精确统计日活用户;广告部门开发的实时数据处理体系被产品部门用来提升推荐的实时性;诸如此类。

公司从 2011 年的 300 人发展到 2014 年的 4000 人,大数据平台从 80 台服务器的单纯 Hadoop 集群扩展到 8000 台服务器的核心数据处理平台,都没有出现数据孤岛、应用孤岛及重复造轮子的问题。

更为重要的是,因为有了强大的数据能力核心平台,Twitter 的产品迭代速度得到大幅提升。在 2011 年以前,开发和发布产品的流程非常冗长,产品经理需要到各个部门调研可以使用的数据,并协调数据的生产化问题。在产品推出之后,需要专门的数据工程师支持,定制单独的数据看板和报表才能拿到产品的反馈。在大数据平台逐渐完善之后,产品经理可以直接在平台上探索现有的数据和各种 API,与研发人员合作使用各种数据服务快速形成产品原型,然后通过数据平台提供的测试框架快速发布测试,在发布后可以直接通过平台提供的数据看板查看用户反应,而无须自己编写程序。整个产品的开发和迭代流程从以月计改为以周计,活跃用户数也从 2011 年不到 1 亿增长到 2014 年接近 3 亿。

本书作者之一彭锋作为 Twitter 架构师委员会中负责大数据体系的高级架构师,在大数据平台的建设中负责架构设计和项目审计,经历了从 80 台机器的 Hadoop 集群到 8000 台服务器集群的整个建设历程。本书会穿插介绍 Twitter 大数据平台建设的一些思路和经验。

以上内容摘自《云原生数据中台:架构、方法论与实践》部分章节。

福利传送带

618新书火力全开,先5折再满减!

点击上图了解及购买

  免费包邮获取新书!

  《云原生数据中台:架构、方法论与实践》

图书正式发布!

获取方式:扫描二维码

后台回复关键字【赠书】获取海报

成功邀请10人,即可免费包邮获取!

????学习机会在此,点击“阅读原文”购买图书。

重磅!2021年报考指南出炉!揭秘最具潜力的高薪专业,这些人才最有“钱途”!...相关推荐

  1. 清华计算机本科待遇,2021年清华大学报考信息出炉 计算机专业最吃香

    2021年清华大学的报考信息出炉了,据了解,计算机专的报考人数最多,其次就是社会科学专业.软件工程专业.自动化专业等. 清华大学报考信息出炉 清华大学报考信息公布,计算机报考人数最多 在清华大学诸多专 ...

  2. 清华大学计算机系报考的条件,清华大学报考信息出炉 2021年清华大学报考最新信息...

    清华大学报考信息出炉,清华大学作为我国的高等学府,其每年的招生标准和招生人数以及最后的招生结果都引发大家的广泛关注,随着高考录取工作的开展,接下来和小编一起看看"2021年清华大学报考信息出 ...

  3. 重磅!博安生物新冠中和抗体对“拉姆达”等变异毒株有效;2021投资入籍排名出炉 | 美通社头条...

    要闻摘要:博安生物新冠中和抗体对"拉姆达"等变异毒株有效.2021投资入籍排名出炉.三亚旅游推广网站全新上线."伍尔特养车"全国门店突破150家.纬湃科技开发可 ...

  4. 百里挑一:ICLR 2021杰出论文奖出炉!

    北京时间 2021年4月1日,ICLR 2021 杰出论文新鲜出炉了!在本届 ICLR 上被接收的 860 篇高质量论文中,有 8 篇论文脱颖而出,被授予 ICLR 2021 杰出论文奖. 本次杰出论 ...

  5. 2021年金沙中学高考成绩查询,金沙第一中学2021年报考指南

    金沙第一中学2021年报考指南的内容如下,对该校感兴味的同窗能够细致的看一下文章,便当你们更好的报考该校. 金沙一中2015年升格为省级二类示范性普通高中,依照市.县教育局统一部署,我校2021年秋季 ...

  6. CSDN产品周报第23期|叮~2021 CSDN年度报告已出炉;私信新增拉黑功能;创作助手支持错别字检测……

    hello,大家好,这里是「CSDN产品周报」第23期.本次更新主要涉及博客.问答及私信,欢迎大家详细了解和使用. 一.博客使用体验优化 1.优化复制按钮,复制代码无压力 优化前 优化后 2.优化博客 ...

  7. 叮~2021 CSDN年度报告已出炉;私信新增拉黑功能;创作助手支持错别字检测……【2021.12.29】

    hello,大家好,这里是「CSDN产品周报」第23期.本次更新主要涉及博客.问答及私信,欢迎大家详细了解和使用. 一.博客使用体验优化 1.优化复制按钮,复制代码无压力 优化前 优化后 2.优化博客 ...

  8. 2021研究生报告新鲜出炉!博士每年招生超10万人

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达推荐阅读 42个pycharm使用技巧,瞬间从黑铁变王者Google ...

  9. 2021 AAAS Fellow名单出炉!图灵奖得主Yan LeCun、联想芮勇等多位人士入选

    作者 | 梧桐.王晔 编辑 | 陈彩娴 转自:AI科技评论 不久前,2021届 AAAS Fellow 名单出炉! 此次入选名单包括564名科学家.工程师或各科学学科的创新者,以表彰他们在科学事业中取 ...

最新文章

  1. [bzoj1042][HAOI2008]硬币购物
  2. c#操作Excel整理总结
  3. http php mysql_apache+php+mysql
  4. ApacheBench-web性能测试
  5. 英伟达公开课 | 手把手教你部署一辆高速目标检测Jetbot智能小车
  6. 65 Airflow组成部分的概念介绍
  7. 注册表 ControlSet001、ControlSet002以及CurrentControlSet
  8. mysql 开发 生产_在没有表锁定的情况下在巨大的MySQL生产表...
  9. NodeJS管理利器 - pm2常用命令
  10. ERROR 程序出错,错误原因:'bytes' object has no attribute 'read'
  11. Xcode低版本运行高版本真机(xcode9联调真机iOS12 系统)
  12. matlab两个运动同时进行,多体运动的matlab动画演示
  13. 思科CCNP网络工程师 CCIE考试常见问题GRE虚拟专用网络详解
  14. python求一个数的因子_0是素数吗(python求一个数的因子)
  15. flv 视频播放器代码
  16. 计算机科学编辑部态度,计算机科学期刊介绍--各种杂志投稿方式与评价(转)...
  17. java实现手写签名_手写签字,保存笔迹到图片
  18. PLC控制系统的接地设计
  19. 网络上长说的监听某个端口是什么意思
  20. OpenGL(十三) 天空盒 的 shader 实现

热门文章

  1. 在使用 VScode 进行代码格式化后,保存发现代码又变乱了,怎么办?
  2. HT1621B驱动笔段式LCD的理解(内含代码讲解)
  3. 【SAP-ABAP】“请指定参照表和参照字段”
  4. 虾米音乐解析器Qt版
  5. datagridview固定列宽_winform中的DataGridView的列宽设置
  6. golang xorm mysql_golang xorm mysql代码生成器
  7. 2020年春节最后一天上班记录
  8. win to go 给移动硬盘装双系统
  9. java字节流读取word_java怎么样读取word文档,inputstream好像只可以读取记事本 啊...
  10. 【51单片机】点亮LED灯(四种形式)