这次，大数据工程师赢了！

大数据时代已经到来，它俨然成为了企业的战略资源，成为了提高竞争力的关键要素。为此，各个行业都开始用数据指导决策，从微信朋友圈、淘宝京东等电商APP的商品推荐，今日头条、抖音快手等媒体的新闻和视频推送，甚至到出行路线优化，这背后，都严重依赖于以数据为基础的决策结果。

随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。

看下图，在未来技术方向的调查中，最看好的是大数据、人工智能、移动开发、云计算，这几项不分伯仲，是技术人员的最看好的方向。中国大数据技术还处于萌芽状态，因此，现在正是学习大数据技术的最佳时期。

现在的业内，经常在我们耳边回响的就是：

看人家XXX，转行做了大数据之后薪资一下子翻了几倍；

看人家XXX，转行做了大数据之后度过了中年危机还做了管理层；

看人家XXX，转行做了大数据之后竟然被妹子倒追......

▌先来了解一下大数据是？

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

数据来源广，该如何采集汇总？对应出现了Sqoop，Cammel，Datax等工具。

数据采集之后，该如何存储？对应出现了GFS，HDFS，TFS等分布式文件存储系统。

由于数据增长速度快，数据存储就必须可以水平扩展。

数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

为了提高工作效率，加快运速度，出现了一些辅助工具：

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Python语言：编写一些脚本时会用到。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

▌大数据工程师的技能要求有哪些？

划重点：通过系统实训成为一名起薪保底6K的大数据工程师。。在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962，即可免费领取套系统的大数据学习教程

用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

附上大数据工程师技能图：

必须掌握的技能11条：

Java高级(虚拟机、并发)

Linux 基本操作

Hadoop（HDFS+MapReduce+Yarn ）

HBase（JavaAPI操作+Phoenix ）

Hive(Hql基本操作和原理理解）

Kafka

Storm/JStorm

Scala

Python

Spark（Core+sparksql+Spark streaming）

辅助小工具（Sqoop/Flume/Oozie/Hue等）

高阶技能：

机器学习算法以及mahout库加MLlib

R语言

Lambda 架构

Kappa架构

Kylin

Alluxio

▌大数据开发工程师待遇如何？

大数据开发工程师作为IT类职业中的“大熊猫”，大数据工程师的待遇是非常高的，在这个领域再次给我们展示了“物以稀为贵“的道理。在国内IT、通讯、行业招聘中，有10%的招聘岗位都是和大数据相关的，且比例还在不断的上升。

在美国，大数据工程师平均每年薪酬高达17.5万美元，而在国内，顶尖的互联网类公司，相比于其他岗同等级别的岗位，大数据工程师的薪酬大约要比其他职位高20%至30%，而且很受企业的重视。

看了那些动则年薪百万的报道，内心有木有充满期待呢？

但是对于基础相对薄弱的你我来说，看了需要掌握的技能后，说心里话，无论从专业还是学习时间上都是有难度的，那么作为有心成为大数据工程师的我们，该如何实现呢？

这次，大数据工程师赢了！相关推荐

大数据工程师、BI工程师、数据库工程师什么区别？
大数据开发工程师.BI工程师.数据仓库工程师.ETL工程师.有什么区别? 今天我们来看一位大神如何解释. BI,商务智能.BI工程师即为从事商务智能行业的工程师.从需求分析师到数据仓库架构师.到etl ...
算法工程师、软件工程师、大数据工程师的区别
前段时间,有几个HR朋友问我: 算法工程师的日常工作到底是在干嘛? 平常看起来似乎还挺闲的,工资还那么高. 有时候算法工程师好像又和大数据工程师是一样的工作? 这到底是怎么回事呢? 大约整理出以下几个 ...
算法工程师、软件工程师、大数据工程师，傻傻分不清楚
前段时间,有几个HR朋友问我: 算法工程师的日常工作到底是在干嘛? 平常看起来似乎还挺闲的,工资还那么高. 有时候算法工程师好像又和大数据工程师是一样的工作? 这到底是怎么回事呢? 大约整理出以下几个 ...
领英2017报告：机器学习、大数据工程师成为最热门的新兴职业
根据美国劳工统计局的数据,今天进入小学的孩子们中,预估有65%最终将会从事那些尚未出现的工作.LinkedIn的新兴职业报告调查了哪些工作需求正在增加,哪些正在被取代,哪些技能是面向未来的,以及这些趋 ...
你们是不是真的很缺大数据工程师？
00 缘起之所以有这个话题,是因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的. 并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这 ...
当我说要做大数据工程师时他们都笑我，直到三个月后……转
GitChat 作者:Fickr孫啟誠原文: 三个月大数据研发学习计划实战解析关注微信公众号:「GitChat 技术杂谈」一本正经的讲技术 [不要错过文末彩蛋] 申明: 本文旨在为普通程序员 ...
如何成为一名大数据工程师？
未来,对熟练的大数据工程师的需求将急速增长.现实的情况是这样的,无论公司属于哪个行业,要想在当今竞争激烈的市场环境中取得成功,需要一个强大的软件架构用来存储和访问公司数据,最好从公司创立一开始就要搭建 ...
流言终结者：大数据工程师真的做不过35岁吗？
众所周知,大数据开发工程师是当今非常受欢迎的职业.当今大数据技术人才的短缺,网络圈的时间越长,资历越高,它就越受欢迎.但最近,一个小版本发现,"大数据工程师不能做超过35个"的话题 ...
身为DATASHUO大数据工程师，我亲手制作的2016年第一期数据报告
2016年,身为DATASHUO大数据工程师,这是我利用DATASHUO我亲手制作的第一期数据报告.主要也是因为最近快过年了,近期爆出了BA巨头的年终奖撕逼大战,不觉让本博主内心心动了一下.大家是不是 ...

这次，大数据工程师赢了！

这次，大数据工程师赢了！相关推荐

最新文章

热门文章