什么是数据工程师，主要做哪些工作？

1.什么是数据工程师

数据工程师这个概念其实很模糊，不同的人和公司对它赋予的含义也区别很大，感兴趣的可以看一下多智时代的相关文章。在这里，我们大概聊一下一般意义上的数据工程师在工作中会做什么?

集群运维：安装、测试、运维各种大数据组件

数据开发：细分一点的话会有ETL工程师、数据仓库工程师等

数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等

这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。

2.集群运维

数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。

因此这就要求数据工程师了解各种大数据的组件。

由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力：Linux。要对Linux比较熟悉，能各种自己折腾着玩。

由于现在的大数据生态系统基本上是JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。

3.ETL

ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。

4.系统开发

我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是JavaWeb这一套了，当然Python也是挺方便的。

需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下，Sql就跑不掉了，老老实实学一下Sql很必要。
　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
入行大数据，需要学习哪些基本知识
http://www.duozhishidai.com/article-15279-1.html
对于大数据开发的学习，最经典的学习路线是什么
http://www.duozhishidai.com/article-1544-1.html
在人工智能和大数据的开发过程中，需要注意的要点
http://www.duozhishidai.com/article-2052-1.html

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

什么是数据工程师，主要做哪些工作？相关推荐

流言终结者：大数据工程师真的做不过35岁吗？
众所周知,大数据开发工程师是当今非常受欢迎的职业.当今大数据技术人才的短缺,网络圈的时间越长,资历越高,它就越受欢迎.但最近,一个小版本发现,"大数据工程师不能做超过35个"的话题 ...
【运维工程师主要做哪些工作】运维工程师
运维工程师主要做哪些工作既然工作目标是保证系统的安全稳定运行,那么我们的工作就是围绕着这个目标转.我们需要: 1.构建系统监控体系没有监控就等于是瞎子,系统出了问题都不知道,要是哪天支付宝不能支付 ...
web前端开发工程师是做什么工作的？
web前端开发工程师是做什么工作的? Web前端开发工程师是一个很新的职业,在国内乃至国际上真正开始受到重视的时间不超过10年.Web前端开发是从网页制作演变而来的,名称上有很明显的时代特征.在互联网 ...
工程师、产品经理、数据工程师是如何一起工作的？
做为一名工程师,免不了与产品经理打交道,如果公司大一些,数据量多一些,还会有数据工程师这个角色.今天会和你主要聊一聊在工作中,产品经理和数据工程师在哪些方面对我们工程师的帮助最大,以及我从他们身上都学 ...
大数据工程师是做什么的？需要具备什么能力？
如何成为大数据工程师由于目前大数据人才匮乏,由于18年是各个大学第一年开设大数据专业,所以暂时也没有相关专业的大数据专业人才投入到社会中.对于公司来说,很难招聘到合适的人才. 阿里巴巴曾经举办了一个 ...
Linux运维工程师主要做什么工作?
Linux在现在社会发展是非常受欢迎的一个行业,对于从事Linux方面工作的人来说,属于互联网背后的英雄,没有他们的付出,就没有如今的互联网时代.而在Linux从事岗位之中,Linux运维工程师这样一 ...
大数据学出来做什么工作，就业方向有哪些？
比较好的就业方向包含:数据分析师.数据挖掘工程师.机器学习工程师.算法工程师.数据科学家.大数据开发工程师.大数据架构工程师.大数据运维工程师.数据可视化工程师.数据采集工程师.数据库管理员等.按照技 ...
web前端工程师都做什么工作
什么是"前端工程师"?"前端"是指软件的表现层或者用户界面(UI).前端工程师主要使用 Web 技术实现UI.作为一名前端工程师,弊端很明显.按钮无法点击?找前 ...
大数据工程师的日常工作是什么？要掌握哪些核心技术？
很多人都听过大数据工程师,但却很少人知道他们是做什么的?下面就带大家一起来了解一下大数据工程师的日常. 如果你对大数据感兴趣,下面的内容你一定要看看: 大数据工程师是做什么的? 分析历史.预测未来.优 ...
大数据工程师的日常工作内容是干嘛？
本文来源:知乎大家好,我是脚丫先生 (o^^o) 最近小伙伴们,有问到大数据工程师岗位平常的日常工作都是干嘛的? 大数据或者说想入门大数据,技术肯定是第一重要的,不会大数据的技术谈什么大数据.那么大 ...

什么是数据工程师，主要做哪些工作？

什么是数据工程师，主要做哪些工作？相关推荐

最新文章

热门文章