大数据相关各职位解析

进几年A(人工智能)B(大数据)C(云计算)发展火热，由于笔者在一二线互联网行业从事过大数据相关工作，因此决定在大数据领域对自己的所见所闻，来对改行业之外的人士所做一个讲述，以及对想进入刚行业的从业人员做个简单的讲述和分享。

大数据首先重要的就是数据，数据从哪里来，到哪里去，这个是我们需要探讨的。首先确定你数据量TB级别、PB级别 or EB级别。上图讲述了数据的来源从用户的数据、购买数据，以及最终的去处：存储、分析。因此可以看出大数据的核心其实是数据。

以笔者所在的电商平台为例(其他行业同样如此)，用户在商城上购买商品，是基于在线交易系统的，称作为OLTP(联机事务)。而由于商城上每天都会产生这些信息，我们就需要把这些交易数据抽取到大数据这边，即：数据仓库。数据仓库是用来存储所有的数据，包括用户的所有信息，购买记录、用户基本信息等等。然后对数据仓库中的数据做处理，构建数据集市，再对数据进行分析。根据商城上推出的活动，进行分析该活动是否有利于用户增长等等，最终用来反馈商城相应的调整活动信息。称之为OATP(联机分析)。

上图主要讲述了大数据的信息。通过上图我们可以将大数据大致划分为如下岗位：数据开发，数据平台开发，数据分析、算法应用。如果所处的公司再大一些，上面相对应的岗位则能够进行更加详细的划分，比如是离线还是实时，对应的可以分到每一个岗位下面。

下面来讲述一下，每个岗位所需要的技能，以及大家可以根据自己的需求进行调整。

1.集群运维：图为网易集群运维招聘信息，工作内容主要负责集群的维护和升级、以及监控相关工作

2.大数据内核开发(中间件开发)：Hadoop、Hbase、Kafka、Flink 等

需要对于java语言精通、对于大数据组件源码有非常深的理解，commiter或者contibutor具有极大优势

3.大数据开发：包含数据平台开发、数据产品开发和数据开发(ETL):即数仓

数据平台开发：dataworks、dataphin 这种数据平台的开发

数据应用开发：主要是利用技术解决业务问题

数仓：数据清洗、数据加工相关工作

4.数据分析师(BI)：主要是理解业务，会sql 即可，很多女生做这个，薪资不差

5.算法：算法的话需要paper

6.产品：数据产品

在大公司的话，这些岗位会分的比较细，小公司可能需要做平台、又需要做应用、还有数据服务。

以上主要讲述了大数据的常见岗位和对每个岗位所需要技能进行了分析。如果大家有志于在此行业进行发展，欢迎大家和我交流。

大数据相关各职位解析相关推荐

第四期：有关大数据相关问答汇总，持续更新中~
NO.1 大数据为什么这么"火"?为什么那么多人转型学大数据? 回答一:身为数据极客,在2017年应该能感觉很幸福. 去年,我们曾经问过大家"大数据还是个值得关注的大事吗 ...
第四期：有关大数据相关问答汇总，持续更新哦~
NO.1 大数据为什么这么"火"?为什么那么多人转型学大数据? 回答一:身为数据极客,在2017年应该能感觉很幸福. 去年,我们曾经问过大家"大数据还是个值得关注的大事吗 ...
与大数据相关的热门职位都有哪些（一）
现在越来越多的高校开设了大数据相关专业的课程,这也是很多人开始选择学习大数据的原因,但仍然有不少人对于大数据整个行业的发展不是很了解,尤其是和大数据相关的社会职位.那么与大数据相关的热门职位都有哪些呢 ...
与大数据相关的热门职位都有哪些（三）
我们在这一篇文章中继续给大家介绍一些与大数据相关的热门职位,它们分别是数据科学研究.企业数据管理.数据预测分析.数据安全研究的工作,这些工作都是知识含量非常高的,有时不单单是我们选择职位,职位也在选择 ...
如何填报大数据相关专业？ | Alfred数据室
高考出分了,又是一年一度各位考生和家长手忙脚乱开始填报志愿的时候了.很多考生和家长纷纷咨询Alfred:大数据现在不是很火吗?大数据专业怎么样呀?应该填选择哪个大学比较好? 即使他们本身对大数据也不怎 ...
经典大数据面试题及解析
经典大数据面试题及解析 1.下列哪个属性是hdfs-site.xml中的配置? A.dfs.replication B.fs.defaultFS C.mapreduce.framework.name ...
大数据工程师微职位学习分享
随着各行各业的数据量快速增长,无论是从对数据的存储.分析.处理和挖掘等方面提出了越来越高的要求.IT行业正在逐渐向"DT"行业转变,未来是以数据为驱动的.所以我认为大数据是未来一个 ...
关于大数据相关的问答汇总，每天持续更新中哦~
NO.1 想要学好大数据需掌握哪些技术? 答:1,Java编程技术 Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序.Web应用程序.分布式系统 ...
关于大数据相关的问答汇总，持续更新中~
NO.1 想要学好大数据需掌握哪些技术? 答:1,Java编程技术 Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序.Web应用程序.分布式系统 ...
从技术 Leader 的招聘需求看，如何转岗为当前紧缺的大数据相关人才？
前段时间,跟候选人聊天的时候,一个有多年工作经验的资深 iOS 工程师告诉我,他最近正在学习 Machine Learning 相关的知识.他觉得,对于程序员来说,技术进步大大超过世人的想象,如果你不 ...

大数据相关各职位解析

大数据相关各职位解析相关推荐

最新文章

热门文章