讨论哪个大数据岗位会火之前,我们先来简单的分析一下大数据领域的行情,这里重点说一下当前的情况。

2016年,互联网行业遇到了资本寒冬,抛开大公司不说,一些中小型的公司不断的缩减预算,因为很难融到钱。

但是从大数据这个角度出发去看的话,会发现即使其他类型的技术岗位行情不太好,但大数据领域一直还是不错的,这一方面国内大数据政策推动的原因,另一方面是中小型的公司想拿到钱那必须有可谈的技术故事,是的,那就是数据,或者说数据驱动。

所以,不管怎么说,17年,整体大数据领域的整体市场需求还是偏良性的(相对于其他技术类型来说)。

但是,受14年开始,大数据培训市场批量水流线生产大数据工程师的影响,目前大数据需求市场会有些小混乱,所谓混乱是指技术水平参差不齐,包括大量打着大数据旗号的传统数据库工程师(这个很大一部分原因也是培训机构造成的);企业需求招聘不清晰、对大数据岗位定位混乱。

这种乱象,从身边获取的简历,各种招聘现象,以及各种大数据讨论社群的相关话题讨论中可以看出。

并且这种乱象会持续比较长的一段时间,直到接受正统知识体系教育科班大数据工程师们充斥需求市场,降低大数据速成工种比例,以及企业公司对大数据有足够的认知之后,才会逐渐消失,市场价格才会逐渐趋于良性(当然,那个时候大数据领域的技术福利就会下降了)。

还是以2017年说事,受大数据培训市场进一步影响,以及受各大院校16年开始往大数据市场池子投放正规军的影响,低门槛的大数据开发,以及相对基础要求较低的数据分析类的大数据职位会有一些影响。

总体表现就是薪酬好像不会像以前那般好谈了,然后就是缺口也在慢慢的变小,因为市场上绝大部分的号称大数据工程师的都是处于这种阶段的。

当然,能够上升到诸如大数据架构师这种级别的人,依然是市场的香馍馍。

基于以上这些情况,在大数据领域中,还是有些岗位需求量会走高的。

是的,2017年一定会火的。

算法以及数据挖掘

当然,这里指的算法以及数据挖掘与传统的可能还是有所区别的,不管是模式还是所使用的工具,或者各种工程化的形式,区别还是蛮大的,可能不变就是算法的原理了。

国内四五年的大数据发展落地,抛开大些的公司不说,就绝大部分一般公司来说,在基本数据处理,数据浅层价值的挖掘(最典型如报表价值的输出)这块已经有足够的累积了。

那必然会往更高层级去演化,诸如挖掘数据中的个性化,做一些更深层次的预测,以及研究内容的深层价值,文本挖掘、NLP等,甚至是深度学习,人工智能AI的层级。

这些领域除了比较新的深度学习、AI等,其他其实在更早的时候都有人在研究,那在这里为何把他列到这里来说,那是因为个人数据挖掘与大数据关联之后,很多东西都有其独特性。

包括数据各个阶段处理的模式,应用场景的不同,实际工业生产中算法设计的模式(最典型如大数据模式下,偏爱于统计分析即样本数对结果影响较大的算法),甚至是算法最终工程化的模式,使用到的工具,都有很大差别。

最起码,我个人认为,传统的数据挖掘工程师与我这里所说的数据挖掘工程师还是两类人。

但是,我们也知道,学校里是很难有大数据挖掘这种专业存在的,所以,这个岗位的人才来源有两种:

懂算法以及数据挖掘相关东西,补充大数据相关知识结构体系,逐渐适应大数据模式下的挖掘模式。

在大数据领域摸爬滚打足够多的年份,逐渐从实操中补充数据挖掘相关知识体系结构。

前一种人理论知识足够丰富,但是在工程化的能力上以及实际应用场景的映射上稍弱,一不留神只能在大公司能找到角色定位,因为中小公司养不起不能实际工程化只会理论的纯算法工程师。

后一种人实操能力会比较强,理论相对比较薄弱,但能根据实际业务场景设计算法模型,还能负责工程化业务化,这种人在中小型公司吃得开,在大公司估计只能沦为纯算法研究工程师的工程化助手。

但不管哪种,在2017年,都会迎来需求新高,并且在百家齐放的时代,野路子出身的实操数据挖掘选手反倒会更受欢迎,毕竟纯算法研究的人力的成本太高。

数据爬取工程师

或许有个更为熟知的简称“爬虫工程师”。

其实一直以来,大部分人对于爬虫工程师的认知,或许并不会归于大数据领域中来,但我个人认为最起码从16年开始,应该是要归于大数据体系的。

我记得在《DT时代变革的反思》一文中(这篇是15年写的,你看现在互联网开放数据真的是被重视起来了,茫茫多以公开数据起家的公司),甚至在其他相关的文章中,一直强调大数据时代一个很重要的数据来源,那就是互联网公开数据集。

在2016年,这个特征表现的尤为突出,各种公司纷纷把目光定准互联网公开数据集,以期通过互联网公开数据,挖掘其中的价值,意图变现。

在他领域就不都说,在大数据垂直行业,比较典型的就是催生了很多以互联网公开数据为基础数据来源的各种数据分析咨询顾问公司。

关注新媒体行业的,估计没几个人不关注的,毕竟没几个人不用微信的,诸如新榜(前几天的2017新榜大会还是蛮轰动的),其监测的数据应该绝大部分都是通过检测爬取的方式获取的。

那么,在2017年,数据爬取只会和大数据领域联结的更紧密。

作为大数据整个业务链路中的第一环,负责数据源的接入,有什么理由把人家单独丢开呢?!

在2017年,“内容价值变现”口号“甚嚣尘上”同时,作为抓住内容第一环,海量数据的获取,数据爬取工程师的重要程度会逐渐被人认可。

当然,与此同时,上面说到的数据挖掘岗位,偏向于文本挖掘、画像体系构建、NLP之类的,也会更受欢迎。

所以

是的,2017年,这两个大数据的岗位一定会火起来,不信,我们到时候瞧瞧(反正不准你咬不了我 哈哈)。

其实还有更大的证据证明这两个岗位一定会火起来。

我司,俺部门(大数据部门)招数据挖掘&爬虫工程师,当然还有大数据开发工程师,你看连我司都招了,大数据市场这几个职位能不火么。

好了,不扯,说正经的(好像说着上面都不是正经的样儿):

1、需求数据挖掘工程师一枚,不要纯搞算法理论的,需要有算法分布式工程化能力,需求文本挖掘项目经验。

2、需求大数据开发工程师一枚,三年左右大数据技术背景,各种hadoop生态组件都玩过点,能够进行spark应用开发,会点java后端东西,附带点数据挖掘技能更佳。

3、需求爬虫工程师一枚,java爬虫、python爬虫体系都无所谓,需求能够规模化、自动化爬取数据,会点java后端技能更好,有微信、微博数据爬取更佳。

最后,讲真,这两个方向在大数据领域真的是有市场的,挖掘算法类的就说了,跟不少猎头类的朋友也都聊过,一直是刚需,而爬虫类的,应该会被逐渐重视的,因为数据获取的模式逐渐在改变。

本文作者:blogchong

来源:51CTO

2017年,这两个大数据岗位一定会火!相关推荐

  1. python大数据工程师薪资待遇_大数据岗位就业薪资具体多少?大数据职业发展的2大方向和5个职位...

    大数据发展非常火热的时候,很多想加入大数据行业的小伙伴,犹豫和困惑最大的问题就是大数据岗位薪资情况,下面就给大家分析分析. 数据开发在互联网岗位薪酬中,排名第二 1.职位量大增,投递量增长更快 从 2 ...

  2. Interview:人工智能大数据岗位面试—【数据分析师】的简介、技能、待遇、进阶的详细攻略

    Interview:人工智能&大数据岗位面试-[数据分析师]的简介.技能.待遇.进阶的详细攻略 目录 数据分析师的简介 1.网友经验之谈 数据分析师的待遇 数据分析师的技能 数据分析师进阶 数 ...

  3. 第2期:大数据岗位有哪些

    大家好,我是老王随聊,今天和大家讨论的话题--大数据岗位有哪些 目前大数据是一个非常有发展前景的岗位,在IT界薪资待遇也很高,很多人想从事这方面的工作,那下面我们谈谈大数据都有哪些岗位. 欢迎加入老王 ...

  4. 大数据产品经理python_大数据岗位要求之数据产品经理

    继上篇介绍了数据分析师岗位的要求,这篇介绍数据产品经理的岗位要求(距上篇的更新时间有点久),还是先从几个大厂数据产品经理原始的岗位要求看起. 滴滴 1.本科以上学历: 2.2年以上数据分析.数据产品等 ...

  5. 使用scrapy爬取前程无忧所有大数据岗位并做出数据可视化

    项目目录 项目要求 工具 软件 具体知识点 具体要求 数据源 爬取字段 数据存储 数据分析与可视化 具体步骤 分析网页 实现代码 抓取全部岗位的网址 字段提取 可视化 分析"数据分析&quo ...

  6. 记一次网易2018实习生笔试-大数据岗位

    记一次网易2018实习生笔试-大数据岗位 网易2018实习生招聘笔试题-大数据开发实习生-云音乐 凭借印象和草稿,记录下一些题目. 共有20道选择题,3道编程题,2道简答题. 选择题 HDFS Blo ...

  7. 大数据岗位的面试总结

    转载自:大数据岗位的面试总结 本人住在有人间天堂之称的城市,6年多开发经验,最近2年主要在做大数据相关的开发,最近考虑换工作,基本也只考虑大数据相关岗位.目前新工作已经找好,但想分享一下最近面试的失败 ...

  8. 2021-08-01 大数据岗位入职系列 前传:转战大数据

    大数据岗位入职系列 前传:转战大数据 大家好,我是赵大锅. 近些年来大数据.云计算技术在全球都比较火热,随着移动互联网的迅猛发展,智能设备越来越先进,4G/5G网络的覆盖,全球网民人数急剧增加,人们购 ...

  9. 大数据岗位校招Spark面试总结

    Hive 面试总结传送门:大数据岗位校招Hive面试总结 Hadoop 面试总结传送门: 大数据岗位校招Hadoop面试总结 继上一篇Hive相关的面试总结后,本篇总结下Spark相关的问题~ 1.S ...

最新文章

  1. unity 骨骼击碎_保证击碎$ 100挑战的创新策略
  2. python【力扣LeetCode算法题库】543-二叉树的直径
  3. 解析rtcm32报文工具_RTCM32编解码中的一些概念及相关文献阅读
  4. [HAOI2006]均分数据
  5. jquery Deferred
  6. Tween 若干年后我尽然还要学数学 曲线到底是什么鬼啊
  7. tomcat学习笔记(JDK+TOMCAT+AXIS)
  8. Qt Creator 窗体控件自适应窗口大小布局
  9. 图说 mysql 事务隔离级别
  10. 关于OAuth2的几个问题
  11. 并查集——团伙(洛谷 P1892)
  12. 我的世界等价交换卡服务器物品,【推荐服务器】等价交换|加速火把|工业|神秘|植物|AE|食物工艺等......
  13. 软件测试行业基本介绍
  14. 计算机二级access难不难,计算机二级access难吗
  15. 互联网周刊:移动互联网时代的运营商之失zz
  16. 5G消息、聊天机器人和小程序
  17. css 实现图片间用间隔线(竖线)
  18. 学人工智能以后从事什么工作?这6大就业方向前景广阔
  19. Windows 11快捷键功能大全 28个Windows 11快捷键功能介绍
  20. vos3000客户在设置服务器防火墙时需要打开哪些 VOS 应用端口

热门文章

  1. [ZJOI2007]棋盘制作 悬线法dp 求限制下的最大子矩阵
  2. Scrapy将爬取的段落整合为字符串
  3. ASP.NET Core ---日志
  4. (转)PowerHA完全手册(一,二,三)
  5. oracle 察看用户是否被锁,解锁以及改密码
  6. 06jQuery-04-DOM操作
  7. 详细讲解Android的网络通信(HttpUrlConnection和HttpClient)
  8. 动态规划 背包九讲的实现。
  9. 用jquery阻止事件起泡
  10. 纽大计算机博士,斑马博士捷报|纽约大学 (NYU) MSc Computer Engineering 计算机工程硕士录取...