python 大数据开发工程师_大数据系列之大数据开发工程师
继续介绍大数据系列岗位的要求,今天是“最热门”的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事“大数据开发”这一定位不是很清晰的岗位;二是因为至少有3个岗位可以称为“大数据开发”,所以这里的“最热门”需要详细分析。老套路先从几个大厂的岗位要求说起。
今日头条
1、本科以上学历,软件工程/计算机/通信/数学等相关专业;
2、熟悉Hive SQL语言,熟悉shell, python等至少一种脚本语言;
3、有hadoop、spark、flink等至少一种大数据平台的使用经验;
4、理解能力强,善于沟通,有责任心和团队精神;
5、有数据仓库建设、商业数据分析、增长项目经验者优先。
有赞
1、java/scala至少熟练使用一种
2、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
3、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink, 对hadoop生态其他组件有一定了解,比如 HBase, hadoop, Hive, Druid等
4、有大规模集群应用开发经验优先
5、有BAT工作经验优先
6、具备良好工作习惯和团队协作精神
华为
1、计算机或相关专业本科及以上学历,对数据处理、数据建模、数据分析等有深刻认识和实战经验;
2、熟悉Hadoop/Spark/Hive/HBase等大数据工具,主导过大型数据平台建设者优先;
3、精通SQL,熟悉常用的关系型数据库、非关系性数据库和数据仓库,具有SQL性能优化经验;
4、了解微服务开发理念、实现技术,熟悉常见设计模式,熟练掌握SSH开发框架,熟练进行Java、Python代码编写,熟悉多线程编程;
5、思维敏捷,对新技术敏感,有较强的钻研学习能力;
蚂蚁金服
1、三年以上工作经验,有大型互联网行业从业经验
2、有Hadoop/Hive/Spark/Storm/Zookeeper 等相关开发经验或从事分布式相关系统的开发工作
3、熟悉Linux/Unix系统和丰富的Java开发经验
4、具有强烈的责任心,求知欲望强
小影
1、本科及以上学历,计算机相关专业
2、3年以上企业级数据仓库开发经验
3、熟悉数据仓库理论,具备复杂业务需求梳理能力
4、熟练SQL开发,精通Mysql等关系型数据库中的一种或几种
5、熟练掌握Hadoop及Map-Reduce应用开发,熟练掌握HBase、Hive、Storm、spark等大数据开发工具中一种或几种
6、熟悉Linux系统,具备shell、python等脚本开发能力者优先
7、学习能力强,喜欢研究开源新技术,有团队观念,具备独立解决问题的能力
能力三核模型分析
大数据开发工程师.png
综合结果如下
知识
1、本科及以上学历(3)
2、计算机相关专业(4)
硬技能
1、熟练掌握hadoop、Hbase、Hive、Storm、Spark Streaming、flink等大数据开发工具中一种或几种(5)
2、熟悉shell、python、scala、java等至少一种开发语言(5)
3、熟悉linux/unix系统(2)
4、有数据仓库建设、数据处理、数据建模、数据分析相关经验(2)
5、精通sql,熟悉常用的关系型数据库和非关系型数据库(1)
才干or 软技能
1、良好的团队精神(3)
2、较强的学习能力和欲望(3)
3、强烈的责任心(2)
4、独立解决问题能力(1)
分析
从上面硬技能来看,同时具备1,2,3项不是很难,这个都是程序开发的范畴,但是要和4,5两个条件同时具备这个就非常难了,这是明显的两个职位。所以需要先看一下工作职责和内容
岗位职责
1、负责数据仓库建设、ETL开发、数据分析(3)
2、负责数据指标统计(2)
3、负责大数据实时计算平台及业务开发(1)
4、负责大数据平台建设及维护(2)
通过上面4项总结后的岗位职责可以看出,1、2两项职责是针对数据仓库岗位要求,也就是前面系列文章大数据岗位要求之数据仓库所介绍内容;第3项岗位职责主要是对应第一项hadoop生态体系硬技能要求的,主要是在实时计算及二次开发方面;第4项岗位要求是大数据平台工具的开发,一般包括开发平台、调度系统、元数据平台等工具,主要对应java等语言开发能力要求。
个人经验
通过上述分析可以知道数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发,其实这是3个岗位,各自要求也不尽相同。希望对应届生同学或者想转入大数据行业的同学有所帮助。
延伸一下hadoop生态体系太庞大了,包括但不限于hdfs、hive、hbase、storm、spark、flink、kafka、flume等,所以作为一个优秀的大数据开发,尤其是大数据运维同学的学习能力的要求是非常高的。在非大数据同学看来这些都是大数据同学应该掌握的,并且在一般公司招聘时也不会每个系统招一个人,也都是综合要求,这样大神或者架构师市面上还是有的,只是太少了,所以大数据开发的薪酬待遇高也是有道理的。
python 大数据开发工程师_大数据系列之大数据开发工程师相关推荐
- 视频教程-微信小程序系统教程python版[3/3阶段]_微信小程序支付-手游开发
微信小程序系统教程python版[3/3阶段]_微信小程序支付 微信企业号星级会员.10多年软件从业经历,国家级软件项目负责人,主要从事软件研发.软件企业员工技能培训.已经取得计算机技术与软件资格考试 ...
- 软件开发向大数据开发过渡_如果您是过渡到数据科学的开发人员,那么这里是您的最佳资源...
软件开发向大数据开发过渡 by Cecelia Shao 邵Ce It seems like everyone wants to be a data scientist these days - fr ...
- python 3d大数据可视化软件_最受欢迎的大数据可视化软件
最受欢迎的大数据可视化软件 发布时间:2020-05-26 想像阅读书本一样阅读数据流?这只有在电影中才有可能发生. 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式. 大数据可视化 ...
- 大数据平台构建_如何像产品一样构建数据平台
大数据平台构建 重点 (Top highlight) Over the past few years, many companies have embraced data platforms as a ...
- 数据科学与大数据排名思考题_排名前5位的数据科学课程
数据科学与大数据排名思考题 目录 (Table of Contents) Introduction介绍 Udemy乌迪米 Machine Learning A-Z™: Hands-On Python ...
- 大数据相关从业_如何在组织中以数据从业者的身份闪耀
大数据相关从业 Build bridges, keep the maths under your hat and focus on serving. 架起桥梁,将数学放在脑海中,并专注于服务. 通过协 ...
- 大数据 就业 缺口_三年培养10万大数据人才,解决大数据人才缺口
(原标题:三年培养10万大数据人才,解决大数据人才缺口) 未来三年为中国培养10万大数据人才,大数据人才优选计划缓解中国大数据人才缺口 为缓解中国大数据人才缺口,小牛学堂联合工信部人才交流中心,开展& ...
- python怎么做图表好看_如何制作有趣好看的数据可视化图表?
工具方面 制作可视化各回答都忽略了一点,就是所展示数据的量和复杂度. 如果数据很简单,数据量很小(万行以内),数据很干净(很少有错误值和空缺值等),这种情况下如果为了单纯的图表可视化,建议用Excel ...
- 薪水最高的十大专业知乎_薪酬最高的十大按需IT认证:2020年版
薪水最高的十大专业知乎 信息技术(IT)认证可以丰富您的IT事业,并为盈利方式铺平道路. 随着对IT专业人员的需求增加,让我们看一下10个高薪认证. 技术格局在不断变化,对信息技术认证的需求也越来越高 ...
- 数据数据泄露泄露_通过超参数调整进行数据泄漏
数据数据泄露泄露 介绍 (Introduction) Data Leakage is when the model somehow knows the patterns in the test dat ...
最新文章
- 嵌入式系统学习笔记之五-- uboot常用命令 环境变量
- 原创 | 从智慧交通、智慧安防、智能电网三大应用场景看我国智慧城市建设现状...
- 89页PPT揭秘:人工智能产业爆发的拐点
- SSM中怎样使用JUnit4+spring-test编写单元测试
- boost::stl_interfaces模块实现反向迭代器的测试程序
- 修改了sql默认路径无法登录服务器,PostgreSQL错误'无法连接到服务器:没有这样的文件或目录'...
- 高等数学上-赵立军-北京大学出版社-题解-练习2.3
- 正在这紧要关头的jdzyzwc
- 世界变化快,不学“SQL托管实例”跟不上时代
- Qt: 非阻塞时间延迟;
- CleanMyMac偏好设置你知道多少?
- matlab三次样条拟合,【MATLAB编程】三次样条
- 【应用案例】CANape支持基于模型的ECU开发
- Python 技术篇-pyHook键盘鼠标监听事件,监测鼠标键盘按键实例演示
- 数据恢复软件下载地址
- ArmHub社区_新手上路
- 深度学习中GPU和显存
- matlab中for循环,while循环的基本使用。
- 可以测试体育跑步的软件,某高校现跑步打卡神器 能检测出是在走还是跑
- 内存分析工具MAT分析内存溢出问题
热门文章
- ubuntu 20.04.3 安装教程(本人一步一步安装记录...)
- 盘古开源资讯:夯实产业基础,打造汽车电子芯片产业高地
- Problem:Ubuntu Give up waiting for root device
- Spark:解析CSV文件并按列值分组
- wps表格怎么按特定的顺序对数据进行排序
- linux sqlplus 查询数据,Linux安装sqlplus及shell查询数据库
- jupyter note 打开md文件
- 初入门的C++小语法
- python基本数据类型之字典详解
- php实现金币提现,哪位php大神帮忙写个金币转换函数