大数据开发工程师岗位职责

岗位：大数据开发
所在部门：大数据事业部
岗位职责：
1、负责构建分布式大数据服务平台, 包含大数据存储, 离线/实时计算, 实时查询, 大数据系统运维等工作
2、基于大数据平台完成各类统计和开发任务,承担数据抽取、清洗、转化等数据处理
3、熟悉业务形态，参与需求分析和方案设计
4、协助承担架构性体系工作，配合技术实施方案、交流材料的编写
5、从事大数据相关技术研究，跟进大数据技术发展方向
岗位要求：
1、1年以上Hadoop平台开发与服务管理经验
2、Java/scala语言基础扎实，有一定java/scala程序设计语言开发能力
3、精通Linux平台日常shell命令操作，可以熟练使用shell脚本程序开发，如熟悉python程序语言则更好
4、掌握并精通内存的计算引擎spark和海量存储集并行计算引擎mapreduce的ETL 数据采集与SQL加工转换、汇总计算作业脚本程序开发
5、熟悉与灵活运用HDFS分布式文件系统、hive数仓、YARN、spark计算引擎、Kafka消息队列、HBase等Hadoop各类服务组件
6、熟悉hadoop生态技术的体系结构和运行原理，对大数据平台集群环境的运行稳定、对整体自动调度作业运算能力和执行效率的性能提升有丰富的实践经验
7、具有电网信息系统开发经验者优先，熟悉阿里云数据中台及华为云数据中台者优先

大数据开发工程师岗位职责相关推荐

python大数据开发工程师_大数据开发工程师的职责
大数据开发工程师的职责大数据开发工程师的职责1 职责: 1.负责数据采集.数据存储.数据查询.数据计算等基础平台的设计和开发工作; 2.利用Hadoop.Spark.Flink等技术进行离线和实时数 ...
面试初体验：经历七场面试大数据开发工程师岗位总结（一）
最近一周一直在面面试,因为带有玩的性质,所以就喜提0个offer战绩. 不过也是在一次次面试中收获经验.我只想总结一下这周面试大数据开发岗位的精彩表现.希望可以给需要求职的同学一个好的体验. 1 招聘 ...
php 内容采集_php开发工程师和大数据开发工程师有什么区别
通过岗位职责.工作内容,告诉你php开发工程师和大数据开发工程师的区别?还为你对比php开发工程师和大数据开发工程师的学历要求.经验要求.工资待遇,为你揭晓php开发工程师和大数据开发工程师哪个好? ...
大数据开发工程师是做什么的？
大数据开发工程师要负责数据仓库建设.ETL开发.数据分析.数据指标统计.大数据实时计算平台及业务开发.平台建设及维护等工作内容.熟练掌握数据仓库.hadoop生态体系.计算及二次开发.大数据平台工具的 ...
python开发和大数据开发工程师_大数据开发工程师的岗位职责
大数据开发工程师负责该领域的业务需求讨论,完成技术方案及数据开发.下面是学习啦小编整理的大数据开发工程师的岗位职责. 大数据开发工程师的岗位职责1 职责: 1.负责所分管团队的团队建设和日常管理工作; ...
大数据开发工程师到底是干嘛的？日常做什么呢？
最近后台收到很多私信,内容大都差不多,总结下来就是: 目前在学习大数据专业,想提前了解一下大数据开发工程师的工作职责是怎么的?需要提前准备些什么?大数据分了哪些岗位? 笔者已从事数据开发工作三年有余, ...
python 大数据开发工程师_大数据系列之大数据开发工程师
继续介绍大数据系列岗位的要求,今天是"最热门"的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事"大数据开 ...
大数据开发工程师要求高么？有前景么
Python近段时间一直涨势迅猛,在各大编程排行榜中崭露头角,得益于它多功能性和简单易上手的特性,让它可以在很多不同的工作中发挥重大作用. 正因如此,目前几乎所有大中型互联网企业都在使用 Python ...
python工程师干什么的_大数据开发工程师薪资待遇及招聘要求？
目录: 大数据开发是干什么的? 大数据开发需要掌握哪些技术?学习路线如何? 大数据开发需要掌握数学知识吗? 大数据开发就业前景如何? 大数据开发工程师薪资待遇及招聘要求? 大数据开发是干什么的? 大 ...
成为一个大数据开发工程师的学习步骤--文字版
本博客搬运自我知乎所出视频成为一个大数据开发工程师的学习步骤? - 知乎大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小-https://www. ...

大数据开发工程师岗位职责

大数据开发工程师岗位职责相关推荐

最新文章

热门文章