大数据需要负责公司产品的技术支持、安装调试、客户使用培训及相关硬件的安装调试。下面是学习啦小编为您精心整理的大数据运维工程师的工作职责。

大数据运维工程师的工作职责1

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求：

1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师的工作职责2

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

大数据运维工程师的工作职责3

职责：

1、负责大数据平台架构的规划、设计、搭建;

2、负责大数据平台的运维保障工作;

3、负责运维相关数据分析，以及报表产出;

4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

6、研究跟进大数据架构领域新技术并分享。

工作要求：

1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系统;

3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;

4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;

5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。

大数据运维工程师的工作职责4

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责5

职责：

1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;

3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;

4. 参与开源社区建设，提升公司开源影响力;

任职条件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;

3. 熟练掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;

5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;

6. 有大数据平台维护经验优先;

7. 掌握dockerfile，了解大数据与k8s结合者优先;

8. 参与开源社区，有代码贡献或者高质量博客文章者优先;

相关文章：