python大数据运维工程师待遇_什么是大数据运维工程师

一.运维三板斧

三板斧可以解决90%以上的故障处理工作。1>.重启

重启有问题的机器或经常，使其正常工作。2>.切换

主备切换或主主切换，链接正常工作的节点。3>.查杀

查杀有问题的进程，链接等。4>.三板斧的问题

第一：只能处理故障处理问题，不能解决性能调优，架构优化等问题；

第二：只能治标，不能治本；5>..大数据运维和传统运维的不同

第一：传统运维面对的底层软硬件基本稳固，大数据运维面对的是商用硬件和复杂linux版本；

第二：传统运维面对的是单机架构为主，大数据运维面对复杂的分布式架构；

第三：传统运维大多维护闭源商业版系统，大数据运维通常面对开源系统，文档手册匮乏，对阅读源码要求高。

第四：大数据运维对自动化工具的依赖大大增加；

二.Iaas层(基础设置及服务)运维工作

一般中大型企业有自己的基础设施维护团队，这部分工作不会交给大数据运维来做。小公司可能需要大数据运维键值这部分工作，主要关注三个方面：1>.硬件

大数据系统大多使用廉价PC Server或虚拟机，硬件故障是常态，通过告警，日志，维护命令等识别故障，并支持硬件更换。2>.存储

大多使用PC Server挂本磁盘的存储方式，极少情况会使用SAN(存储区域网络)或NAS(网络附属存储)，熟悉分区，格式化，巡检等基本操作。3>.网络

网络的配置变更更需要比较专业的知识，如有需要可学习CCNA，CCNP等认证课程，但网络硬件和配置出问题概率很低，主要关注丢包，延时。

三.HDFS运维工作1>.容量管理

第一：HDFS空间我使用超过80%要警惕，如果是多租户环境，租户的配额空间也能用完；

第二：熟悉hdfs，fsck，distcp等常用命令，会使用DataNode均衡器；2>.进程管理

第一：NameNode的进程是重点

第二：熟悉dfsadmin等Ingles。怎么做NameNode高可用。3>.故障管理

Hadoop最常见的故障就是硬盘损坏。4>.配置管理

hdfs-site.xml中的参数设置。

四.MapReduce运维工作1>.进程管理

第一：jobtracker进程故障概率比较低，有问题可以通过重启解决；

第二：了解一下HA的做法；2>.配置管理

mapred-site.xml中的参数设置。

五.Yarn运维工作1>.故障管理

主要是当任务异常这中止时看日志排查，通茶故障原因会集中在资源问题，权限问题中的一种。2>.进程管理

ResourceManager主要是学会配置HA

NodeManager进程挂掉不重要，重启即可。3>.配置管理

yarn-site.xml中的参数设置，主要分三块配置，scheduler的，ResourceManager的，NodeManager的。

六.Hive/Impala运维工作1>.SQL问题排查

第一：结果不对，主要原因可能是SQL错误，数据不存在，UDF错误等，需要靠经验排查

第二：慢SQL，这类问题开发经常会找运维排查，有可能是劣势SQL，数据量大，也有可能是集群资源紧张；2>.元数据管理

Hive和Impala公用的元数据，存在关系型数据库中。

七.其它组件

根据组件用途，特性，关注点的不用，运维工作也各不相同，如：1>.HBase关注读写性能，服务的可用性2>.Kafka关注吞吐量，负载均衡，消息不丢机制3>.Flume关注屯度量，故障后的快速恢复

python大数据运维工程师待遇_什么是大数据运维工程师相关推荐

python大数据运维工程师待遇_大数据开发、运维、数据分析分别是干什么的？哪个薪资最高？...
玩转大数据首先要明确自己将要学习的方向,没有人能一下子吃透大数据里面所有的东西. 在大数据的世界里面主要有三个学习方向,大数据开发师.大数据运维师.大数据架构师. 哪个好?我不知道你所说的哪个好?指的 ...
python大数据运维工程师待遇_大数据运维工程师的工作职责
大数据需要负责公司产品的技术支持.安装调试.客户使用培训及相关硬件的安装调试.下面是学习啦小编为您精心整理的大数据运维工程师的工作职责. 大数据运维工程师的工作职责1 职责: 1.负责和参与公司大数据 ...
python大数据运维工程师待遇_大数据运维工程师岗位的主要职责
大数据运维工程师需要及时反馈技术处理过程中的异常情况,及时向上级反馈告警,同时主动协调资源推动问题解决.以下是学习啦小编整理的大数据运维工程师岗位的主要职责. 大数据运维工程师岗位的主要职责1 1) ...
python大数据运维工程师待遇_大数据运维工程师具体是做什么的？
大数据运维的工作职责一.集群管理大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka,Redis等大数据生态圈组建. 二.故障处理 1>.商用硬件使用故障是常态 ...
成都python运维工程师待遇_运维工程师工资一个月多少钱
作为一个优秀的运维工程师,可以说是让人非常羡慕,人人艳羡的运维工程师工资一个月多少钱?想学运维技术就要从事最好的技术,如何从事最有前景的职业呢?我们就从以下几个方面来聊聊运维工程师及相关的岗位薪资. ...
python 数据分析师前景及待遇_数据分析师的前景怎么样?
从20世纪90年代起,欧美国家开始大量培养数据分析师,直至现在对数据分析师的需求仍然长盛不衰而且还有扩展之势.根据美国劳工部预测,到2020年,数据分析师的需求量将增长20%.就算你不是数据分析师,但 ...
python是一种面向对象的高级语言_为什么入门大数据选择Python而不是Java?
马云说:"未来最大的资源就是数据,不参与大数据十年后一定会后悔."毕竟出自wuli马大大之口,今年二月份我开始了学习大数据的道路,直到现在对大数据的学习脉络和方法也渐渐清晰.今天我 ...
ccf 智能运维裴丹_裴丹：智能运维算法需要工业界
裴丹:智能运维算法需要工业界学术界密切合作实现技术突破 ■商灏清华的计算机系,国内一流,而其智能运维研究,据业内人士透露,近两年已超越美国同行,为世界最顶尖水平.本篇可能是国内财经媒体首次触及此类 ...
大数据数据科学家常用面试题_想要成为数据科学家，解决数据科学面试的简单指南...
大数据数据科学家常用面试题 Choose a job you love, and you will never have to work a day in your life. - Confucius ...

python大数据运维工程师待遇_什么是大数据运维工程师

python大数据运维工程师待遇_什么是大数据运维工程师相关推荐

最新文章

热门文章