关于大数据运维能力的一些思考
早在2011年的时候，收到一个任务，就是自研一套运维管理平台，当时基于硬件（CPU、内存、硬盘、网络）的开源运维平台业已成熟，但为什么要自研呢？
1、2010年前后已经开始了虚拟化的进程，只不过不像现在这么成熟这么多选择，当时的考虑更多的还是资源管理问题，虚拟化导致主机、虚拟机和资源之间出现了混搭状况，常用的开源运维平台已无法管理。
2、硬件设备和应用的关系随着虚拟机的出现，出现了多对多的访问关系，确定设备和应用的相互制约相互影响关系对构建快速响应机制极为重要。
3、硬件设备、应用和服务的关系，一般来说应用大于服务，服务可能是一个端口，也可能是一个或多个服务接口，虚拟化产生了分布式，分布式产生了多对多，多又对多的关系。
资源管理是运维管理的基础，为了解决上述问题，还特意看了一段时间ITIL（IT基础架构库），也做了好几版的资源管理设计文档，最后虽然不了了之，也算能够抛开繁琐的细节从总体上思考运维了。
基于运维基础做运维，通常会导致一叶障目不见泰山；脱离运维基础谈运维，会导致过度理想化，因为运维本身涉及到系统的方方面面，比如从技术上存在不同数据库、Hadoop、Redis、Kafka，没人能保证看懂所有技术，不过技术是讲分工的，每个人接触和运维一段时间，从架构角度、从运维角度去梳理各种KPI还是可行的；另一方面本人也算搞了三四年大数据了，对大数据的运维看在眼里痛在心中，有切肤之痛。
首先大数据平台的运维较以往的运维从技术上、难度上、复杂度上均提高了，这是不争事实。
其次大数据平台的运维手段还是停留在最传统的脚本角度，上百台主机即使有了一些自动化收集脚本，但整体上还处于手工作业阶段，三四个人投入运维，忙死忙活，不见成效。
再次对运维的认知上，还存在严重的不足，运维平台的建设不是为了增加运维人员的工作量，而是解放运维人员，把运维人员从繁琐的事务中解脱出来，处理更高级别和能力的事情，也可以在运维工作系统化过程中，提升自己的认知和技术能力。
最后，运维不仅仅是硬软件的监控，也包括运维工具选型，运维配套管理、运维交付物管理。运维工具选型当然重要，但却不是最重要的；尤其是配套管理，当然这里提到的更多的是数据仓库项目但也不全是，每种类型项目都需要元数据管理、主数据管理、数据质量管理、任务管理，而且更难的是把任务管理和配套管理整合在一起，这又是智能化运维管理的基石。
王老师的公众号为：追梦IT人
相关链接：
个人新书 《MySQL DBA工作笔记》
个人公众号：jianrong-notes
QQ群号：763628645
QQ群二维码如下，个人微信号：jeanron100, 添加请注明：姓名+地区+职位，否则不予通过
关于大数据运维能力的一些思考相关推荐
- 大数据运维实战第一课 大话 Hadoop 生态圈
你好,欢迎来到<大数据运维实战>专栏. 入行以来,我从事大数据运维也有十多年了,期间我做过系统运维.DBA,也做过大数据分析师,最后选择了大数据运维方向,曾设计并管理超过千台.PB 级的数 ...
- python大数据运维常用脚本_大数据岗位要求之大数据运维
继续介绍大数据系列岗位要求,大数据运维可能是"技术含量最高"的职位之一,这里说的大数据运维主要是指hadoop生态体系方面的运维,在一些小公司或者传统行业的大公司也会使用oracl ...
- 阿里巴巴云原生大数据运维平台 SREWorks 正式开源
简介:阿里巴巴云原生大数据运维平台 SREWorks,沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践,今天正式对外开源,秉承"数据化.智能化"运维思想,帮助运维行业更多的从 ...
- 大数据运维工作（Linux，OGG，链路监控，Hadoop运维等）
大数据运维工程师工作内容 Linux运维手册 1. 启动/关闭集群组件 1.1 负载均衡 1)Nginx 运维命令 Copy to clipboard cd /usr/nginx/sbin #进入 s ...
- 【大数据科普系列之二】大数据运维工程师
大数据系列岗位要求,大数据运维可能是"技术含量最高"的职位之一,这里说的大数据运维主要是指hadoop生态体系方面的运维,在一些小公司或者传统行业的大公司也会使用oracle.db ...
- python大数据运维工程师待遇_大数据运维工程师具体是做什么的？
大数据运维的工作职责 一.集群管理 大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka,Redis等大数据生态圈组建. 二.故障处理 1>.商用硬件使用故障是常态 ...
- 大数据运维学习成长路线
众所周知,云计算改变了整个传统IT产业的基础架构,而大数据则改变了IT业务模式.那么在云计算大数据时代,传统的Linux系统运维应该怎么顺应技术的发展呢?今天我们就来聊一聊大数据运维工程师. 1.运维 ...
- 大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器
说明:大数据时代,传统运维向大数据运维升级换代很常见,也是个不错的机会.如果想系统学习大数据运维,个人比较推荐通信巨头运维大咖的分享课程,主要是实战强.含金量高.专注度高,有6个专题+2个大型项目+腾 ...
- 大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？
本文转自https://blog.csdn.net/weixin_34318956/article/details/87302823 首先,工作本身没有好坏之分,只有门槛高低之别.大数据开发.大数据分 ...
最新文章
- 智能工厂的关键：基于机器学习的工业视觉
- 百练OJ：3865和2677：肿瘤检测
- 2019年4月8日 1021. Remove Outermost Parentheses
- ES6新特性之了解ES6以及其发展历史
- how is opportunity detail page display first item by default
- c++ 门面模式(Facade)
- Node — 第九天 （大事件项目接口实现三）
- 发动机压缩比怎么计算公式_怎么判断发动机有积碳，发动机积碳多的症状有哪些...
- pytorch初入门学习记录
- 远程会议总卡顿？8 个“小白”办法一看就会！
- OpenGIS--GDAL库学习笔记
- ArrayBlockingQueue源码分析
- 单片机重要组成部分还有什么，引脚封装分布知识讲解(一)
- ros 开源物体检测_开源机器人动力学仿真软件：V-REP简介
- 精密测量专题2--光栅基片预处理
- C++ 面向对象高级开发（侯捷）
- 苹果MAC电脑双系统教程——MAC安装Windows双系统教程
- 用递归及非递归方式实现树状结构的遍历函数
- 红海or蓝海？数据分析告诉你：在线教育的井喷与未来
- 10万亿同业存款免缴存准 全面降准将推迟