数据、算法、场景:工程化的“三驾马车”
作者:陆兴海 彭华盛 编著
来源:大数据DT(ID:hzdashuju)
人们对新事物的认知过程总是螺旋式迭代演进的,对于智能运维也是如此,智能运维是运维发展的方向,而且是一个长期的过程—从经验主义到数据驱动,再回归到业务驱动的过程。
从2016年对于Gartner的概念的理解,到之后每一年不断的探索与实践,到2020年,在笔者参加的智能运维国家标准编写组会议上,行业内达成了高度的、更加面向现实的共识:以数据为基础、以场景为导向、以算法为支撑,如图2-1所示。
▲图2-1 行业对智能运维发展演进的理解
智能运维一定来源于非常好的数据基础,同时,如果没有明确的业务场景,或者需求,或者功能方面的落脚点,所谓的智能化就是为了AI而AI,也没有意义。工程化算法是要拟合数据的,根据数据和场景需求才能选择或研发合适的算法。只有具备上述三个条件,才能真正形成一个工程化落地的智能运维,如图2-2所示。
▲图2-2 “三架马车”工程化落地的智能运维
需要着重提及的是,以往很多用户忽略了作为智能业务运维“基石”的运维数据的重要性。
为切实落地企业的智能业务运维规划,一方面要强调运维数据的基础作用,另一方面要形成运维数据治理与应用的全局体系,围绕规划、系统与实施三个核心阶段工作,面向运维数据的全生命周期与业务导向结果,从数据的整体规划、运维数据源、数据采集、数据的计算与处理、指标管理体系的规划与实施、专业运维数据库的建立、数据的典型应用场景等多角度进行思考。
但需要正视的是我们对运维数据的认识及应用还处于皮毛阶段,虽有理念但缺乏必要的、可执行的方法。随着运维数据平台的建设,将极有可能出现当前大数据领域出现的数据孤岛、数据不可用、数据质量不高、融合应用难、有数据不会用等诸多问题。上述问题,在当前运维领域资源投入不足时显得尤其重要。
借鉴大数据领域数据治理的经验,反思运维数据平台建设应该关注的问题,减少不必要的坑,做好运维数据治理,让运维数据更好用、用得更好,完善运维数字化工作空间。
在运维领域,运维数据分布在大量的机器、软件和“监管控析”工具上,除了上面大数据领域提到的数据孤岛、质量不高、数据不可知、数据服务不够的痛点外,运维数据还有以下突出痛点:
一、资源投入不够。
从组织的定位看,运维属于企业后台中的后台部门,所做的事甚至都很难让IT条线的产品、项目、开发明白系统架构越来越复杂、迭代频率越来越高、外部环境越来越严峻等需要持续性的运维投入,更不要说让IT条线以外的部门理解你在做的事,在运维的资源投入通常是不够的。
所以,运维数据体系建设要强调投入产出比,在有限的资源投入下,收获更多的数据价值。
二、数据标准化比例低。
运维数据主要包括监控、日志、性能、配置、流程、应用运行数据。除了统一监控报警、配置、机器日志、ITIL里的几大流程的数据格式有相关标准,其他数据存在格式众多、非结构化、实时性要求高、海量数据、采集方式复杂等特点,可以说运维源数据天生就是非标准的,要在“资源投入不够”的背景下,采用业务大数据的运作模式比较困难。
三、缺乏成熟的方法。
虽然行业也提出了ITOA、DataOps、AIOps等运维数据分析应用的思路,但是缺少一些成熟、全面的数据建模、分析、应用的方法,主流的运维数据方案目前主要围绕监控和应急领域探索。
四、缺乏人才。
如“资源投入不够”这点提到的背景,因为投入不足,很难吸引到足够的人才投入到运维数据分析领域。
通俗一点来说,就是运维数据分析要借鉴当前传统大数据领域数据治理的经验,提高投入产出比,少走弯路,少跳坑。
本文摘编自《运维数据治理:构筑智能运维的基石》(ISBN:978-7-111-70475-1),经出版方授权发布。
延伸阅读《运维数据治理》
点击上图了解及购买
转载请联系微信:DoctorData
推荐语:一本书讲透“运维数据治理”系统地介绍了数据治理的知识体系和底层逻辑,还提炼了智能数据运维体系建设的实践路径。
关于作者:陆兴海,云智慧(北京)科技有限公司副总裁,目前负责咨询业务。具备十多年互联网、信息化以及运维相关领域的产品规划、设计与研发经验,是国内IT相关服务领域最早的实践者和专家之一,同时也是智能运维国标编写组核心成员。
彭华盛,超过10年的金融领域运维工作,期间负责参与金融企业运维组织、流程、工具的建设,包括重大业务系统项目与数据中心工程性项目的实施、数据中心标准化工作流程构建、运维工具体系的规划与研发、数字化转型研究与实施等相关工作,对金融领域的运维有较全面的理解,探索推进数字化技术与运营转型双轮驱动的协同模式。
更多精彩回顾
书讯 |8月书讯(上) | 重磅新书来袭!书讯 |8月书讯(下) | 重磅新书来袭!资讯 |《Java核心技术》基于Java 17全面升级!干货 |再见了Java8,Java17:我要取代你干货 | 李三红:Java版本升级需要纳入到可持续性维度
干货 |市面上的大前端岗位到底是做什么的?
点击阅读全文购买
数据、算法、场景:工程化的“三驾马车”相关推荐
- 苏宁大数据怎么运营_苏宁云商“三驾马车”:大数据、大物流、大金融并行
(赢商网1月15日报道)随着"未来的零售企业是线上线下的完美融合"这一趋势的走红,2013年年初苏宁电器决定更名为"苏宁云商",而在更名之后,公司的转型步伐一直 ...
- 独家:沪上三大律师解读“三驾马车”下的数据合规与上海数商体系创新
引 言 当下,数据已是继技术.劳动力.资本.土地之外的"第五要素".去年,美国数据交易量高达2700亿美元,我国则在545亿人民币左右.但不可忽视,全球20%的数据量由中国创造,数 ...
- 【历史上的今天】12 月 5 日:分布式系统的“三驾马车”;世界上第一篇计算机科学博士论文;IBM 推出“深蓝”计算机
整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来. 今天是 2021 年 12 月 5 日,在 120 年前的今天,娱乐业巨头沃尔特·迪斯尼(Walt Disney)诞生:他 ...
- “三驾马车”拉动大数据征信 行业格局突变
2016年,科技领域里的谷歌机器人4:1战胜李世石,商业领域里阿里巴巴超越沃尔玛,可以算是人类历史上划时代的两件大事.大数据.云计算正推动互联网与传统行业的结合向纵深发展. 所有互联网影响比较大的行业 ...
- 谷歌大数据的三驾马车
本文介绍大数据分析的鼻祖型论文"谷歌三驾马车".这包括处理分布式数据的mapreduce.存储大量数据的gfs以及列式存储bigtable,当前流行的大数据技术都是在谷歌发表了这三 ...
- 疫情期各类数据图表背后的七个方法、三驾马车与一个工具
疫(zhái)情(jiā)期间,数据分析领域涌现出很多民间高手,数据玩家各显神通,或通过仿真程序调参,模拟病毒传播,强调不要出门对控制传播的重要贡献:或用自然语言处理工具+词云,直观展示每日新闻热词的 ...
- 让数据使用自由而安全,安华金和“三驾马车”驱动数据安全治理
科技云报道原创. 由中国网络安全产业联盟(CCIA).科技云报道共同主办的"解码2022中国网安强星"活动正式拉开帷幕.本次活动以"网安力量 照见未来"为主题, ...
- 全面了解大数据“三驾马车”的开源实现
Google 大数据"三驾马车"的第一驾是 GFS(Google 文件系统),而 Hadoop 的第一个产品是 HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存 ...
- 大数据三驾马车与hadoop起源
背景介绍 Google成立于1998年是全球最大的搜索引擎公司,主要业务为搜索.云计算.广告技术等,主要利润来自于广告等服务.在21世纪初互联网刚刚兴起,每个企业保存和生产的数据量并不大,已有的技术对 ...
最新文章
- 苹果连接电脑只能充电_苹果 iPhone 12 曝充电 Bug:多口充电器无一幸免 只能用单独充电头 - 手机 - IT商业网...
- Apache常用配置
- RocketMQ与Kafka对比(18项差异)
- ListCtrl::DeleteColumn的一点小经验
- jaxb-xjc.jar_使用xjc在一秒钟内生成您的JAXB类
- 为什么借助开源学习是最有效的?
- SQL Server -- SQL NULL值,ISNull(),Oracal NVL(),MYSQL IFNULL(),COALESCE()
- snmp基本介绍--理解OID/MIB/snmp报文类型/snmp版本
- is present but cannot be translated into a null value due to being declared as a primitive type
- Hibernate保存对象出现 org.hibernate.NonUniqueObjectExce
- codeforces 69A. Young Physicist
- iOS常用功能 - 根据链接生成二维码图片
- 20160620 盘后复盘
- 最小二乘法求模型最优解
- 牛逼!百度大佬深度分享AI助力RNA二级结构预测!
- 我的全栈之路-C语言基础之C语言概述与开发环境搭建
- 小程序UI组件 Vant Weapp Popup弹出层和Picker选择器 组合使用按钮被遮盖恢复不了的问题
- Matlab图标如何去掉图形框右侧和上侧的刻度线(也适用全框图)
- linux修改开机启动,Linux修改开机启动logo
- 曾经用过的“转正申请书”,给用得着的朋友参考