本文转载自公众号:InfoQ


随着业务监控建设不断完善,海量业务故障时产生成百上千条告警,如何智能定位故障根源、实时统计业务影响是现阶段运营面临的一个难题。Google 利用知识图谱优化了其搜索服务以来,知识图谱得到了迅速发展。无论是工业界还是学术界,都出现了各种各样的知识库。能否将知识图谱应用在故障定位领域?领域性知识图谱和通用性知识图谱有什么区别?构建领域性知识图谱是否有可供参考的经验分享?又有哪些前景和挑战?

为此,InfoQ 采访到了腾讯互娱技术运营部高级工程师刘伟,请他来谈谈知识图谱如何助力游戏故障定位。

InfoQ:介绍下您目前所做的研究?在故障定位方面,是什么机缘让您选择了知识图谱?

刘伟:我们现在所做的研究主要侧重于游戏故障定位相关的技术,涵盖以下三个方面:KPI 曲线异常检测、实时舆情故障分析及运维领域知识图谱构建。前面两方面的研究,是我们构建这个运维领域知识图谱的基础,有了前期游戏故障相关的数据,后续我们才能将知识抽象出来。

选择知识图谱用于故障定位,源于我们在游戏故障定位时,遇到的一些问题及用户需求的推动。首先故障定位是一个复杂的问题,需要综合多方面数据进行关联分析,并且需要融入运维专家的经验,而知识图谱在处理关系复杂性,对知识的可解释性方面具有优势。比方说,在发生一个游戏故障时,由于构建了游戏业务的图谱,各个模块之间存在关系,通过节点推导,很容易就找到真正发生问题的模块。

InfoQ:故障定位的知识图谱在腾讯怎么用?有什么收益?

刘伟:知识图谱是一个很火的概念,但我们构建的知识图谱并非通用性图谱,而是领域性图谱,专注于运维领域。故障定位是这个故障图谱具体的应用场景,将故障领域内的知识通过 CMDB 技术和一些机器学习的技术抽象化,构建成图谱。由于是知识的存储,因此构建完成的运维知识图谱,在数据赋能的情况下,可以解决游戏中复杂查询、风险预测、智能问答等很多场景需求。现阶段收益主要丰富用户查询结果,提高故障定位准确率。

InfoQ:谈谈您对知识图谱的理解?在应用知识图谱前,需要掌握哪些技术?

刘伟:知识图谱在学术界主要被定义为大规模语义网络,但在工业界,实际上可以理解为大数据环境下的知识工程,用于描述真实世界中的各种实体和概念,提供实体间的结构化关联关系。

知识图谱主要包括知识表示,知识获取和知识应用这三个部分。在应用图谱之前,对于知识表示技术和知识获取技术的掌握至关重要。知识表示技术主要是数据处理的粒度和层次,由于不同人对不同层次概念具有不同的认知,因而如何确认合理的数据层次和颗粒度面临着挑战。完全人工构建的层次概念到一定层次就会难以深入,具备一定的自动化表示能力才能继续推进。

现有自动化技术包括结合深度学习做信息抽取等。而知识获取技术主要是利用技术完成高质量的数据获取,也就是语料和知识的获取。尤其在领域性知识图谱中,知识质量的好坏决定着整个图谱的好坏。高质量的知识获取一般需要一定的人工干预,如何利用好人力资源并合理控制数据质量是其中的关键问题,结合众包技术做知识验证是目前较为常用的手段。

当然,知识图谱的建设永远不可能是完备的,后续在应用上可以根据实际的应用场景,不断优化和推理。

InfoQ:如何构建故障领域的知识图谱?有什么难点需要解决?

刘伟:我们构建的知识图谱是领域性知识图谱,领域性的知识图谱和通用性的知识图谱在构建上存在一些差别,通用性的知识图谱是高度自动化的,而领域性知识图谱更需要结合一定的专家概念。在构建领域性知识图谱时,我们结合运营环境中的一些基础建设来确定知识的层次和颗粒度,比如 CMDB、应用配置管理系统等,这些系统内具备友好的结构化数据。同时,利用机器学习的方法来自动化地改进层次关系。然后,我们结合运维专家的经验,对于运维数据不断进行筛选和知识验证,修正和优化需要存储的知识。例如,单业务掉线且目标机房有网络波动,从设备信息上有关联,但从专家知识可以得知,网络波动一般会影响多个业务,如果只有这个业务掉线,则单地区的网络问题不是该业务掉线的原因,不存在关联。结合物理设备信息和专家逻辑信息,我们最终构建了某业务为核心的故障知识图谱。部分图谱的内容如下图所示。

目前存在的难点依然是很难获取到高质量的运维数据和相关语料,并且高度依赖专家知识的领域性知识图谱虽然质量较好,但后续的大规模扩展上也较为困难。

InfoQ:构建故障领域知识图谱过程中,踩过坑吗?有哪些经验可以分享?

刘伟:在构建这个领域性知识图谱中,我们实际上也遇到了不少困难。在最开始构建中,我们期望能像构建一个通用性知识图谱一样,利用各种技术基本上自动化地从大规模数据中抽取实体和关系。但很快发现我们实际上并没有这样的大规模运维语料。因此我们渐渐考虑从具体场景入手逐步扩展:我们先从之前做故障定位的效果中看看哪些场景做的不好并且可以通过知识图谱来实现。然后结合目前运维现有结构化数据,我们不断细化数据的层次关系,这里我们也遇到了一个非常实际的问题,如多少程度的细化才能使整个图谱变得完备,这里的解决方案我们依然是依据场景,得出能解决问题的最粗粒度,然后根据不同的场景再不断深入,花费了很多力气来设计整个领域图谱的模式,这对后续专家知识的融合和整个图谱构建来说,是具有好处的。

InfoQ:据了解知识图谱在搜索领域应用的很广泛,那么,知识图谱在故障领域都有哪些应用?和搜索领域有什么区别?

刘伟:知识图谱在搜索领域主要为丰富查询结果,展现给用户真正想要的东西。把网页搜索升级为语义搜索。现阶段我们构建的图谱聚焦故障定位场景,主要利用知识图谱辅助决策并使故障定位结果的具备可解释性。区别主要在于搜索领域主要是通用性知识图谱,而我们故障领域主要侧重于领域性知识图谱。相较而言,范围较窄、程度较深、依赖专家知识更多。

InfoQ:知识图谱是实现 AIOps 的必经之路吗?

刘伟:这个问题挺难回答,谈下个人的一点看法。对 AIOps(智能运维)我们先设想下对它的预期,理想化是它可以做运维所有的事情,例如发布变更、业务巡检、故障处理、对外沟通等。做这些事情的前提,需要 AI 具备运维的背景知识,让 AI 像人一样思考并具备推理能力。因此知识图谱的引入正是把 AIOps 变成一个具有运维知识的 AI,知识图谱结合大数据下的机器学习,不断完善知识图谱,最终成为运维大脑。套用业界的一个观点,机器学习让 AI 更聪明,而知识图谱让 AI 更有学识。无疑运维人员是聪明的,而且各方面技术均涉及,是博学多才的杂家,利用领域性知识图谱,对于专家知识进行沉淀和存储,长远来看十分具有价值,可以说知识图谱是实现 AIOps 的关键技术之一。

InfoQ:知识图谱在故障定位方面的前景和挑战?

刘伟:利用大数据 + 算法可以让 AI 具备感知的能力,在处理图像、语音、文字方面有非常好的效果,但对于复杂场景下的故障定位,则需要 AI 具备先验知识,有一定认知能力,所以我认为知识图谱的空间很大。知识图谱技术方兴未艾,在运维领域尚没有很好的参考案例,也没有很好的语料知识,因此有很长的路要走,希望更多的人加入,大家结伴而行。

作者简介:

刘伟,10 年运维领域工作经验。2011 年加入腾讯,高级工程师,主要负责腾讯自研游戏运维及系统平台建设,主导开发腾讯游戏故障智能定位平台、实时游戏舆情监控系统,目前专注于 AIOps、运维大数据分析等智能运维领域工作。即将在 2018 CNUTCon 全球运维技术大会上分享《智能运维助力游戏故障定位》。



OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

腾讯互娱刘伟 | 知识图谱在运维中的应用相关推荐

  1. 腾讯互娱技术总监张正:《天涯明月刀》后台技术创新

    9月23日,首届"梦想·匠心"腾讯游戏开发者大会于深圳举行,在技术分论坛上,腾讯互动娱乐<天涯明月刀>项目技术总监张正分享了<天涯明月刀>的后台技术创新.拥 ...

  2. 【大咖有约】腾讯互娱康中良:游戏云存储-TRedis高性能缓存及持久化

    腾讯互娱高级DBA康中良先生将作为DTCC 2016中国数据库技术大会特邀嘉宾出席.并将于5月12日大会"NoSQL技术实践"专场分享题为<游戏云存储-TRedis高性能缓存 ...

  3. 互动娱乐成互联网新战场 腾讯互娱走向前台 阿里小米忙布局

    行业嗅觉敏锐的人或许已经发现,近段时间有关互联网巨头布局游戏.文化等产业的消息越来越多.腾讯游戏官方微博于18日透露,将在4月举办UP2014腾讯互动娱乐年度发布会,腾讯互娱潜心布局十年将正式从幕后走 ...

  4. 知识图谱在互联网金融中的应用

    http://www.infoq.com/cn/articles/Application-of-Knowledge-Graph 知识图谱 (Knowledge Graph) 是当前的研究热点.自从20 ...

  5. 知识图谱在金融领域中的应用

    知识图谱现在已经成为各个企业中不可或缺的一部分 导读 知识图谱 (Knowledge Graph) 是当前的研究热点.自从2012年Google推出自己第一版知识图谱以来,它在学术界和工业界掀起了一股 ...

  6. 腾讯海量存储与CDN的自动化运维

    9月14-15日,GOPS全球运维大会上海站圆满举行,为期两天的运维盛宴,为各位运维人带来了相互交流和学习的绝佳平台,来自腾讯技术工程事业群(TEG)架构平台部的裴泽良给大家带来了「腾讯海量存储与CD ...

  7. 腾讯AI Lab斩获知识图谱顶级赛事KBP 2017世界冠军

    欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 作者:腾讯AI实验室 谢阅读腾讯AI Lab微信号文章,恭喜知识图谱团队首次出战KBP大赛就获得实体发现与链接任务三语总分第一名好成绩! 美国 ...

  8. 世界冠军 | 腾讯AI Lab斩获知识图谱顶级赛事KBP 2017世界冠军

    感谢阅读腾讯AI Lab微信号第14篇文章,恭喜知识图谱团队首次出战KBP大赛就获得实体发现与链接任务三语总分第一名好成绩! 美国国家标准与技术研究院(NIST)主办的2017年国际知识图谱构建大赛( ...

  9. 腾讯互娱开源分布式开发框架 Pebble

    作者:韩伟 构建游戏世界的Pebble 愿景:出色的游戏服务器端底层框架 现代游戏项目中,为了让更多的玩家能在一起玩,游戏服务器所需要承载的在线玩家数量越来越多.同时为了让游戏更好玩,越来越多复杂的业 ...

  10. 白雪 | NLP加持知识图谱在金融事件挖掘中的应用

    本文转载自公众号:阡寻科技. 9月15日讯,涵盖金融科技.人工智能及区块链领域的2018恒生技术开放日于今日开幕,阡寻科技联席CEO.复旦大学人工智能方向博士白雪受邀出席本次大会,分享了金融领域事件特 ...

最新文章

  1. shell函数的返回值不能大于255的问题
  2. 项目管理中常用到的简便工具
  3. 计算机信息处理教案,冀教版七年级信息技术第二课计算机--信息处理工具 教案...
  4. 入门代码教程第六节 如何:使用客户端
  5. 老李推荐: 第3章2节《MonkeyRunner源码剖析》脚本编写示例: MonkeyDevice API使用示例 1...
  6. Win10+Python3.6配置Spark创建分布式爬虫
  7. libtoolize: error: Please install GNU M4, or 'export M4=/path/to/gnu/m4'
  8. 数据库关闭的四种方式
  9. 兄弟们,以后不能愉快的抽烟
  10. 你知道有哪些超级好用的网盘存储吗?
  11. Win10环境下caffe安装与编译
  12. 什么表单设计工具能快速提升办公效率?
  13. go中mgo操作数据库的一些示例
  14. 首家完成并购并进行重新备案公示的企业征信牌照公司-湖南省征信
  15. initrd和initramfs的区别
  16. c++中的sort函数
  17. 谷歌账号被停用应该用什么方法进行找回(2022最新)
  18. 【java毕业设计】基于Spring Boot+mysql的线上教学平台系统设计与实现(程序源码)-线上教学平台
  19. 武铁机械电子工程_机械电子工程
  20. 常数和基本初等函数的导数

热门文章

  1. asan c/c++内存检测
  2. Linux命令之大文件分割
  3. 微波射频学习笔记9--------品质因数Q值的意义
  4. python绘画海贼王_Python入门之生成海贼王云图
  5. vue 页脚_前端必懂之Sticky Footer(粘性页脚)
  6. 未能联接game center服务器,game center连接不成功怎么办 有哪些修复步骤 - 驱动管家...
  7. backdrop-filter filter
  8. UnityShder法线贴图
  9. 论文分享(一) CVPR 2018 Defense against Universal Adversarial Perturbations
  10. oracle热备机制,Oracle的热备