Structured Comparative Analysis of Systems Logs to Diagnose Performance Problems
对系统日志进行比较分析诊断性能问题
- 背景
- 贡献
- 实验
- 主要算法
背景
在分布式系统的环境下，出现性能问题人力是很难trace到root cause的，主要是因为没有人能够完全了解系统的各个组件。大家都是各司其职，运行其中一部分。导致一旦分布式系统一旦出现问题很难很快就能找到root cause并解决。
贡献
提出了一个通过比较不同性能的分布式系统日志来诊断性能问题的算法 DISTALYZER ，作者实现的代码。很大意义上缩小了出问题的可能性空间。让开发在不需要整个系统的知识上可以更好的定位出来问题。
实验
本文主要在三个大型分布系统上进行了一系列的实验，分别是Triton Sort, HBase, BitTorrent，一共找出来并解决了5个性能问题。
主要算法
主要分为四个部分，分别是
Feature Creation
将数据预处理为Event log和Message log
Event Log: task 运行的时间戳，表示task运行了多长时间
Message Log: task 运行过程中的变量值，表示task运行过程中变量值的变化
提取并构造出如下的数据结构
Predictive Modeling
主要是通过Welch’s t-test来判断Event log和Message log中变量是否是显著性差异的，并返回一系列所有统计量相加和降序排列的变量列表。Descriptive Modeling
主要是通过DNs来学习变量间的依赖关系，并可视化。Attention Focusing
主要是通过打分函数，对认为更大可能是root cause的进行标注。
打分函数如下
Structured Comparative Analysis of Systems Logs to Diagnose Performance Problems相关推荐
- A Comparative Analysis of Deep Learning Approaches for Network Intrusion Detection Systems (N-IDSs)
论文阅读记录 数据类型 在预定义时间窗口中,按照传输控制协议/互联网协议(TCP/IP)数据包将网络流量数据建模成时间序列数据. 数据:KDDCup-99/ NSL-KDD/ UNSW-NB15 NI ...
- Analysis and Simulink Modeling of the Performance of Dynamic Web Server Using JSP and PHP 外文翻译
外文原文: https://download.csdn.net/download/one111a/12302215 译文: 使用JSP和PHP对动态Web服务器的性能进行分析和Simulink建模 F ...
- 【Oracle11g官方文档阅读】DBA Essentials-上篇
Oracle Database Online Documentation 11g Release 2 (11.2) DBA Essentials Manage all aspects of your ...
- Using the New MySQL Query Profiler
原文来自: http://dev.mysql.com/tech-resources/articles/using-new-query-profiler.html One of the great th ...
- 数据分析 绩效_如何在绩效改善中使用数据分析
数据分析 绩效 Imagine you need to do a bank transaction, but the website is so slow. The page takes so muc ...
- Lecture 1:Introduction to Systems Analysis and Design
Lecture 1 PartA1: Introduction to Systems Analysis and Design 重点: PartA1: information technology inf ...
- Hi-C data analysis tools and papers
Hi-C data analysis tools and papers 全文链接如下: https://github.com/mdozmorov/HiC_tools Tools are sorted ...
- 《A Berkeley View of systems challenges for AI》总结
一. 本文之前的工作 a berkeley view of 系列共出现过2篇,除了本文要总结的这篇,还有2009年发布的另一篇<Above the Clouds:A Berkeley View ...
- 计算机系统与环境,COMPUTERS ENVIRONMENT AND URBAN SYSTEMS《计算机、环境与城市系统》SSCI论文投稿_万维书刊网...
万维提示: 1.投稿方式:在线投稿. 2.期刊网址: https://www.journals.elsevier.com/computers-environment-and-urban-systems ...
最新文章
- 最强大的GNN出现了！
- 例说DNS递归/迭代名称解析原理
- [Redis]Redis章2 Redis 持久化
- 关于使用旋转四元数绕轴旋转θ角度时，使用参数是θ/2的理解
- Docker 内程序时间设置，很重要
- mysql 及时点还原_mysqlbinglog基于即时点还原
- linux内核驱动工作队列用法
- Mosquito的优化——订阅树优化（八）
- unity3d Aniso Level 摄像机近地面清楚，远地面模糊
- matlab gui 表面粗糙度 算法,石墨加工表面粗糙度图像评定办法
- sql 时态表的意义_在SQL Server 2016中拉伸时态历史记录表
- Visual Studio 2008 安装失败(“Web 创作组件”)安装失败
- 微信小程序上传代码， Error: 分包大小超过限制,main package source size 4732KB exceed max limit 2MB
- 【图像处理】换脸技术哪家强？Python来挑战，一键换脸，毫无破绽~
- Python报错unindent does not match any outer indentation level如何解决？
- IE浏览器在地址栏针对param直接输入中文导致乱码的解决方案
- c语言的%的转义吗,%20转义(C语言转义字符问题)
- css防止高度塌陷,css之高度塌陷及其解决方法
- 路由器桥接：老式路由器桥接隐藏网络并开启无线隐藏网络
- grub2命令 linux启动盘,Grub2 制作多系统U盘启动