统计ES性能的python脚本

思路：通过http请求获取es集群中某一index的索引docs数目变化来进行ES性能统计

import time
from datetime import datetime
import urllib2def get_docs(data_type, today):# curl '192.168.3.153:9200/_cat/indices/metadata-dis-2017.05.16-*-93001?v'url = 'http://192.168.3.153:9200/_cat/indices/%s-dis-%s-*' % (data_type, today)out = urllib2.urlopen(urllib2.Request(url))data = out.read()docs_cnt = 0for line in data.split('\n'):if line:docs_cnt += int(line.split()[5])return docs_cntdef main():today = datetime.now().strftime("%Y.%m.%d")init_data = {"event": 0, "metadata": 0}docs_cnt, docs_cnt2, total_speed = dict(init_data), dict(init_data), dict(init_data)data_types = docs_cnt.keys()cnt = 0sleepy_time = 20for data_type in data_types:try:got_doc_cnt = get_docs(data_type, today)except:got_doc_cnt = docs_cnt[data_type]docs_cnt[data_type] = got_doc_cntwhile True:time.sleep(sleepy_time)for data_type in data_types:try:got_doc_cnt = get_docs(data_type, today)except:got_doc_cnt = docs_cnt[data_type]docs_cnt2[data_type] = got_doc_cntcnt += 1for data_type in data_types:speed = (docs_cnt2[data_type]-docs_cnt[data_type])/(sleepy_time+0.0)total_speed[data_type] += speedprint "cnt=%d %s speed = %.1f total_speed=%.1f" % (cnt, data_type, speed, total_speed[data_type]/cnt)docs_cnt = dict(docs_cnt2)if __name__ == "__main__":main()

转载于:https://www.cnblogs.com/bonelee/p/6860144.html

统计ES性能的python脚本相关推荐

python统计行号_如何使用Python脚本分析CPU使用情况的？
用以分析Python中CPU使用情况.CPU分析是通过分析CPU执行代码的方式来测量代码的性能,以此找到代码中的不妥之处,然后处理它们. 接下来我们将看看如何跟踪Python脚本使用时CPU使用情况, ...
python脚本性能分析
在进行python开发时需要对python脚本的性能分析,以便对python脚本进行优化,下面使用cProfile和 pstats对python脚本性能分析. cProfile思路 1.使用cProf ...
杂谈 python脚本调用接口进行性能和稳定性测试（套路）
综合近来相关接口和性能相关的测试工作,今天突发"奇想",总结出一套自己适用的性能测试套路.草草记录想法如下: 性能测试=接口+多线程+服务器监控 +java熟悉(问题定位) 当然以 ...
Python 脚本：统计Kindle内电子书数量，并编号存储.txt文件
Python 脚本:统计Kindle内电子书数量,并编号存储.txt文件技术菜,乐于分享,觉得有用可以带回去 run 新手上路,大佬们见笑了闲言少叙,直接上代码 # -*- coding: utf ...
性能工具之 JMeter 使用 Python 脚本快速执行
文章目录一.前言二.预备知识 1.Python 基础知识 2.JMeter 基础知识三.Python 脚本 1.主要步骤 2.参考代码四.使用说明五.总结一.前言上篇文章性能工具之 J ...
python读取日志统计ip_使用python脚本实现统计日志文件中的ip访问次数
使用python脚本实现统计日志文件中的ip访问次数,注意此脚本只适用ip在每行开头的日志文件,需要的朋友可以参考下适用的日志格式: 106.45.185.214 - - [06/Aug/2014: ...
Nvidia GPU 入门教程之 03 在 GPU 上运行 Python 脚本,对比cpu与gpu性能，检测a100性能（教程含源码）
GPU 的内核比 CPU 多,因此在数据的并行计算方面,GPU 的性能比 CPU 好得多,尽管 GPU 的时钟速度较低,并且与 CPU 相比缺乏几个内核管理功能. 因此,在 GPU 上运行 pytho ...
【Python】如何在Excel中调用Python脚本，实现数据自动化处理
这次我们会介绍如何使用xlwings将Python和Excel两大数据工具进行集成,更便捷地处理日常工作. 说起Excel,那绝对是数据处理领域王者般的存在,尽管已经诞生三十多年了,现在全球仍有7.5 ...
30分钟3300%性能提升—python+memcached网页优化小记
前言本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个好方法:直接像某些php应用比如Discuz论坛那样,在生成的网页中打印出&quo ...

统计ES性能的python脚本

统计ES性能的python脚本相关推荐

最新文章

热门文章