python实时读取日志_paramiko使用tail实时获取服务器的日志输出详解
基本思路
现在有这么一个需求需要实现自动化:需要实时获取服务器cpu,gpu温度以及传感器信息上报情况,对高低温环境下对于设备运行状态的影响进行测试。基本思路为利用paramiko ssh到服务器上,起一个线程用tail -f命令实时获取日志输出,起另外一个线程用‘cat /sys/class/thermal/thermal_zone0/temp'命令定时获取cpu,gpu温度。
代码
def get_report_info_perid(self, cmd, diff_time, thre_time):
# 发送要执行的命令
pre_time_stamp = [0] * 4
self._channel.send(cmd + '\r')
# 回显很长的命令可能执行较久,通过循环分批次取回回显
time_stamp_arr = []
index = [0] * 4
current_line = b''
line_counter = 0
line_feed_byte = '\n'.encode(self.encoding)
while true:
buffer = self._channel.recv(1)
if len(buffer) == 0:
logger.info('end______________')
break
current_line += buffer
if buffer == line_feed_byte:
line = current_line.decode(self.encoding)
logger.debug('shell显示:%s'%line)
if not line.startswith(self.rq):
line_counter += 1
current_line = b''
continue
col = self.check_type(line)
time_stamp = int(time.mktime(time.strptime(' '.join([line[:8], line[9:17]]), "%y%m%d %h:%m:%s")))
time_stamp_dec = line[18: 21] # 精确到毫秒
time_stamp = time_stamp * 1000 + int(time_stamp_dec)
logger.info('%s:%s' % (senior_name[col], time_stamp))
self.write_xl(index[col] + 1, col, time_stamp)
index[col] += 1
if pre_time_stamp[col] == 0:
pre_time_stamp[col] = time_stamp
else:
if abs((time_stamp - pre_time_stamp[col]) - diff_time[col]) > thre_time[col]:
logger.error(
'两帧数据间隔为{}ms,时间戳分别为:({},{}),行号:{}'.format(time_stamp - pre_time_stamp[col], time_stamp, pre_time_stamp[col],
index[col]))
pre_time_stamp[col] = time_stamp
line_counter += 1
current_line = b''
def get_temp_info(self, col, max_number):
index = 0
cpu_arr, gpu_arr = [], []
while true:
cpu_temp, gpu_temp = self.get_cpu_gpu_temp()
logger.info('cpu_temp:%s, gpu_temp:%s' % (cpu_temp, gpu_temp))
cpu_arr.append(cpu_temp)
gpu_arr.append(gpu_temp)
self.write_xl(index + 1, col, cpu_temp)
self.write_xl(index + 1, col + 1, cpu_temp)
time.sleep(60)
index += 1
if max_number == index:
break
return cpu_arr, gpu_arr
遇到问题
1.问题1
一开始的cmd命令为 tail -f log.txt | grep -ae “a|b”
结果出现一个问题,在代码运行几分钟之后,就获取不到数据了
一开始以为是paramiko的问题,会在一定时间之后自动关闭client,但是经过调试之后发现是阻塞在_channel.recv,一直收不到服务端的数据导致。
经过百度之后发现由于linux的缓冲机制影响导致tail -f 结合管道|的时候会输出延迟
缓冲是一种有效提高io效率的方法,把频繁的读写请求积累到一定程度后再一次性的与io设备交互操作。
io缓冲有3种,无缓冲,行缓冲,和全缓冲。
无缓冲,就是不使用缓冲机制。面向字节的设备?(stderr)
行缓冲,缓冲,直到遇到换行符。一般用于终端设备。
全缓冲,缓冲,直到buffer满。一般用于块设备。
在终端窗口中执行tail命令,是面向终端设备的,会使用行缓冲,所以日志中每写入一行,立刻就会输出。
当使用管道时,会变为使用全缓冲,这样一来,就要等到日志中写入的字节数填满buffer后才会输出。
解决方法:
把tail的标准输出重定向到标准错误上,并把标准错误也给管道。
因为stderr是无缓冲的。
例如 tail -f >&2 | grep
或者直接去掉管道
2.问题2
按照问题一的结论,我去掉了命令中的管道,直接使用 tail -f log.txt命令,将过滤放到check_type函数中进行,发现运行几分钟之后获取不到数据的情况并没有解决。于是继续定位。最后经过一番挫折之后发现是使用的tail -f命令有问题
tail -f
等同于–follow=descriptor,根据文件描述符进行追踪,当文件改名或被删除,追踪停止
tail -f
等同于–follow=name --retry,根据文件名进行追踪,并保持重试,即该文件被删除或改名后,如果再次创建相同的文件名,会继续追踪
log.txt文件在程序运行过程中被修改了文件描述符从而导致tail -f不继续跟踪。修改为tail -f后问题解决
到此这篇关于paramiko使用tail实时获取服务器的日志输出的文章就介绍到这了,更多相关paramiko用tail实时获取服务器日志输出内容请搜索萬仟网以前的文章或继续浏览下面的相关文章希望大家以后多多支持萬仟网!
如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!
python实时读取日志_paramiko使用tail实时获取服务器的日志输出详解相关推荐
- [Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- [Python从零到壹] 九.网络爬虫之Selenium基础技术万字详解(定位元素、常用方法、键盘鼠标操作)
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- [Python图像识别] 五十.Keras构建AlexNet和CNN实现自定义数据集分类详解
该系列文章是讲解Python OpenCV图像处理知识,前期主要讲解图像入门.OpenCV基础用法,中期讲解图像处理的各种算法,包括图像锐化算子.图像增强技术.图像分割等,后期结合深度学习研究图像识别 ...
- python 文件读写with open模式r,r+ w,w+ a,a+区别详解
python 文件读写with open模式r,r+ w,w+ a,a+区别详解 python中的 with open主要要来进行文件读写的操作 在 Python 中使用文件的关键函数是 open() ...
- Python print函数及format()格式化输出详解
今天继续给大家介绍Python相关知识,本文主要内容是Python print函数及format()格式化输出详解. 一.print()函数基本使用 print()函数是Python中用于向控制台输出 ...
- python自动读取短信_自动化测试-自动获取手机短信验证码
最近在做生产环境自动化测试,碰到一个难题就是短信验证码的获取,生产环境短信验证码是真实的,不能采用测试环境将短信验证码写成固定的方法解决,我的思路是:做一个apk小程序,将手机上的短信验证码实时读取出 ...
- 实时监控、直播流、流媒体、视频网站开发方案流媒体服务器搭建及配置详解:使用nginx搭建rtmp直播、rtmp点播、,hls直播服务配置详解
注意:这里不会讲到nginx流媒体模块如何安装的问题,只研究rtmp,hls直播和录制相关的nginx服务器配置文件的详细用法和说明.可以对照这些命令详解配置nginx -rtmp服务 一.nginx ...
- python获取mp3音频数据_详解python进行mp3格式判断 python怎么读取mp3文件
python中哪个库有em算法 EM算法初稿2016-4-28 初始化三个一维的高斯分布 from numpy import * import numpy as np import matplotli ...
- python从date目录导入数据集_PyTorch加载自己的数据集实例详解
数据预处理在解决深度学习问题的过程中,往往需要花费大量的时间和精力. 数据处理的质量对训练神经网络来说十分重要,良好的数据处理不仅会加速模型训练, 更会提高模型性能.为解决这一问题,PyTorch提供 ...
最新文章
- 进化算法_遗传算法相关资料
- IJCAI 2018所有奖项出炉:AlphaGo获奖,中国人论文占46%,华人一作近2/3
- [MySQL FAQ]系列 -- 快速还原MyISAM表索引
- P1829 [国家集训队]Crash的数字表格 / JZPTAB
- EXC_BAD_ACCESS
- windows 8.1 IE11 和 windows 10 Edge IE11 FlashPlayer 的安装与卸载
- 天正多条线段长度lisp下载_四年级数学上册基础题过关检测+12套思维题,下载给孩子测试!【有电子版】...
- .net winform 的 OnKeyDown 与 方向键
- MATLAB中的视角处理
- 全国大学生电子设计竞赛综合测评硬件调试经验
- 浅谈Attention机制
- simi.city forum.php,simicitybuildit欧米伽建筑代号什么意思
- 笔记本电脑什么牌子好 世界笔记本电脑排名
- 蓝桥杯 青少年创意编程大赛 scratch组 (三)
- 微信公众号配置测试账号获取code
- 变电站气象站(电力微气象监测站)是什么?
- 3-1 改变色度空间—OpenCV-Python教程翻译
- c++定义虚构造_在定义的系统中发现虚构的设计
- 探讨网站推广方式之论坛推广 [
- 网络钢琴课内容建议征集