如何利用ansible callback插件对执行结果进行解析
最近在写一个批量巡检工具,利用ansible将脚本推到各个机器上执行,然后将执行的结果以json格式返回来。
如下所示:
# ansible node2 -m script -a /root/python/health_check.py
node2 | SUCCESS => {"changed": true, "rc": 0, "stderr": "Shared connection to 192.168.244.20 closed.\r\n", "stdout": "{'cpu_iowait': '0.00', 'swap_out': 0, 'cpu_usr': '0.00', 'cpu_idle': '100.00', 'swap_total': '1999', 'swap_used': '78' , 'load_average_5': '0.11', 'mem_util': '92.0', 'uptime': '5', 'load_average_1': '0.03', 'cpu_sys': '0.00', 'mem_total': '475', 'swap_in': 0, 'load_average_15': '0.06', 'disk': ['Filesystem Size Used Avail Use% Mounted on\\n', '/dev/sda3 18G 8.6G 8.1G 52% /\\n', 'tmpfs 238M 0 238M 0% /dev/shm\\n', '/dev/sda1 190M 27M 154M 15% /boot\\n'], 'numa': '1'}\r\n", "stdout_lines": ["{'cpu_iowait': '0.00', 'swap_out': 0, 'cpu_usr': '0.00', 'cpu_idle': '100.00', 'swap_total': '1999', 'swap_used': '78', 'loa d_average_5': '0.11', 'mem_util': '92.0', 'uptime': '5', 'load_average_1': '0.03', 'cpu_sys': '0.00', 'mem_total': '475', 'swap_in': 0, 'load_average_15': '0.06', 'disk': ['Filesystem Size Used Avail Use% Mounted on\\n', '/dev/sda3 18G 8.6G 8.1G 52% /\\n', 'tmpfs 238M 0 238M 0% /dev/shm\\n', '/dev/sda1 190M 27M 154M 15% /boot\\n'], 'numa': '1'}" ] }
然后将结果重定向到一个文本文件中,再通过另外一个脚本,对该文本文件进行解析汇总,最后实现的结果如下:
ip uptime cpu_usr cpu_sys cpu_iowait cpu_idle load_average_1 load_average_5 ... 192.168.244.30 24 0 0 6 94 0.02 0.08 ... 192.168.244.20 24 0 0 0 100 0 0.01 ...
但总感觉这种方式有点low,对返回结果进行解析,这似乎是一个比较普遍的需求吧?
没道理,官方会对这种需求视而不见的,其实,官方提供了一个callback插件,来实现回调功能,里面定义了若干场景,譬如主机不可达,执行任务失败,执行任务成功等,分别对应不同的方法,这样就可以实现在不同的场景触发不同的操作,譬如,如果执行playbook失败了就发送邮件等,执行成功了将返回的结果保存到数据库中。
官方给了一个样例,具体可见:https://github.com/ansible/ansible/blob/devel/lib/ansible/plugins/callback/log_plays.py
基于上面这个样例,自己进行了定制性开发。本来想在callback插件中实现所有功能,但callback插件调试相当麻烦,不允许使用print函数,而且如果出现问题了,譬如列表下标越界,也只是在执行ansible时给出报错信息,并没有指出具体的报错行数。
最后,放弃了自己ALL IN ONE的想法,只是将返回的结果解析后保存到sqlite3数据库中,后续再基于数据库中的数据进行汇总。
代码如下:
from __future__ import (absolute_import, division, print_function) __metaclass__ = typeimport os import time import json import sqlite3 from ansible.module_utils._text import to_bytes from ansible.plugins.callback import CallbackBaseclass CallbackModule(CallbackBase):"""logs playbook results, per host, in /var/log/ansible/hosts"""CALLBACK_VERSION = 2.0CALLBACK_TYPE = 'notification'CALLBACK_NAME = 'performance_check'CALLBACK_NEEDS_WHITELIST = Falsedef __init__(self):super(CallbackModule, self).__init__()def runner_on_failed(self, host, res, ignore_errors=False):passdef runner_on_ok(self, host, res):performance_data=PerformanceData()create_table_sql = 'CREATE TABLE performance_data(ip varchar(20) primary key, uptime varchar(20),cpu_usr DECIMAL,cpu_sys DECI MAL, cpu_iowait DECIMAL,cpu_idle DECIMAL,load_average_1 DECIMAL,load_average_5 DECIMAL,load_average_15 DECIMAL, mem_total INTEGER,mem_util DECIMAL,swap_total INTEGER,swap_used INTEGER,swap_in INTEGER,swap_out INTEGER, numa TINYINT)' insert_sql = 'insert into performance_data values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)' insert_value = str_to_json(host,res)performance_data.create_table(create_table_sql)performance_data.insert_command(insert_sql,insert_value)performance_data.quit()def runner_on_skipped(self, host, item=None):#self.log(host, 'SKIPPED', '...')passdef runner_on_unreachable(self, host, res):#self.log(host, 'UNREACHABLE', res)passdef runner_on_async_failed(self, host, res, jid):#self.log(host, 'ASYNC_FAILED', res)passdef playbook_on_import_for_host(self, host, imported_file):passdef playbook_on_not_import_for_host(self, host, missing_file):passclass PerformanceData():def __init__(self):self.conn = sqlite3.connect("/tmp/data.db")self.cursor = self.conn.cursor()def create_table(self,create_table_sql):self.cursor.execute(create_table_sql)def insert_command(self,insert_sql,insert_value):self.cursor.execute(insert_sql,insert_value)def query(self,query_sql):self.cursor.execute(query_sql)results=self.cursor.fetchall()return resultsdef quit(self):self.conn.commit()self.conn.close()def str_to_json(host,res):result= res["stdout"].strip(" ").replace("'",'"').strip('\n').strip('"')results= '{"'+host+'":'+result+'}'result_with_host = json.loads(results)value=result_with_host[host]return (host,value['uptime'],float(value['cpu_usr']),float(value['cpu_sys']),float(value['cpu_iowait']),float(value['cpu_idle']), float(value['load_average_1']), float(value['load_average_5']), float(value['load_average_15 ']), int(value['mem_total']), float(value['mem_util']),int(value['swap_total']),int(value['swap_used']),int(value['swap_in' ]), int(value['swap_out']), int(value['numa']))
这里一并附上,上述解析文本的脚本,似乎更能实现我ALL IN ONE的想法,哈哈~
#coding: utf8 import re,json,sqlite3 def get_ip_success():with open(r'C:\Users\Administrator\Desktop\2.txt') as f:ip_unreachable = []ip_failed = []ip_success=[]line_num=0for line in f.readlines():if re.search('UNREACHABLE', line):ip=line.split()[0]ip_unreachable.append(ip)flag=0elif re.search('FAILED',line):ip = line.split()[0]ip_failed.append(ip)flag=0elif re.search('SUCCESS',line):ip = line.split()[0]flag=1line_num=1elif flag == 1 and line_num == 7:line= line.strip(" ").replace("'",'"').strip('\n').strip('"')stdout_lines= '{"'+ip+'":'+line+'}'stdout_lines_with_ip = json.loads(stdout_lines)ip_success.append(stdout_lines_with_ip)line_num =line_num + 1return ip_successdef os_status_generator(ip_success):for os_status in ip_success:for key,value in os_status.iteritems():yield (key,value['uptime'],float(value['cpu_usr']),float(value['cpu_sys']),float(value['cpu_iowait']),float(value['cpu_idle']), float(value['load_average_1']), float(value['load_average_5']), float(value['load_average_15']),int(value['mem_total']), float(value['mem_util']),int(value['swap_total']),int(value['swap_used']),int(value['swap_in']),int(value['swap_out']), int(value['numa']))class OsStatus():def __init__(self,ip_success):try:self.conn = sqlite3.connect(":memory:")self.cursor = self.conn.cursor()self.cursor.execute('''CREATE TABLE os_status(ip varchar(20) primary key, uptime varchar(20),cpu_usr DECIMAL,cpu_sys DECIMAL,cpu_iowait DECIMAL,cpu_idle DECIMAL,load_average_1 DECIMAL,load_average_5 DECIMAL,load_average_15 DECIMAL,mem_total INTEGER,mem_util DECIMAL,swap_total INTEGER,swap_used INTEGER,swap_in INTEGER,swap_out INTEGER,numa TINYINT)''')self.cursor.executemany("insert into os_status values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)",os_status_generator(ip_success) )except Exception as e:print e;def query(self,sql):self.cursor.execute(sql)results=self.cursor.fetchall()column_size=len(results[0])column_name= [column[0] for column in self.cursor.description]for i in range(column_size):print column_name[i].ljust(15),printfor each_result in results:for i in range(column_size):print str(each_result[i]).ljust(15),printdef quit(self):try:self.cursor.close()self.conn.close()except Exception as e:print e;ip_success=get_ip_success() os_status=OsStatus(ip_success) sql = "select * from os_status" os_status.query(sql)
最后,再提一下ansible中如何开启callback插件功能,默认是关闭的。
开启两个选项:
callback_plugins = /usr/share/ansible/plugins/callback bin_ansible_callbacks = True
这两个是必需的,另外一个选项是
callback_whitelist = performance_check
其中,performance_check对应的是上面callback插件中定义的“CALLBACK_NAME”,
另一个相关参数是“CALLBACK_NEEDS_WHITELIST”,如果设置为False,则无需设置callback_whitelist选项,反之,则必须在callback_whitelist选项中指定“CALLBACK_NAME”。
如何利用ansible callback插件对执行结果进行解析相关推荐
- 使用ansible kubectl插件连接kubernetes pod以及实现原理
ansible kubectl connection plugin ansible是目前业界非常火热的自动化运维工具.ansible可以通过ssh连接到目标机器上,从而完成指定的命令或者操作. 在ku ...
- python paramiko并发_使用Python paramiko模块利用多线程实现ssh并发执行操作
1.paramiko概述 ssh是一个协议,OpenSSH是其中一个开源实现,paramiko是Python的一个库,实现了SSHv2协议(底层使用cryptography). 有了Paramiko以 ...
- [系统安全] 九.Windows漏洞利用之MS08-067远程代码执行漏洞复现及深度防御
您可能之前看到过我写的类似文章,为什么还要重复撰写呢?只是想更好地帮助初学者了解病毒逆向分析和系统安全,更加成体系且不破坏之前的系列.因此,我重新开设了这个专栏,准备系统整理和深入学习系统安全.逆向分 ...
- Ansible批量在远程主机执行命令
Ansible直接执行远程命令,不用ssh登陆交互执行. 如下: ansible all -i 192.168.199.180, -m shell -a "ifconfig" -u ...
- 利用反射动态实例化类执行方法并传值
/// <summary> /// 利用反射动态实例化类执行方法并传值 /// </summary> /// <param ...
- 利用PDF.JS插件解决了本地pdf文件在线浏览问题(根据需要隐藏下载功能,只保留打印功能)
利用PDF.JS插件解决了本地pdf文件在线浏览问题(根据需要隐藏下载功能,只保留打印功能) 参考文章: (1)利用PDF.JS插件解决了本地pdf文件在线浏览问题(根据需要隐藏下载功能,只保留打印功 ...
- 并行算法:如何利用并行处理提高算法的执行效率?
时间复杂度是衡量算法执行效率的一种标准.但是,时间复杂度并不能跟性能划等号.在真实的软件开发中,即便在不降低时间复杂度的情况下,也可以通过一些优化手段,提升代码的执行效率.毕竟,对于实际的软件开发来说 ...
- 利用轻量级js插件Beer Slider实现新老图片的实时对比
因业务需求,需要在H5中实现场景20年的变化对比,最终找到了一款轻量级的js图片对比插件Beer Slider.它的基本目的是比较图像的两个版本,例如在两个不同时刻拍摄的相同对象,预编辑的照片及其处理 ...
- Python进程池apply_async的callback函数不执行的解决方案
最近在用multiprocessing.Pool的apply_async方法做多进程,在写示例的时候发现callback居然没有执行,遂记录原因如下. 目录 apply_async的func传入lam ...
- 5.Ansible中的任务执行控制
Ansible中的任务执行控制 实验环境 一.循环 1.循环 2.循环散列或字典列表 3.实验: 二.条件 1.条件判断 判断实验 2.多条条件组合 实验多条条件组合 测试题 三.触发器 1.触发器 ...
最新文章
- c# 字符串是否相等
- [导入]ASP.Net环境下使用Jmail组件发送邮件
- wpf控件设计时支持(3)
- pycharm显示全部数据_PyCharm第一次安装及使用教程
- fatal error: cuda_runtime.h: No such file or directory
- 大数据分析平台建模及建议
- Linux在线升级ruby
- QoS中拥塞避免机制详解——WRED技术详解
- 如何解决使用PCS7时报警无法确认的问题?
- C语言辅助学习系统(asp.net开发)
- SQL - 多表关联
- Latex插入文献--利用谷歌学术
- 双麦降噪远场 拾音模块 : AN-93
- 常用RGB颜色表 色值
- 二、stl ,模拟,贪心等 [Cloned] E - 贪心
- 三菱iQ-R系列PLC控制系统项目全套资料
- “智多星”智能手机销售网
- Dcloud安卓离线打包
- pythonista_Pythonista的假期愿望清单
- [LLVM教程]LLVM之第一个语言前端
热门文章
- paip.activex控件在WEB中使用流程与工具
- paip.提升用户体验---提示语
- Rust:mod、crate、super、self、pub use等模块系统用法梳理
- Julia : 在编程中的Unicode 字符
- CTP: 平昨仓与平今仓,log轻轻告诉你.......
- “云湖共生 • 数智未来”数据湖应用实践白皮书重磅发布
- CIO:权大、钱多、但难干 | 凌云时刻
- 谁说财务软件不能上纯公有云?
- 【元胞自动机】基于matlab激进策略元胞自动机三车道(不开放辅路,软件园影响)交通流模型【含Matlab源码 1297期】
- 【图像处理基础】基于matlab GUI图像处理(反色+亮度+二值化+空间肤色检测)【含Matlab源码 1008期】