SaltStack组件return和job cache以及salt-ssh
文章目录
- 1. 组件return
- 1.1 return流程
- 1.2 使用mysql作为return存储方式
- 1.3 部署mysql
- 1.4 配置minion
- 1.5 在Master上测试存储到mysql中
- 1.6 在数据库中查询验证
- 2. job cache
- 2.1 job cache流程
- 2.2 开启master端的master_job_cache
- 2.3 在数据库服务器中清空表内容
- 2.4 在master上再次测试能否存储至数据库
- 2.5 在数据库查询验证
- 2.6 job管理
- 3. salt-ssh介绍
- 3.1 它的特点
- 3.2 salt-ssh远程管理的方式
- 3.3 salt-ssh部署
- 3.3.1 通过使用用户名密码的SSH实现远程管理
- 3.3.2 通过salt-ssh初始化系统安装salt-minion
1. 组件return
return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序,它支持多种存储方式,比如用MySQL、MongoDB、Redis、Memcache等,通过return我们可以对SaltStack的每次操作进行记录,对以后日志审计提供了数据来源。目前官方已经支持30种return数据存储与接口,我们可以很方便的配置与使用它。当然也支持自己定义的return,自定义的return需由python来编写。在选择和配置好要使用的return后,只需在salt命令后面指定return即可。
[root@master ~]# salt 'minion' sys.list_returners
minion:- carbon- couchdb- etcd- highstate- local- local_cache- mattermost- multi_returner- pushover- rawfile_json- slack- slack_webhook- smtp- splunk- sqlite3- syslog- telegram
1.1 return流程
return是在Master端触发任务,然后Minion接受处理任务后直接与return存储服务器建立连接,然后把数据return存到存储服务器。关于这点一定要注意,因为此过程都是Minion端操作存储服务器,所以要确保Minion端的配置跟依赖包是正确的,这意味着我们将必须在每个Minion上安装指定的return方式依赖包,假如使用Mysql作为return存储方式,那么我们将在每台Minion上安装python-mysql模块。
环境说明
主机名 | 所需服务 | IP |
---|---|---|
master |
salt-master salt-minion |
192.168.249.141 |
minion |
salt-minion python3-PyMySQL模块 |
192.168.249.145 |
mysql | mysql-5.7 | 192.168.249.146 |
1.2 使用mysql作为return存储方式
在所有minion上安装Mysql-python模块
//以前的系统是直接安装以上模块,centos8我们先查看一下源里面有什么模块
[root@minion ~]# yum list all|grep -i mysql|grep -i python
python2-PyMySQL.noarch 0.8.0-10.module_el8.5.0+743+cd2f5d28 appstream
python3-PyMySQL.noarch 0.10.1-2.module_el8.5.0+761+faacb0fb appstream
python38-PyMySQL.noarch 0.10.1-1.module_el8.5.0+742+dbad1979 appstream
python39-PyMySQL.noarch 0.10.1-2.module_el8.5.0+738+dc19af12 appstream //安装python3-PyMySQL这个模块
[root@master ~]# salt '*' pkg.install python3-PyMySQL
minion:----------python3-PyMySQL:----------new:0.10.1-2.module_el8.5.0+761+faacb0fbold:python3-cffi:----------new:1.11.5-5.el8old:python3-cryptography:----------new:3.2.1-5.el8old:python3-ply:----------new:3.9-9.el8old:python3-pycparser:----------new:2.14-14.el8old:
[root@master ~]# salt '*' cmd.run 'rpm -qa|grep python3-PyMySQL'
minion:python3-PyMySQL-0.10.1-2.module_el8.5.0+761+faacb0fb.noarch
1.3 部署mysql
参考官方文档https://docs.saltproject.io/en/latest/ref/returners/all/salt.returners.mysql.html#module-salt.returners.mysql
可单独用一台服务器部署,或者直接部署在master、minion上都可以
//此处我直接用脚本搭建,关于mysql的安装之前文章有
[root@mysql ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
LISTEN 0 80 *:3306 *:* //创建用于存储数据库和表结构
[root@mysql ~]# mysql -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.33 MySQL Community Server (GPL)Copyright (c) 2000, 2021, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.//创建数据库和表结构
mysql> CREATE DATABASE `salt`-> DEFAULT CHARACTER SET utf8-> DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)//进入库
mysql> USE `salt`;
Database changedmysql> CREATE TABLE `jids` (-> `jid` varchar(255) NOT NULL,-> `load` mediumtext NOT NULL,-> UNIQUE KEY `jid` (`jid`)-> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)mysql> CREATE TABLE `salt_returns` (-> `fun` varchar(50) NOT NULL,-> `jid` varchar(255) NOT NULL,-> `return` mediumtext NOT NULL,-> `id` varchar(255) NOT NULL,-> `success` varchar(10) NOT NULL,-> `full_ret` mediumtext NOT NULL,-> `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,-> KEY `id` (`id`),-> KEY `jid` (`jid`),-> KEY `fun` (`fun`)-> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.05 sec)mysql> CREATE TABLE `salt_events` (-> `id` BIGINT NOT NULL AUTO_INCREMENT,-> `tag` varchar(255) NOT NULL,-> `data` mediumtext NOT NULL,-> `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,-> `master_id` varchar(255) NOT NULL,-> PRIMARY KEY (`id`),-> KEY `tag` (`tag`)-> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)//查看创建好的数据库和表
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| salt |
| sys |
+--------------------+
5 rows in set (0.00 sec)mysql> show tables;
+----------------+
| Tables_in_salt |
+----------------+
| jids |
| salt_events |
| salt_returns |
+----------------+
3 rows in set (0.00 sec)//创建用户并授权访问
mysql> grant all on salt.* to salt@'%' identified by 'salt';
Query OK, 0 rows affected, 1 warning (0.00 sec)//刷新权限
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)mysql>
1.4 配置minion
//修改minion配置文件
[root@minion ~]# vim /etc/salt/minion
此处省略N行...
#return: mysql,slack,redis
#
#return:
# - mysql
# - hipchat
# - slackmysql.host: '192.168.249.146' #部署mysql的服务器
mysql.port: 3306 #监听端口号
mysql.user: 'salt' #创建的用户
mysql.pass: 'salt' #密码
mysql.db: 'salt' #数据库名称
mysql.unix_socket: '/tmp/mysql.sock' #套接字
mysql.charset: 'utf8' #字符集
此处省略N行...//重启服务
[root@minion ~]# systemctl restart salt-minion
1.5 在Master上测试存储到mysql中
[root@master ~]# salt '*' test.ping --return mysql
minion:True
[root@master ~]# salt '*' test.ping
minion:True
1.6 在数据库中查询验证
mysql> select * from .salt_returns \G
*************************** 1. row ***************************fun: test.pingjid: 20210708132459672274return: trueid: minionsuccess: 1full_ret: {"success": true, "return": true, "retcode": 0, "jid": "20210708132459672274", "fun": "test.ping", "fun_args": [], "id": "minion"}
alter_time: 2021-07-08 21:25:00
1 row in set, 1 warning (0.00 sec)//我们可以看到只存储了一条数据,所以需要在后面加上 --return mysql
2. job cache
2.1 job cache流程
return时是由Minion直接与存储服务器进行交互,因此需要在每台Minion上手动安装指定的存储方式的模块,比如python-mysql模块,这样就显得并没有很自动化,不是SaltStack该有的表现。那么我们能否直接在Master上就把返回的结果给存储到存储服务器呢?
这个时候job cache应时而生 ,意思是当Minion将结果返回给Master后,由Master将结果给缓存在本地,然后将缓存的结果给存储到指定的存储服务器,比如存储到mysql中。
2.2 开启master端的master_job_cache
//在master端也安装一个python3-PyMySQL模块
[root@master ~]# yum -y install python3-PyMySQL//修改master文件
[root@master ~]# vim /etc/salt/master
此处省略N行...
# Save runner returns to the job cache
#runner_returns: True#master_job_cache: mysql
mysql.host: '192.168.249.146'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
此处省略N行...//重启服务,使配置文件生效
[root@master ~]# systemctl restart salt-master
2.3 在数据库服务器中清空表内容
mysql> delete from salt_returns;
Query OK, 1 row affected (0.01 sec)mysql> select * from .salt_returns \G
Empty set, 1 warning (0.00 sec)
2.4 在master上再次测试能否存储至数据库
[root@master ~]# salt -S '192.168.249.145' test.ping
minion:True
[root@master ~]# salt '*' cmd.run 'ls -l /usr/src'
minion:total 8-rw-r--r-- 1 lxr lxr 17 Jul 7 21:39 123-rw-r--r-- 1 lxr lxr 17 Jul 7 21:59 456drwxr-xr-x 2 root root 69 Jul 7 22:20 abcdrwxr-xr-x. 2 root root 6 May 19 2020 debugdrwxr-xr-x. 2 root root 6 May 19 2020 kernels
2.5 在数据库查询验证
mysql> select * from .salt_returns \G
*************************** 1. row ***************************fun: test.pingjid: 20210708134413119188return: trueid: minionsuccess: 1full_ret: {"cmd": "_return", "id": "minion", "success": true, "return": true, "retcode": 0, "jid": "20210708134413119188", "fun": "test.ping", "fun_args": [], "_stamp": "2021-07-08T13:44:13.428642"}
alter_time: 2021-07-08 21:44:13
*************************** 2. row ***************************fun: cmd.runjid: 20210708134525092467return: "total 8\n-rw-r--r-- 1 lxr lxr 17 Jul 7 21:39 123\n-rw-r--r-- 1 lxr lxr 17 Jul 7 21:59 456\ndrwxr-xr-x 2 root root 69 Jul 7 22:20 abc\ndrwxr-xr-x. 2 root root 6 May 19 2020 debug\ndrwxr-xr-x. 2 root root 6 May 19 2020 kernels"id: minionsuccess: 1full_ret: {"cmd": "_return", "id": "minion", "success": true, "return": "total 8\n-rw-r--r-- 1 lxr lxr 17 Jul 7 21:39 123\n-rw-r--r-- 1 lxr lxr 17 Jul 7 21:59 456\ndrwxr-xr-x 2 root root 69 Jul 7 22:20 abc\ndrwxr-xr-x. 2 root root 6 May 19 2020 debug\ndrwxr-xr-x. 2 root root 6 May 19 2020 kernels", "retcode": 0, "jid": "20210708134525092467", "fun": "cmd.run", "fun_args": ["ls -l /usr/src"], "_stamp": "2021-07-08T13:45:25.284591"}
alter_time: 2021-07-08 21:45:25
2 rows in set, 1 warning (0.00 sec)
2.6 job管理
获取任务的jid
[root@master ~]# salt '*' cmd.run 'uptime' -v
Executing job with jid 20210708135252302305 #数字就是jid
-------------------------------------------minion:21:52:52 up 1:51, 1 user, load average: 0.00, 0.00, 0.0
通过jid获取此任务的返回结果
[root@master ~]# salt-run jobs.lookup_jid 20210708135252302305
minion:21:52:52 up 1:51, 1 user, load average: 0.00, 0.00, 0.0
//可以看到和上面一模一样
3. salt-ssh介绍
salt-ssh是一个可以让我们不用在受控机上安装salt-minion客户端也能够实现自动化管理操作。
3.1 它的特点
- 远程系统需要Python支持,除非使用-r选项发送原始ssh命令
- salt-ssh也是一个软件包,需安装之后才能使用,命令本身也是salt-ssh
- salt-ssh不会取代标准的Salt通信系统,它只是提供了一个基于SSH的替代方案,不需要ZeroMQ和客户端
由于所有与Salt SSH的通信都是通过SSH执行的,所以它比使用ZeroMQ的标准Salt慢得多,一般情况下不建议使用。
3.2 salt-ssh远程管理的方式
salt-ssh有两种方式实现远程管理,一种是在配置文件中记录所有客户端的信息,诸如 IP 地址、端口号、用户名、密码以及是否支持sudo等;另一种是使用密钥实现远程管理,不需要输入密码。
3.3 salt-ssh部署
在 master 上安装 salt-ssh
[root@master ~]# yum -y install salt-ssh
3.3.1 通过使用用户名密码的SSH实现远程管理
修改配置文件,添加受控机信息
[root@master ~]# vim /etc/salt/roster# Sample salt-ssh config file
#web1:
# host: 192.168.42.1 # The IP addr or DNS hostname
# user: fred # Remote executions will be executed as user fred
# passwd: foobarbaz # The password to use for login, if omitted, keys are used
# sudo: True # Whether to sudo to root, not enabled by default
#web2:
# host: 192.168.42.2//添加受控端信息,可以看到上面是有示例的
minion2:host: 192.168.249.146user: rootpasswd: 123456
测试是否可以连接
//现在直接通过以下命令直接去连接需要输入密码,但是 saltstack 是不支持交互式操作的,所以为了解决这个问题,我们需要对其进行设置,让系统不进行主机验证。
[root@master ~]# salt-ssh '*' test.ping
[root@master ~]# vim ~/.ssh/config
StrictHostKeyChecking no//再次连接
[root@master ~]# salt-ssh '*' test.ping
minion2:----------retcode:10stderr:Warning: Permanently added '192.168.249.146' (ECDSA) to the list of known hosts.ERROR: Unable to locate appropriate python commandstdout:ERROR: Python version error. Recommendation(s) follow:- Install Python 3 on the target machine(s)- You can use ssh_pre_flight or raw shell (-r) to install Python 3
//此处报错,原因是minion未安装python3,它说你可以通过 -r 选项安装python3//根据它的提示安装python3
[root@master ~]# salt-ssh '*' -r 'yum -y install python3'
minion2:----------retcode:0stderr:Failed to set locale, defaulting to C.UTF-8stdout:root@192.168.249.146's password: Last metadata expiration check: 2:03:10 ago on Thu Jul 8 20:22:44 2021.Dependencies resolved.================================================================================Package Arch Version Repo Size================================================================================Installing:python36 x86_64 3.6.8-37.module_el8.5.0+771+e5d9a225 appstream 19 kUpgrading:platform-python-pipnoarch 9.0.3-20.el8 baseos 1.7 M
此处省略N行...//验证是否安装
[root@master ~]# salt-ssh '*' -r 'rpm -qa|grep python3'
minion2:----------retcode:0stderr:stdout:root@192.168.249.146's password: python3-pip-wheel-9.0.3-18.el8.noarchpython3-dateutil-2.6.1-6.el8.noarchpython3-linux-procfs-0.6.2-2.el8.noarchpython3-dbus-1.2.4-15.el8.x86_64python3-inotify-0.9.6-13.el8.noarchpython3-slip-dbus-0.6.4-11.el8.noarchpython3-firewall-0.8.2-3.el8.noarch
此处省略N行...//再次连接
[root@master ~]# salt-ssh '*' test.ping
minion2:True
3.3.2 通过salt-ssh初始化系统安装salt-minion
执行状态命令,初始化系统,安装salt-minion
//创建存放yum源和配置文件的目录
[root@master ~]# mkdir -p /srv/salt/base/{repo,files}//将salt的yum源和minion配置文件拷贝到创建的目录下面
[root@master ~]# cd /srv/salt/base/repo/
[root@master repo]# ls
[root@master repo]# cp /etc/yum.repos.d/salt.repo ./
[root@master repo]# ls
salt.repo
[root@master repo]# cd ../files/
[root@master files]# ls
[root@master files]# cp /etc/salt/minion ./
[root@master files]# ls
minion//编辑状态文件
[root@master ~]# vim /srv/salt/base/repo.slssalt-repo:file.managed:- name: /etc/yum.repos.d/salt.repo- source: salt://repo/salt.repo- user: root- group: root- mode: 644[root@master ~]# vim /srv/salt/base/minion.sls
salt-minion-install:pkg.installed:- name: salt-minionsalt-minion-conf:file.managed:- name: /etc/salt/minion- source: salt://files/minion- user: root- group: root- mode: 644- template: jinja- default:ID: {{ grains['ipv4'] [1] }}- require:- pkg: salt-minion-installsalt-minion-service:service.running:- name: salt-minion- enable: True- start: True- watch:- file: /etc/salt/minion//执行状态文件,将yum源和配置文件批量传输到minion上
[root@master ~]# salt-ssh '*' state.sls repo
[root@master ~]# salt-ssh '*' state.sls minion//启动salt-minion
[root@master ~]# salt-ssh '*' -r 'systemctl restart salt-minion'
minion2:----------retcode:0stderr:stdout:root@192.168.249.146's password:
接受公钥
[root@master ~]# salt-key -L
Accepted Keys:
minion
Denied Keys:
Unaccepted Keys:
master
minion2
Rejected Keys:
[root@master ~]# salt-key -A
The following keys are going to be accepted:
Unaccepted Keys:
master
minion2
Proceed? [n/Y] y
Key for minion master accepted.
Key for minion minion2 accepted.
[root@master ~]# salt-key -L
Accepted Keys:
master
minion
minion2
Denied Keys:
Unaccepted Keys:
Rejected Keys:
测试连通性
[root@master ~]# salt '*' test.ping
minion:True
minion2:True
minion:True
SaltStack组件return和job cache以及salt-ssh相关推荐
- SaltStack之return与job管理
1. SaltStack组件之return return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序,它支持多种存储方式,比如用MySQL.MongoD ...
- SaltStack组件
2019独角兽企业重金招聘Python工程师标准>>> 一.简述 在SaltStack系统中我们的管理对象叫作Target,在Master上我们可以采用不同Target去管理不同的M ...
- SaltStack:Salt SSH
20. Salt SSH 在版本0.17.0当中,引入了新的传输系统,它支持通过SSH通道来实现Salt的通信.通过这种方式,我们可以将Salt routines直接通过SSH通道在远程主机上执行,而 ...
- saltstack:grains组件
saltstack 一.认识grains 二.信息查询 三.自定义grains项 四.编写grains模块 五.grains匹配运用 一.认识grains Grains是SaltStack的一个组件, ...
- 详述SaltStack Salt 命令注入漏洞(CVE-2020-16846/25592)
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队 11月3日,SaltStack 发布 Salt 安全补丁,修复了三个严重漏洞,其中两个是为了回应起初通过 ZDI 报告的5个 bug. ...
- saltstack的探索-salt指定目标和分组
saltstack的探索-salt指定目标和分组 一.探讨一下,如何针对指定的minion id来执行 先了解官网文档的targeting这一节的内容: TargetingSalt allows fo ...
- saltstack return mysql_10-saltstack 数据返回到MySQL
官方文档:https://docs.saltstack.com/en/latest/ref/returners/all/salt.returners.mysql.html#module-salt.re ...
- 命令注入_深入分析SaltStack Salt命令注入漏洞
一.概述 11月3日,SaltStack发布了Salt的安全补丁,修复了三个高危漏洞.其中有两个修复程序,是为了解决外部研究人员通过ZDI项目提交的五个漏洞.这些漏洞可导致在运行Salt应用程序的系统 ...
- HARDENING SALT - SaltStack安全加固措施介绍
HARDENING SALT 本主题包含可用于保护和强化Salt环境的配置提示. 如何最好地保护和加强你的Salt环境在很大程度上取决于你如何使用Salt.在哪里使用Salt.你的团队结构.从何处获取 ...
最新文章
- 读取csv数据存到list,批量写入mysql
- AI玩微信跳一跳的正确姿势:一不小心就超越了最高分,瞬间称霸了朋友圈~
- 第四届工业大数据创新竞赛-Top1方案
- C指针原理(7)-C内嵌汇编
- 中国首款64位商用智能芯片 具备强大的计算能力
- Java里氏转换_详解Java设计模式编程中的里氏替换原则
- 玩深度学习选哪块英伟达 GPU?有性价比排名还不够!
- Qt面试题(一)Qt信号槽第五个参数
- 电脑测试软件_科普丨电脑小白必看的显卡测试小技巧
- 关于如何在视频中合成声音
- 安徽省地理信息系统应用成果
- Ubuntu 18.04 开机开启小键盘数字键numlock灯
- matlab 打开立即窗口,《如何编程打开或关闭VBE界面中的立即窗口及其他窗口?》-- access911.net 文章...
- linux环境操作PPT转图片总结
- 树莓派pico从零开始的入门(一)
- 考研二战日记-第16天小结
- 字体/字库: [ 下载 ] > freetype sdl sdl_ttf
- LOAM系列——LeGO-LOAM配置、安装、问题解决及VLP16测试效果(完结版)
- 微信小程序引入小图标
- 视频AI融合视频平台(LiveMedia视频监控平台)
热门文章
- 普通人创业,不开实体店或者网上店铺,你能干啥?
- 使用Matlab pcode的风险
- 车秘android版本最新版本,车秘下载2021安卓最新版_手机app官方版免费安装下载_豌豆荚...
- 论印度为什么软件行业这么发达(搞笑篇)
- 企业信息化的若干原则性问题
- ubuntu服务器pdf文件大小,Ubuntu下的PDF阅读器okular安装使用介绍
- 一天 第二章 纤腰舞困因谁,知谁系斑骓?
- 一个人赶着鸭子去每个村庄卖,每经过一个 村子卖去所赶鸭子的一半又一只。 这样他经过了 七个村子后还剩 两只鸭子,问问他出发时共赶多少只鸭子?经过每个村子卖出多少只鸭子?
- 腾讯云安装mysql_详解腾讯云CentOS7.0使用yum安装mysql及使用遇到的问题
- 什么样的人适合当领导