day35 综合架构实时同步

课程介绍:

1.实时同步原理概念

2.实现实时同步方式

3.实现实时同步方式

1)利用脚本实现实时同步

2)利用软件实现实时同步

知识回顾

全网备份项目思路:

1.对工作任务进行确认 (笔记录音)

2.根据需求编写文档资料 (部署计划 时间规划 人员规划 方案规划)

3.和领导开会 (相关人员着急)

4.根据规划完成任务

5.完成后项目文档总结(项目会议 人员培训)

完善客户端主机没有发送数据时,也可以让运维人员知道

rsync

if [ $? != 0 ]

then

echo "$(houstname -i)backup is failed" | mail -s "result" 邮箱

网站实时同步服务

数据备份方法:

定时任务备份数据: 内部人员备份数据 (备份数据最短周期一分钟)

实时同步备份数据: 外部人员备份数据(用户数据 没有等待时间)

实时同步备份原理

1. 监视存储服务器上指定目录 数据信息变化 inotify

2.利用同步传输数据软件 将变化数据传输 rsync 传输数据

3.实现实时传输数据 inotify+rsync 实时同步

image.png

数据监控软件 inotify

作用:监控目录中数据信息变化

第一个里程: 部署安装软件

yum install -y inotify-tools - - - 系统中epel源是否优化

/usr/bin/inotify - - -监控目录数据信息变化命令

第二个里程: 掌握inotifywait监控命令用法:

--exclude - - -进行监控数据时,指定排除某目录/文件

--excludei - - -进行监控数据时,指定哪些数据不区分大小写

-m,--monitor - - - 一直监控指定目录

-r,--recursive - - - 递归监控目录数据变化

--format - - - 定义输出信息格式

%w 监控目录路径信息

%f 监控触发事件数据信息

%e 监控被触发的事件

%T 定义触发事件时间信息(调用--timefmt所定义的事件格式)

--timefmt - - - 定义时间格式 "%F %T"

-q,--quiet - - - 将某些信息不要进行显示输出==2>/dev/unll

-e,--event - - - 指定监控的事件信息create,delete,move,close_write

定义输出格式和时间.png

inotify所有事件信息

access - - - 文件或目录内容被读取

modify - - - 文件或目录内容被写入

attrib - - - 文件或目录属性信息改变

close_write - - - 文件或目录被打开--写入--关闭

close_nowrite- - - 文件或目录被打开--没有写入--关闭

close - - - 文件或目录被关闭

open - - - 文件或目录被打开

moved_to - - - 文件或目录被移动到监控的目录中(拉取)

moved_from - - - 文件或目录被移动出监控目录(推送)

move - - - 监控目录中:文件或目录被移动

create - - - 监控目录中:文件或目录信息进行创建

delete - - - 监控目录中:文件或目录被删除

inotifywait -mr /data --format "%T %w %f %e" --timefmt "%F %T" -e create,move,delete,close_write

inotifywait -mrq /data --format "%w%f" -e create,delete,move,close_write 主要使用inotify监控数据变化命令 -- 实现数据变化实时同步

时间格式信息.png

事项实时同步数据过程

补充: 脚本循环用法: sleep脚本间隔时间

1. for 循环 for 变量 in 循环信息;do 操作命令;done(有限制循环)

2. while循环 while 条件表达式;do 操作命令;done(死循环 当条件为一时一直循环 真)

3. until循环 until 条件表达式;do 操作命令;done(死循环 当条件为零时一直循环 假)

方式一: 编写脚本实现

#!/bin/bash

#01.监控目录数据变化

inotifywait -mrq /data --format "%w%f" -e

create,delete,move,close_write|while rade line

#02.将变化数据进行传输

rsync -avz $line rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

问题:

1.如何让脚本文件始终运行?

nohup sh jiaoben.sh &

2.数据已经完成但脚本还在赋值运行?

cd /data && rsync -az -R "./oldboy02.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

cd /data && rsync -az -R --delete ./ --include="oldboy01.txt" --exclude=* rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

方式二: 利用软件

第一个里程:利用lrszs下载软件放入到linux

mkdir /server/tools -p

将软件保存在此目录中

unzip sersync_installdir_64bit.zip

cd /server/tools/sersync_installdir_64bit

第二个里程: 将解压好目录保存到指定目录中

mv sersync/ /usr/local/

第三个里程: 修改软件配置信息

vim conf/confxml.xml

# 定义 在同步传输数据时,哪些数据不要进行传输同步

6

7

8

9

10

11

# 定义监控事件信息

12

13

14

15

16

17

18

19

20

21

24

25

26

27

28

29

30

31

32

image.png

第四个里程: sersync服务如何启动

export PATH=$PATH:/usr/local/sersync/bin/

cd /usr/local/sersync/bin/

chmod +x sersync

sersync -dro /usr/local/sersync/conf/confxml.xml

显示数据同步过程方法:

修改配置文件:

05. 课程知识点总结

1) 网站实时同步原理概念 1. 监控数据 2. 传输数据 3. 监控+传输

2) 掌握inotify监控软件使用方法

3) 掌握实现实时同步方法

a 利用脚本实现

循环方式 shell内置变量 $# $* 脚本如何在后台一直运行 nohup 脚本信息 &

b 利用软件实现

sersync软件

1) 软件部署过程 --- 二进制方式部署 解压

2) 编写软件配置 结合rsync传输数据命令

3) 如何启动服务 sersync命令参数

作业:

01. lsync实时同步软件 周五

02. 如何编写sersync启动脚本 sersyncd stop/start/restart