inotify-tools-3.14+rsync3.1.3实时同步安装部署

服务版本说明

服务版本号备注
rsync rsync-3.1.3
inotify-tools inotify-tools-3.14

部署环境

系统环境：centos7.6
主机名：yhcs_1、yhcs_2
IP：192.168.43.176、192.168.43.177

下载路径

rsync下载：https://download.samba.org/pub/rsync/
inotify-tools下载：https://github.com/rvoicilas/inotify-tools/wiki

安装约定并创建目录

安装包存放目录：/data/software/rsync
安装包存放目录：/data/software/inotify-tools
安装目录：/usr/local/rsync
安装目录：/usr/local/inotify-tools
同步目录：/data/backup

[root@yhcs_1 ~]# mkdir -p /data/software/rsync
[root@yhcs_1 ~]# mkdir -p /data/software/inotify-tools
[root@yhcs_1 ~]# mkdir -p /data/backup

上传tar包并解压

[root@yhcs_1 ~]# cd /data/software/rsync
[root@yhcs_1 rsync]# rz -E
rz waiting to receive.
[root@yhcs_1 rsync]# tar -zxvf rsync-3.1.3.tar.gz
[root@yhcs_1 rsync]# cd /data/software/inotify-tools
[root@yhcs_1 inotify-tools]# rz -E
rz waiting to receive.
[root@yhcs_1 inotify-tools]# tar -zxvf inotify-tools-3.14.tar.gz

编译安装

[root@yhcs_1 rsync]# cd rsync-3.1.3
[root@yhcs_1 rsync-3.1.3]# ./configure --prefix=/usr/local/rsync/
[root@yhcs_1 rsync-3.1.3]# make && make install

配置文件（服务端）

[root@yhcs_1 ~]# cat /usr/local/rsync/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 4
exclude = lost+found/
transfer logging = yes
timeout = 900
ignore nonreadable = yes
dont compress = .gz .tgz .zip .z .Z .rpm .deb .bz2
read only=yes #只读模式，后面部署inotify实时同步时需要改成false
write only=no
hosts allow=192.168.43.0/24
[databackup]
path = /data/backup/
list=no
ignore errors
auth user=rsync_eden
secrets file = /etc/rsyncd.passwd
comment = data
[datatest] #取个同步标签名称，后面使用同步命令时需要
path = /datatest/ #备用目录，本次不测试，有需要可直接改成自己需要的目录
list=no
ignore errors
auth user=rsync_eden
secrets file = /etc/rsyncd.passwd
comment = datatest

[root@yhcs_1 ~]# cat /etc/rsyncd.passwd
rsync_eden:qwe321 #设置同步的账户和密码，前者是配置文件中的auth user，后者是密码
[root@yhcs_1 ~]# chmod 600 /etc/rsyncd.passwd #赋予权限

启动服务

[root@yhcs_1 ~]#/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsyncd.conf
[root@yhcs_1 ~]# ps -ef |grep rsync
root 10879 1 0 10:55 ? 00:00:00 /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsyncd.conf
[root@yhcs_1 ~]# netstat -na |grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
tcp6 0 0 :::873 ::? LISTEN

客户端部署

#先按主服务器编译安装rsync
[root@yhcs_2 ~]# cat /etc/rsyncd.passwd
qwe321
#与服务器端中的 rsyncd.passwd中的密码对应
[root@yhcs_2 ~]# chmod 600 /etc/rsyncd.passwd #赋予权限
注意：仅需要服务器端开启rsync服务，客户端不需要开启

同步测试

#测试从yhcs_1(172.168.43.176)同步到yhcs_2(172.168.43.177)
#查看服务器端的/data/backup(配置文件设置的同步目录)下有哪些文件
[root@yhcs_1 ~]# cd /data/backup/
[root@yhcs_1 backup]# ls
[root@yhcs_1 backup]# echo hello > rsync_test.txt #创建文件用于测试
[root@yhcs_1 backup]# ls
rsync_test.txt
#查看客户端的/data/backup下有哪些文件
[root@yhcs_2 ~]# cd /data/backup/
[root@yhcs_2 backup]# ls
[root@yhcs_2 backup]#
#执行同步命令
[root@yhcs_2 backup]# /usr/local/rsync/bin/rsync -avzP --delete --password-file=/etc/rsyncd.passwd rsync_eden@192.168.43.176::databackup /data/backup/
receiving incremental file list
./
rsync_test.txt
6 100% 5.86kB/s 0:00:00 (xfr#1, to-chk=0/2)

sent 50 bytes received 134 bytes 122.67 bytes/sec
total size is 6 speedup is 0.03
[root@yhcs_2 backup]# ls
rsync_test.txt
#同步命令简述：rsync_eden是服务器端的auth user中的用户；@后的地址是服务端的IP地址；::是服务器端自定义的标签的名称(也就是服务端配置文件里[databackup])； /data/backup/是需要同步到本地（客户端）的目录，可修改成自己想要放到的目录（但操作前请查询rsync的同步参数的意义，不要用错参数，导致删错数据。如–delete参数，会把本地目录与服务端目录做对比，服务端没有的数据都删除掉）

#以上rsync的配置方法在网上比较常见，是从客户端主动获取获取服务端的数据。后面部署inotify时，就需要从修改下同步命令，把客户端的数据上传到服务器，并把inotify部署到客户端yhcs_2上。

部署inotify

[root@yhcs_2 ~]# cd /data/software/inotify/inotify-tools-3.14
[root@yhcs_2 inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@yhcs_2 inotify-tools-3.14]# make && make install

编写实时同步脚本

#inotify软件命令
/usr/local/inotify/bin/inotifywait #开启实时监控服务（监控文件/目录数据变化）
/usr/local/inotify/bin/inotifywatch 统计事件变化次数
（1）rsync同步命令
/usr/local/rsync/bin/rsync -avz /data/backup/ rsync_eden@192.168.43.176::databackup --password-file=/etc/rsyncd.passwd
（2）inotify服务命令
/usr/local/inotify/bin/inotifywait -mrq --format ‘%w%f’ -e create,close_write,delete /data/backup/
（3）测试同步命令
[root@yhcs_2 etc]# /usr/local/rsync/bin/rsync -avz /data/backup/ rsync_eden@192.168.43.176::databackup --password-file=/etc/rsyncd.passwd
sending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.3]
#该报错网上查了一下，有说是配置文件不存在，有说是密码文件权限不够，具体排查了一下，发现这些文件都符合要求。最后查看了下系统日志，发现报错ERROR: module is read only，这个就是前面配置文件rsync.conf文件中read only=yes导致的，需要开通权限read only=false。

#为什么之前测试rsync同步时没有报错呢？那是因为同步的命令使得获取同步的方式不一致。前面是yhcs_1传数据到yhcs_2，现在是yhcs_2上传数据到yhcs_1，因此需要yhcs_1的配置文件把只读模式关掉，允许写入。

（4）编写实时同步脚本
#脚本没有进行更多的优化，后期有时间再做修改
[root@yhcs_2 backup]# cat /data/inotify.sh
#!/bin/bash

/usr/local/inotify/bin/inotifywait -mrq --format ‘%w%f’ -e create,close_write,delete /data/backup/ | while read line
do
/usr/local/rsync/bin/rsync -avz --delete /data/backup/ rsync_eden@192.168.43.176::databackup --password-file=/etc/rsyncd.passwd
done
（5）执行脚本（放在后台运行）
[root@yhcs_2 backup]# sh /data/inotify.sh &
[1] 13804

测试实时同步

#在yhcs_2 /data/backup目录下进行文件的增删改
[root@yhcs_2 backup]# ls
[root@yhcs_2 backup]# mkdir test
[root@yhcs_2 backup]# echo test > 1.txt
[root@yhcs_2 backup]# echo 123 >> 1.txt
[root@yhcs_2 backup]# rm -rf 1.txt
[root@yhcs_2 backup]# ls
test

#查看yhcs_1 /data/backup目录的变化
[root@yhcs_1 backup]# ls
test
[root@yhcs_1 backup]# cat 1.txt
test
[root@yhcs_1 backup]# cat 1.txt
test
123
[root@yhcs_1 backup]# ls
test

#注：可以 sh /data/inotify.sh 执行脚本，直观的观察数据的实时同步

参考文档（部分）

rsync常见问题及解决办法：https://blog.whsir.com/post-392.html
rsync的daemon模式：https://www.cnblogs.com/lemon-le/p/8395438.html
inotify+rsync实现实时同步：https://www.cnblogs.com/clsn/p/8022625.html#auto_id_26
真正的inotify+rsync实时同步彻底告别同步慢：https://www.cnblogs.com/ginvip/p/6430986.html#4375148

心不死，土不埋，学无止境