Rsync+inotify 组合使用同步方案

1. Rsync+inotify组合起源

Rsync 远程同步工具通过rsync可以实现对远程服务器数据的增量备份同步，但rsync自身也有瓶颈，同步数据时，rsync采用可信算法对远程服务器的目标档进行对比，只进行差异同步。我们可以想象一下，如果服务器的档数量达到了百万甚至千万量级，那么档对比将是非常耗时间的一部分，这是非常低效率的方式，inotify的出现，可以缓解rsync不足之处，取长补短。

2. Inotify简介

Inotofy是一种强大的、细粒度的、异步的文件系统时间监控机制，linux内核2.6.13起，加入了inotify支持。通过inotify可以加农文件系统添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实时监控的软件。

特别说明：下面的inotify配置是建立在rsync服务器基础上的配置过程。

架构拓扑图--（单向实时同步）

在rsync推送文件先配置好

3.配置

a)[root@server2 home]# uname -r

2.6.18-164.el5

b)下载inotify-tools（https://github.com/rvoicilas/inotify-tools/downloads）

Wgat http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

c)[root@server2 home]# ll/proc/sys/fs/inotify/

-rw-r--r-- 1 root root 0 Jul 12 14:00max_queued_events

-rw-r--r-- 1 root root 0 Jul 12 14:00max_user_instances

-rw-r--r-- 1 root root 0 Jul 12 14:00max_user_watches

如果有这三个文件说明支持inotify

d)安装inotify

e)配置inotify脚本
vi /home/realtime_rsync.sh

#!/bin/sh
host01=server1
src=/var/log
dst=backup
user=rsync_backup
rsync_passfile=/etc/rsync.password
inotify_home=/usr/local/inotify
for i in $src $rsync_passfile "$inotify_home"/bin/inotifywait;doif [ -e $i ];thenecho $(date +%F_%H%M%S) $i is exist >>/home/real_inotify.logelseecho ckeck file or folder $i.fi
done
"$inotify_home"/bin/inotifywait -mrq --timefmt '%d%m%y-%H:%M' --format '%T %w%f' -e modify,create,delete,attrib $src |while read file
do
/usr/bin/rsync -aruz --delete $src/ $user@$host01::$dst --password-file=$rsync_passfile >/dev/null 2>&1

说明:host01是备份服务器的地址；

Src是需要备份的文件地址

Dst是目标服务器的模块名

Userrsync服务器虚拟用户名

Rsync_passfilersync服务密码文件

使用for循环来检查需要的目录和文件是否存在，然后通过inotify监控src文件是否有改动。如果有改动则触发同步命令rsync

e)sh –x /home/realtime_rsync.sh 调试模式

f）在/home/backup创建测试文件看是否同步。

#!/bin/sh
host01=server1
src=/home/backup
dst=backup
user=rsync_backup
rsync_passfile=/etc/rsync.password
inotify_home=/usr/local/inotify
for i in `seq 200`;do
#       dd if=/dev/zero of=$src/$i bs=1 count=10cp $src/exe.tar.gz $src/$i.tar.gz
#       sleep 0.5
done

测试日志

[root@server2 exe]# sh -x ./realtime_rsync.sh

+ host01=server1

+ src=/home/backup

+ dst=backup

+ user=rsync_backup

+ rsync_passfile=/etc/rsync.password

+ inotify_home=/usr/local/inotify

+ for i in '$src' '$rsync_passfile' '"$inotify_home"/bin/inotifywait'

+ '[' -e /home/backup ']'

++ date +%F_%H%M%S

+ echo 2013-07-13_194330 /home/backup is exist

+ for i in '$src' '$rsync_passfile' '"$inotify_home"/bin/inotifywait'

+ '[' -e /etc/rsync.password ']'

++ date +%F_%H%M%S

+ echo 2013-07-13_194330 /etc/rsync.password is exist

+ for i in '$src' '$rsync_passfile' '"$inotify_home"/bin/inotifywait'

+ '[' -e /usr/local/inotify/bin/inotifywait ']'

++ date +%F_%H%M%S

+ echo 2013-07-13_194330 /usr/local/inotify/bin/inotifywait is exist

+ read file

+ /usr/local/inotify/bin/inotifywait -mrq --timefmt %d%m%y-%H:%M --format '%T %w%f' -e modify,create,delete,attrib /home/backup

+ /usr/bin/rsync -aruz --delete /home/backup/ rsync_backup@server1::backup --password-file=/etc/rsync.password

+ read file

+ /usr/bin/rsync -aruz --delete /home/backup/ rsync_backup@server1::backup --password-file=/etc/rsync.password

+ read file

+ /usr/bin/rsync -aruz --delete /home/backup/ rsync_backup@server1::backup --password-file=/etc/rsync.password

测试通过

后台执行脚本

nohup /home/realtime_rsync.sh &