搭建rsync+inotify实时同步

一、准备rsync

在backup备份服务器上准备好rsync。即完成nfs客户端到backup服务端的rsync部署------rsync备份搭建

二、inotify

inotify是一种异步文件系统事件监控机制，linux内核从2.6.13开始支持。它可以监控文件系统中添加、删除、修改、移动等各种事件。

nfs客户端安装inotify：

先检查内核版本：uname -r （2.6.13以上版本支持）

检查有没有目录：ls -l /proc/sys/fs/inotify/,有此目录表示支持

检查有没有安装：rpm -qa inotify-tools

若没有，则安装,先安装第三方源：

wget -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

再安装inotify：

yum install inotify-tools -y

rpm -qa inotify-tools -再次检查

安装完后工具集介绍：

inotifywait：在被监控的文件或目录上等待特定文件系统事件（open,close,delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用。

inotifywatch：收集被监视的文件系统使用度统计数据，指文件系统事件发生的次数统计。

inotifywait参数详解：

-m：保持实时监控

-q：仅仅打印监控事件的信息

--excludei：排除文件或目录时，不区分大小写

-d：后台运行

-r：递归，可对子目录进行监控

-e：指定需要监控的事件（

如access-文件或目录被读取，

modify-文件或目录内容被修改，

attrib-文件或目录属性被改变，

close-文件或目录封闭，无论读/写模式，

open-文件或目录被打开，

moved_to-文件或目录被移到另一个目录，

move-文件或目录被移到另一个目录或者从其他目录移到当前目录，

create-文件或目录被创建在当前目录，

delete-文件或目录被删除，

unmount-文件系统被卸载）

人工测试事件：

开启两个窗口（同一台机器）：

1】测试create

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /backup

2】监控delete

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create，delete /backup

3】监控修改

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write /backup

三、当监控到nfs目录文件系统事件变化后，触发rsync推送变化的文件

cd /server/scripts

vi inotify.sh

#!/bin/bash
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,close_write,delete /backup|while read file
docd /backup &&\rsync -az ./ --delete rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password
done

给脚本执行权限：chmod +x inotify.sh

加入后台进程（守护进程daemon）运行

vi /etc/init.d/syncd

#!/bin/bash
chkconfig: 2345 38 46
. /etc/init.d/functions
if [ $# -ne 1 ];thenusage: $0 [start|stop]exit 1
fi
case "$1" in
start)/bin/bash  /server/scripts/inotify.sh &echo $$ >/var/run/inotify.pidif [ `ps -ef|grep inotify|wc -l` -gt 2];thenaction "inotify service is started" /bin/trueelseaction "inotify service is started" /bin/falsefi;;
stop)kill -9 `cat /var/run/inotify.pid` >/dev/null 2>&1pkill inotifywaitsleep 2if [ `ps -ef|grep inotify|grep -v grep|wc -l` -eq 0];thenaction "inotify service is stopped" /bin/trueelseaction "inotify service is stopped" /bin/falsefi;;
*)

接着执行：chmod +x /etc/init.d/syncd

然后：chkconfig --add syncd

检查：chkconfig --list syncd

启动：/etc/init.d/syncd start

inotify调优：

在/proc/sys/fs/inotify目录下有三个文件，对其有一定的限制。

max_user_watches:设置命令可监视的文件数量（单进程）

max_user_instances:设置每个用户可以运行的命令的进程数

max_queued_events:设置inotify实例事件队列可容纳的事件数量

实战调整：

echo "50000000" >/proc/sys/fs/inotify/max_user_watches

echo "50000000" >/proc/sys/fs/inotify/max_queued_events

可能重启会失效，加入到/etc/rc.d/rc.local

inotify优点：

1、监控文件系统实时变化，通过同步工具实现实时数据同步

缺点：

1、并发如果大于200个文件（10-100k），同步就会有延迟

2、监控到事件后，调用rsync同步是单进程的（加&并发），sersync多进程同步

既然inotify-tools可以，为什么还要用sersync?

sersync功能多

1、支持配置文件

2、真正的守护进程

3、可以对失败文件定时重传

4、第三方的http接口（例如更新CDN缓存）

5、默认多线程rsync同步

高并发数据实时同步方案小结

1、inotify(sersync)+rsync.是文件级别的

2、drdb文件系统级别，基于block块同步，缺点：备节点数据不可用，只有主节点坏了才用

3、第三方软件的同步功能：

mysql同步，oracle，mongodb

4、程序双写，直接写两台服务器

5、通过业务逻辑解决：读写分离，备读不到，读主

6、NFS集群（双写主存储，备存储用inotify（sersync）+rsync，备没有找主解决延迟问题）