Rsync与Inotify

单一的rsync只可以进行数据同步,单一的inotify只可以实时监控文件,两者结合使用刚好满足数据实时同步的需求,下面就用一个数据发布服务器和两个web服务器实例解析rsync+inotify实现实时同步。

数据发布服务器 192.168.1.5 (rsync+inotify)

web服务器 192.168.1.6 192.168.1.7 (rsync)

首先在web服务器上部署rsync

192.168.1.6配置

[root@localhost~]# yum install -y rsync

[root@localhost~]# mkdir -p /var/www/001

[root@localhost~]# chmod 660 /var/www/001

[root@localhost~]# chown nobody.nobody /var/www/001

[root@localhost~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web1]

comment = Web comment

path = /var/www/001

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[root@localhost~]# echo "tom:123456" > /etc/rsyncd.passwd

[root@localhost~]# chmod 600 /etc/rsyncd.passwd

[root@localhost~]# rsync --daemon

[root@localhost~]# echo "rsync --daemon" >> /etc/rc.local

[root@localhost~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[root@localhost~]# service iptables save

192.168.1.7配置

[root@localhost~]# yum install -y rsync

[root@localhost~]# mkdir -p /var/www/002

[root@localhost~]# chmod 660 /var/www/002

[root@localhost~]# chown nobody.nobody /var/www/002

[root@localhost~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web2]

comment = Web comment

path = /var/www/002

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[root@localhost~]# echo "tom:123456" > /etc/rsyncd.passwd

[root@localhost~]# chmod 600 /etc/rsyncd.passwd

[root@localhost~]# rsync --daemon

[root@localhost~]# echo "rsync --daemon" >> /etc/rc.local

[root@localhost~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[root@localhost~]# service iptables save

接着在数据发布服务器下载inotify-tool,安装rsync和inotify (192.168.1.5)

[root@localhost~]# yum install -y rsync

[root@localhost~]# yum install -y automake libtool

[root@localhost~]# cd /home/soft/inotify-tools-master

[root@localhost inotify-tools-master~]# ./configure

[root@localhost inotify-tools-master~]# make && make install

[root@localhost~]# echo "123456" > /root/rsync.pass

[root@localhost~]# chmod 600 /root/rsync.pass

[root@localhost~]# vim rsync_notify.sh

#!/bin/bash

export PATH=/bin:/usr/bin:/usr/local/bin

SRC=/home/webdata/

DEST1=web1

DEST2=web2

Client1=192.168.1.6

Client2=192.168.1.7

User=tom

Passfile=/root/rsync.pass

[ ! -e $Passfile ] && exit 2

inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f %e' --event modify,create,delete,attrib $SRC|while read line

do

echo "$line" > /var/log/inotify_web 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client1::$DEST1 >> /var/log/sync_web1 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client2::$DEST2 >> /var/log/sync_web2 2>&1

done &

[root@localhost~]# chmod a+x rsync_notify.sh

[root@localhost~]# ./rsync_notify.sh

[root@localhost~]# echo "/root/rsync_notify.sh" /etc/rc.local

inotifywait用法

inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数:
-h,–help
输出帮助信息
@
排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
–fromfile 
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出,无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样,除了是在后台运行,需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile 
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次,不会输出详细信息,指定二次,除了致命错误,不会输出任何信息。
–exclude 
正则匹配需要排除的文件,大小写敏感。
–excludei 
正则匹配需要排除的文件,忽略大小写。
-t , –timeout 
设置超时时间,如果为0,则无限期地执行下去。
-e , –event 
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt 
指定时间格式,用于–format选项中的%T格式。
–format 
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

本文转自super李导51CTO博客,原文链接:http://blog.51cto.com/superleedo/1889742 ,如需转载请自行联系原作者

rsync与inotify实现数据实时同步相关推荐

  1. rsync+inotify 实现数据实时同步

    Rsync (Rmote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机间文件的同步,还能结合crond任务计划来执行自动 ...

  2. Centos7.x Rsync+Inotify实现数据实时同步

    一.概述 rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.它使用所谓的"Rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两 ...

  3. Linux下Rsync+Inotify-tools实现数据实时同步

    说明: 操作系统:CentOS 5.X 源服务器:192.168.21.129 目标服务器:192.168.21.127,192.168.21.128 目的:把源服务器上/home/www.osyun ...

  4. Linux下Rsync+sersync实现数据实时同步

    一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除 ...

  5. Centos rsync + notify 实现数据实时同步

    目录 rsync + notify 实现数据实时同步 一.简介 二.原理 三.实验环境 四.实验预期 五.准备工作 六.服务配置 目标服务器配置 源服务器配置 七.实现inodify实时触发rsync ...

  6. linux云计算架构师:Rsync+sersync实现数据实时同步

    全套学习资料移步至公众号[学神来啦]更多学习资料添加扣扣资源群:661308959 本节所讲内容:   2.1  Rsync概述   2.2  Rsync服务安装   2.3  Rsync+sersy ...

  7. Sersync和lsyncd实现数据实时同步

    文章目录 一.实时同步概念 1. 什么是实时同步 2. 实时同步原理 3. 实时同步的场景 4. 实时同步工具 二.实时同步案例 1.环境准备 2.配置思路 3.nfs服务端配置(172.16.1.3 ...

  8. binlog流程 mysql_小米 MySQL 数据实时同步到大数据数仓的架构与实践

    背景MySQL由于自身简单.高效.可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,MySQL的相关操作会变的非常迟缓:如果这时还有实时BI展示的需求,对于mysql来说 ...

  9. 小米 MySQL 数据实时同步到大数据数仓的架构与实践

    背景 MySQL由于自身简单.高效.可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,MySQL的相关操作会变的非常迟缓:如果这时还有实时BI展示的需求,对于mysql来 ...

最新文章

  1. 7.LARS lasso 模型
  2. 四十一、Linux基础命令,用户管理和文件系统总结
  3. Android SDK上手指南:应用程序数据
  4. loadrunner录制事件为0_测试工具LoadRunner常见问题汇总,解决方案整理
  5. Unix 下的 vim 如何使用系统剪贴板
  6. 这些年Android面试的那些套路,社招面试心得
  7. Net 4.0并行库实用性演练
  8. 基于iOS 10、realm封装的下载器
  9. javaweb实训第四天上午——MySQL基础
  10. php反序列化java_php反序列化
  11. FFmpeg之yuv裁剪(二十一)
  12. Scikit-learn:分类classification
  13. 装箱问题 BPP first fit、best fit、first fit decreasing、best fit decreasing
  14. 湾区那些事儿 (二)
  15. Python进行UDP编程
  16. 机器学习基石-林轩田-第一周笔记
  17. 强子对撞机下午3时半开始一次全轨道试验,如果产生黑洞,人类将在今日消失
  18. ps中给图层新建文件夹
  19. java三维动画_基于Java3D的交互式三维动画的研究
  20. 【Solidswork】Solidswork如何画真实螺纹

热门文章

  1. python在通信中的应用_基于Redis的进程间通信——在C++里使用python的深度学习模型...
  2. php 编译错误,PHP 编译错误及解决办法
  3. oracle 导数据报exp00058_一文看懂oracle12c数据库跨小版本迁移
  4. 牛客java面试题总结版(二)
  5. python中rim的用法_Python笔记(六)_函数
  6. 华为云计算之储存基础知识
  7. 数据结构和算法分析:B树 B+树 和B*树的总结
  8. linux运行shellftp上传文件,shell脚本实现ftp上传下载文件
  9. ubuntu 退出anaconda环境_ubuntu 安装两个Anaconda,并迁移虚拟环境
  10. 可持久化线段树——主席树