如果只对经常改动的目录进行同步,也可以忽略这个问题,如果每次改动的目录多较大,那么就要用到inotify了,Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,Linux内核从2.6.13起,加入了对Inotify的支持,通过Inotify可以监控文件系统中的添加、删除、修改、移动等各种事件,但inotify只提供了C语言接口,不方便调用,所以我们需要先安装inotify-tools

系统环境

CentOS_5.7-x86_64
更新源服务器:192.168.9.227
目的服务器:192.168.9.226 192.168.9.228 ...

目的服务器配置

192.168.9.226 192.168.9.228(rsync服务端):

检查rsync是否安装

rpm -qa|grep rsync

如果没有发装,执以下命令进行安装

yum -y install rsync

定义rsync配置文件/etc/rsyncd.conf

192.168.9.226:

cat >> /etc/rsyncd.conf << EOFuid = nobody gid = nobody use chroot = no max connections = 100 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [web1] path = /data/www1/ ignore errors read only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www1 secrets file = /etc/www1.pwd EOF

192.168.9.228:

cat >> /etc/rsyncd.conf << EOFuid = nobody gid = nobody use chroot = no max connections = 100 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [web2] path = /data/www2/ ignore errors read only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www2 secrets file = /etc/www2.pwd EOF

rsyncd.conf配置文件详解

uid = nobody //运行RSYNC守护进程的用户gid = nobody //运行RSYNC守护进程的组use chroot = 0 //不使用chrootmax connections = 0 // 最大连接数,0为不限制port = 873 //默认端口873下面这些文件是安装完RSYNC服务后自动生成的文件pid file = /var/run/rsyncd.pid //pid文件的存放位置lock file = /var/run/rsync.lock //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.log file = /var/log/rsyncd.log //日志记录文件的存放位置Timeout = 300 通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.Log format = %t %a %m %f %b 通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:%h 远程主机名%a 远程IP地址%l 文件长度字符数%p 该次rsync会话的进程id%o 操作类型:" send" 或" recv"%f 文件名%P 模块路径%m 模块名%t 当前时间%u 认证的用户名(匿名时是null)%b 实际传输的字节数%c 当发送文件时,该字段记录该文件的校验码默认log格式为:" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.#transfer logging = yes使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.syslog facility = local3 指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.模块参数 [web1] //这里是认证的模块名,在client端需要指定path = /data/www1/ //需要做镜像的目录,不可缺少!comment = backup web //这个模块的注释信息ignore errors //可以忽略一些无关的IO错误read only = yes //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.list = no //不允许列文件auth users = bak //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关 该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).secrets file = /etc/www1.pwd //密码和用户名对比表,密码文件自己生成 该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如:/etc/www1.pwd).注意:该文件的权限一定要是600,否则客户端将不能连接服务器.hosts allow = 192.168.9.0/255.255.255.0 //允许主机或网段该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式:单个IP地址,例如:192.168.9.227整个网段,例如:192.168.9.0/24,也可以是192.168.9.0/255.255.255.0多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.hosts deny = 0.0.0.0/0 //禁止主机

建立认证文件/etc/www1.pwd

此文件须与配置文件中指定文件名保持一致
此处格式为:username:password,安全问题,并不建议实际使用中使用root用户
192.168.9.226:

echo "www1:741852" >> /etc/www1.pwd

192.168.9.228:

echo "www2:951753" >> /etc/www2.pwd

并且我们需要设置此文件的权限为600

chmod 600 /etc/www1.pwdchmod 600 /etc/www2.pwdchmod 600 /etc/rsyncd.conf

建立motd文件(可有可无)

rsyncd.motd记录了rsync服务的欢迎信息,你可以在其中输入任何文本信息,如:

echo "Welcome to use the rsync services!" >> /var/rsyncd.motd

启动rsync

/usr/bin/rsync --daemonecho "/usr/bin/rsync --daemon" >> /etc/rc.local

更新源服务器配置

192.168.9.227 (rsync客户端)

inotify 可以监视的文件系统事件包括

IN_ACCESS,即文件被访问IN_MODIFY,文件被 writeIN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等IN_CLOSE_WRITE,可写文件被 closeIN_CLOSE_NOWRITE,不可写文件被 closeIN_OPEN,文件被 openIN_MOVED_FROM,文件被移走,如 mvIN_MOVED_TO,文件被移来,如 mv、cpIN_CREATE,创建新文件IN_DELETE,文件被删除,如 rmIN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己IN_UNMOUNT,宿主文件系统被 umountIN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)

注:上面所说的文件也包括目录。

安装inotify-tools

在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13,并且在编译时开启了CONFIG_INOTIFY选项,也可以通过以下命令检测

ls /proc/sys/fs/inotify

如果有 max_queued_events,max_user_instances,max_user_watches 三项就说明支持

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztar xvf inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configuremake;make install

编写rsync监控脚本

vi /root/rsync.sh#!/bin/bashhost1=192.168.9.226host2=192.168.9.228src=/data/www/des1=web1des2=web2user1=www1user2=www2/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \-e modify,delete,create,attrib \${src} \| while read filedorsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&echo "${files} was rsynced" >> /tmp/rsync.log 2>&1echo "---------------------------------------------------------------------------"done
-m, 即--monitor,表示始终保持事件监听状态。-r, 即--recursive,表示递归查询目录。-q, 即--quiet,表示打印出监控事件。-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等--timefmt:指定时间的输出格式--format:指定变化文件的详细信息

建立认证文件 (rsync客户端认证文件只用加入密码)

echo "741852" >> /etc/www1.pwdecho "951753" >> /etc/www2.pwdchmod 600 /etc/www1.pwdchmod 600 /etc/www2.pwd/bin/sh -n /root/rsync.sh //语法检查chmod +x /root/rsync.shnohup sh /root/rsync.sh &echo "nohup sh /root/rsync.sh &" >> /etc/rc.local

同步测试

在更新源服务器上新建一个文件,运行以下的命令,看文件是否可以正常同步,看有无报错信息

rsync -vzrtopg --delete --progress /data/www1/ www1@192.168.9.226::web1 --password-file=/etc/www1.pwd

将要更新的文件提交到更新源服务器中,这样就通过inotify+rsync批量的将更新文件同步到所有的目的服务器中,相当方便快捷.

利用inotify+rsync实现linux文件批量更新相关推荐

  1. Inotify+Rsync实现linux文件实时同步

    公司一套系统的同步使用的donotify,不能实现子目录的实时同步,通过查资料,发现inotify可以实现子目录的实时同步,以下为笔记. 一.介绍 Inotify 是文件系统事件监控机制,作为 dno ...

  2. linux文件同步方法,inotify + rsync实现linux文件实时同步

    一.项目需求:服务器A的数据目录内容变化后,改变要实时更新到多台服务器B C 的相关目录. 二.解决方法: 1.多台服务器做为rsync服务器端,服务器A做为rsync客户端,使用rsync命令同步数 ...

  3. 三招快速搞定 Linux 文件批量重命名!

    作者 | 良许 责编 | 仲培艺 在我们的工作生活中,不管是程序员还是非程序员,都会遇到一个需求,那就是对一堆文件进行重命名.在 Windows 下有很多优秀的软件可以帮助我们完成这个需求,而在 Li ...

  4. linux 文件批量转utf8

    1.下载安装 enca  官网:https://dl.cihar.com/enca/ wget https://dl.cihar.com/enca/enca-1.19.tar.xz && ...

  5. linux 文件双向同步,Linux文件双向实时同步rsync

    在线QQ客服:1922638 专业的SQL Server.MySQL数据库同步软件 echo"/usr/sersync/sersync2-d-o/usr/sersync/confxml.xm ...

  6. jdbc批量更新_用集算器更新数据库的技巧

    对数据库进行批量更新时,使用update函数要比execute函数性能更好. 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,call ...

  7. oracle 批量更新_用集算器更新数据库的技巧

    对数据库进行批量更新时,使用update函数要比execute函数性能更好. 比如,source和target是两个不同的数据源,callrecordA是source中的物理表,有1万条记录,call ...

  8. Cetnos环境下inotify+rsync实时同步

    一.介绍 1.1 rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.rsync使用所谓的"rsync算法"来使本地和远程两个主机之间的文件达到同步 ...

  9. 利用Inotify和Rsync将webproject文件自己主动同步到多台应用server

    背景:须要搭建一套跟线上一模一样的环境,用来预公布,这是当中的web分发的一个小模块的实现过程. 1 工具以及环境简单介绍 1.1,Inotify工具 Inotify,它是一个内核用于通知用户空间程序 ...

最新文章

  1. linux apache目录权限配置,Linux系统架构-----Apache的用户访问权限的设置
  2. python之路《七》文件的处理
  3. 牛客网暑期ACM多校训练营(第十场)
  4. ZendFramework多模块配置
  5. SDN第六次上机作业
  6. java如何调用蜂鸣器_用鸿蒙OS在蜂鸣器上播放一曲《两只老虎》
  7. 千万不要手贱在win10系统上执行win7激活工具!!!
  8. 【渝粤题库】陕西师范大学200161 文字学概论 作业
  9. webstorm主题更换和webstorm汉化
  10. Linux发包工具pktgen
  11. (软考)系统分析师——标准化知识
  12. 发展指标集数据合集(37W+条数据)
  13. 大数据分析的学习感悟
  14. 人工智能与大数据就业前景_大数据专业和人工智能专业哪个前景更好
  15. 数字图像处理第五章笔记
  16. 渗透测试RECON-NG介绍
  17. 写一段vba代码,把excel中所有工作簿中的图片删除
  18. Python 和 Elasticsearch 构建简易搜索
  19. 线段树模板(建树+更新)
  20. git切换分支、push或pull指定分支

热门文章

  1. win10搜索服务器文件慢,如何解决win10搜索速度很慢的情况呢?|win10加快系统搜索速度的方法...
  2. 滚动截屏苹果_苹果手机上的5个神器,让你的手机更高效,顺手
  3. java内部类的作用分析
  4. mockjs的安装使用
  5. 让IIS支持PHP (转载)
  6. 微信分享的各种大小限制
  7. 普通浏览器会泄露信息吗?使用安全浏览器如何做到隐私保护?
  8. Hmmer using Guide
  9. linux下下载openwrt源码,OpenWrt下载编译
  10. ViewPager嵌套ViewPager后子ViewPager滑动不正常问题