【基础】:Rsync数据同步工具
第二十一节 Rsync数据同步工具
- 1.1 Rsync介绍
- 1.1.1 什么是Rsync？
- 1.1.2 Rsync简介
- 1.3 Rsync的特性
- 1.1.4 Rsync的企业工作场景说明
- 1.2 Rsync的工作方式
- 1.2.1 本地数据传输模式（local-only mode）
- 1.2.2 rsync 命令常用参数选项说明：
- 1.2.3 案例：某DBA做数据同步，带宽占满，导致用户无法访问网站。
- 1.2.4 保持同步目录及文件属性
- 1.2.5 使用rsync在本地备份传输数据
- 1.3 借助ssh通道在不同主机之间传输数据
- 1.4 以守护进程（socket）的方式传输数据（重点）
- 1.4.1 部署前的准备工作：
- 1.4.2 部署环境
- 1.4.3 具体要求
- 1.5 开始部署rsync服务--Rsync服务器端A-Server操作过程：
- 1.5.1 配置rsyncd.conf
- 1.5.2 创建共享目录及添加rsync程序用户
- 1.5.3 启动服务：rsync --daemon
- 1.5.4 将A-Server上的/backup文件夹更改属主rsync
- 1.5.5 创建rsync虚拟账户名和密码
- 1.5.6 将账户密码文件的权限设置为600（必须否则失败）
- 1.5.7 加入开机启动
- 1.6 开始部署rsync服务--Rsync客户端B-Server
- 1.6.1 只需要创建密码文件
- 1.6.2 将密码文件的权限设置为600（必须否则失败）
- 1.6.5 Rsync同步测试
- 1.6.6 Rsync企业应用之风险提示
- 1.6.7 rsync无差异同步的生产场景应用
- 1.7 Rsync 优缺点
- 1.7.1 rsync优点：
- 1.7.2 rsync缺点：
- 1.8 排错必备思想
- 1.9 Rsync守护进程服务传输数据排错思路：
- 1.9.1 Rsync服务端排错思路
- 1.9.2 Rsync客户端拍错思路
- 2【Rsync项目实战】备份全网服务器数据生产架构方案案例模型（必做）
- 附录1: rsyncd.conf配置文件常用参数说明：
- 附录2: 开发rsync服务启动脚本
第二十一节 Rsync数据同步工具
标签（空格分隔）： Linux实战教学笔记-陈思齐
---本教学笔记是本人学习和工作生涯中的摘记整理而成，此为初稿（尚有诸多不完善之处），为原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处，作者信息和本声明。否则将追究法律责任。http://www.cnblogs.com/chensiqiqi/
1.1 Rsync介绍
1.1.1 什么是Rsync？
Rsync是一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。
1.1.2 Rsync简介
- Rsync英文全称Remote synchronization，从软件的名称就可以看出来，Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像，远程备份的功能，这个功能类似ssh带的scp命令，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，Rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令，但同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
小提示：利用Rsync还可以实现删除文件何目录的功能，这又相当于rm命令！
一个rsync相当于scp，cp，rm，但是还优于他们每一个命令。
在同步备份数据时，默认情况下，Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
提示：传统的cp，scp工具拷贝每次均为完整的拷贝，而rsync除了可以完整拷贝外，还具备增量拷贝的功能，因此，从同步数据的性能及效率上，Rsync工具更胜一筹。
CentOS5，rsync2.x比对方法，把所有的文件比对一遍，然后进行同步。
CentOS6，rsync3.x比对方法，一边比对差异，一边对差异的部分进行同步。
1.3 Rsync的特性
Rsync的特性如下：
- 支持拷贝特殊文件如链接文件，设备等
- 可以有排除（tar？find？）指定文件或目录同步的功能，相当于打包命令tar的排除功能
- 可以做到保持原文件或目录的权限，时间，软硬链接，属主，组等属性均不改变-p
- 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）
- 可以使用rcp，rsh，ssh等方式来配合传输文件（rsync本身不对数据加密）
- 可以通过socket（进程方式）传输文件和数据（服务端和客户端）
- 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像
1.1.4 Rsync的企业工作场景说明
1.1.4.1 两台服务器之间数据同步（定时任务+备份数据）即crond+rsync
生产场景集群架构服务器备份方案项目
借助crond+rsync把所有客户服务器数据同步到备份服务器
简历项目经验：
全网服务器数据备份解决方案提出及负责实施200x.03 - 200x.091）针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案
2）通过本地打包备份，然后rsync结合inotify应用把全网数据统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果
3）定期将IDC机房的数据备份到公司的内部服务器，防止机房地震及火灾问题导致数据丢失。1.1.4.2 实时同步（解决存储服务器等的单点问题）
利用rsync结合inotify的功能做实时的数据同步，根据存储服务器上目录的变化，把变化的数据通过inotify或sersync结合rsync命令实时同步到备份服务器，还可以通过drbd方案以及双写的方案实现双机数据同步。
1.2 Rsync的工作方式
为了方便同学学习，我从实际的使用功能上进行了一下划分。一般来说，Rsync大致使用三种主要的传输数据的方式。分别为：
- 单个主机本地之间的数据传输（此时类似于cp命令的功能）
- 借助rcp，ssh等通道来传输数据（此时类似于scp命令的功能）
- 以守护进程（socket）的方式传输数据（这个是rsync自身的重要功能）
以上的几种rsync的工作方式，我们可以通过man rsync帮助或查看官方的手册获得：
NAMErsync -- a fast, versatile, remote (and local) file-copying toolSYNOPSISLocal: rsync [OPTION...] SRC... [DEST]Access via remote shell:Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]Push: rsync [OPTION...] SRC... [USER@]HOST:DESTAccess via rsync daemon:Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DESTrsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST Usages with just one SRC arg and no DEST arg will list the source filesinstead of copying.1.2.1 本地数据传输模式（local-only mode）
Rsync本地传输模式的语法为：
rsync [OPTION...] SRC...[DEST] 语法说明：
1）Rsync为同步的命令；
2）[OPTION]为同步时的参数选项
3）SRC为源，即待拷的分区，文件或目录等；
4）[DEST]为目的分区，文件或目录等；直接本地同步：相当于cp
rsync /etc/hosts /tmp/示例1-1 实例1:把系统的hosts文件同步到／opt目录
[root@chen ~]# rsync /etc/hosts /opt [root@chen ~]# cat /opt/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.14.200 mirrors.aliyum.com 192.168.197.133 www.test.com
实例1-2 实例2:把opt目录拷贝到/mnt下
[root@chen ~]# rsync -avz /opt /mnt #相当于cp -ap /opt /mnt sending incremental file list opt/ opt/hosts opt/rh/sent 224 bytes received 39 bytes 526.00 bytes/sec total size is 221 speedup is 0.84 [root@chen ~]# ll /mnt total 8 drwxr-xr-x. 3 root root 4096 Mar 5 19:54 opt -rw-r--r--. 1 root root 5 Dec 25 11:19 test.txt
删除功能，相当于rm命令
[root@chen ~]# rsync -avz /opt /mnt #相当于cp -ap /opt /mnt sending incremental file list opt/ opt/hosts opt/rh/sent 224 bytes received 39 bytes 526.00 bytes/sec total size is 221 speedup is 0.84 [root@chen ~]# ll /mnt total 8 drwxr-xr-x. 3 root root 4096 Mar 5 19:54 opt -rw-r--r--. 1 root root 5 Dec 25 11:19 test.txt
1.2.2 rsync 命令常用参数选项说明：
-v，--verbose 详细模式输出，传输时的进度等信息
-z，--compress 传输时进行压缩以提高传输效率，--compress-level=NUM可按级别压缩。
-a，--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rtopgD1（字母1）
==================================-r,--recursive 对子目录以递归模式，即目录下的所有目录都同样传输，注意是小写r -t，--times 保持文件时间信息 -o，--owner 保持文件属主信息 -p，--perms 保持文件权限 -g，--group 保持文件属组信息 -P，--progress 显示同步的过程及传输时的进度等信息 -D，--devices 保持设备文件信息 -l，--links 保留软链接 -e，--rsh=COMMAND 使用的信道协议（remote shell），指定替代rsh的shell程序。例如：ssh --exclude=PATTERN 指定排除不需要传输的文件模式（和tar参数一样） --bwlimit=RATE limit socket I/O bandwidth --delete 让源目录SRC和目标目录数据DST一致 1.2.3 案例：某DBA做数据同步，带宽占满，导致用户无法访问网站。
rsync -avz dbfile 10.0.0.41:/backup #没有给带宽做限制 rsync -avz --bwlimit=100 dbfile 172.16.1.41:／backup #限定了带宽
1.2.4 保持同步目录及文件属性
这里的-avzP 相当于-vzrtopgDIP（还多了DI功能），生产环境常用的参数选项为-avzP或-vzrtopgP如果是放入脚本中，也可以把-v何-P去掉。这里的--progress可以用-P代替。
特别说明：以上参数为企业生产环境常用参数，对于初学者来说掌握上面内容已足够。
生产参数：-avz或者用-vzrtopg
1.2.5 使用rsync在本地备份传输数据
实例1:测试本地rsync同步，rsync -avz /opt /tmp
[root@chen ~]# cd /opt #进入目录 [root@chen opt]# mkdir chensiqi #创建目录 [root@chen opt]# touch chensiqi/test.txt #创建文件 [root@chen opt]# chmod -R 700 chensiqi #递归授权700 [root@chen opt]# ls -l #查看目录权限700 total 4 drwx------. 2 root root 4096 Mar 5 22:18 chensiqi [root@chen opt]# ls -l chensiqi/ #查看文件权限700 total 0 -rwx------. 1 root root 0 Mar 5 22:18 test.txt [root@chen opt]# rsync -avz /opt/ /tmp/ #通过rsync执行本地同步操作 sending incremental file list ./ chensiqi/ chensiqi/test.txtsent 116 bytes received 38 bytes 308.00 bytes/sec total size is 0 speedup is 0.00 [root@chen opt]# tree /tmp #目录文件完全同步过去了 /tmp `-- chensiqi`-- test.txt1 directory, 1 file [root@chen opt]# ll /tmp/ #文件夹权限700，保持一致 total 4 drwx------. 2 root root 4096 Mar 5 22:18 chensiqi [root@chen opt]# ll /tmp/chensiqi/ #文件权限700保持一致 total 0 -rwx------. 1 root root 0 Mar 5 22:18 test.txt
上例演示了将本地/opt目录下的文件（不包含opt本身）同步到/tmp下其中-avz就是保持目录或文件的相关属性的参数
特别提示：请注意以下两条命令的差别：
1)rsync -avz /opt/ /tmp/
2)rsync -avz /opt /tmp/
1)中/opt/的意思是，仅把/opt/目录里面的内容同步过来，opt目录本身并不同步；而后者2）中/opt表示把opt本身及其内部内容全都同步到/tmp下，仅一个/（斜线之差），意义大不相同，请同学们注意使用的差别。
2）在后边要讲的通过远程shell进行数据传输的内容也会有类似的问题，请牢记。当本地的不同目录之间需要数据传输，特别是经常需要增量传输时，这个案例命令可以替代cp等命令，为你提升拷贝的效率。
实例2:将/etc下全部内容（包括/etc目录本身）备份到/tmp目录下
[root@chen ~]# rsync -avz /etc /tmp/ sending incremental file list etc/ etc/.pwd.lock etc/DIR_COLORS etc/DIR_COLORS.256color etc/DIR_COLORS.lightbgcolor etc/adjtime etc/aliases etc/aliases.db etc/anacrontab 下面的输出内容省略....[root@chen ~]# ll /tmp #同步完成 total 4 drwxr-xr-x. 79 root root 4096 Mar 5 19:25 etc
第一次运行命令会由于需要扫描并同步所有文件及目录，因此时间会长一些。如果再次备份就会进行快速对比，忽略通过的文件，速度更快，如下文：
[root@chen ~]# rsync -avz /etc /tmp/ sending incremental file listsent 39813 bytes received 196 bytes 80018.00 bytes/sec total size is 27542875 speedup is 688.42
我们可以看到立刻就同步完成，要传输的数据也很少了。因为rsync会比对所有文件和目录，仅同步有变化（内容，修改时间等各种属性）的文件或目录。如果换做cp命令，那么还会重新执行完整的拷贝，浪费系统资源和时间。
当然本地备份同步不仅仅备份目录，还可以同步单个文件，设备等，相信聪明的你都想到了，在此就不多费笔墨。特别提示：
在传输数据时，rsync命令也需要有对同步的目录拥有权限如此才可以实现正常传输数据。1.3 借助ssh通道在不同主机之间传输数据
示例1:推送：将当前主机内容推送到远程主机
rsync -avzP -e 'ssh -p 22'/etc/ root@192.168.197.129:/tmp/ [root@chensiqi ~]# rsync -avzP -e 'ssh -p 22' /etc/ root@192.168.197.129:/tmp/ #开始同步 忽略以上内容.... yum/version-groups.conf444 100% 1.14kB/s 0:00:00 (xfer#985, to-check=6/1558) yum/pluginconf.d/ yum/pluginconf.d/fastestmirror.conf279 100% 0.72kB/s 0:00:00 (xfer#986, to-check=2/1558) yum/pluginconf.d/security.conf17 100% 0.04kB/s 0:00:00 (xfer#987, to-check=1/1558) yum/protected.d/ yum/vars/ yum/vars/infra6 100% 0.02kB/s 0:00:00 (xfer#988, to-check=0/1558)sent 9847758 bytes received 20677 bytes 1518220.77 bytes/sec total size is 27542879 speedup is 2.79#命令说明 -e 'ssh -p 22' 表示以ssh的方式通过22端口推送，如果不写默认22端口[root@chensiqi ~]# ssh root@chensiqi2 "ls -l /tmp" #查看同步结果 root@chensiqi2's password: total 1668 drwxr-xr-x. 5 root root 4096 Dec 24 09:26 ConsoleKit -rw-r--r--. 1 root root 4439 Apr 12 2016 DIR_COLORS -rw-r--r--. 1 root root 5139 Apr 12 2016 DIR_COLORS.256color -rw-r--r--. 1 root root 4113 Apr 12 2016 DIR_COLORS.lightbgcolor drwxr-xr-x. 3 root root 4096 May 12 2016 NetworkManager drwxr-xr-x. 4 root root 4096 Dec 24 09:26 X11 以下省略若干内容...#命令说明： ssh root@chensiqi2的意思是，以ssh的方式进行连接，通过root账户来登录主机名为chensiqi2的这台主机。 ssh root@chensiqi2 + 命令，可以将命令的结果反馈回来。 chensiqi2是当前主机下的一个hosts影射，/etc/hosts里面添加：IP地址 主机名 即作为映射对应。当输入主机名时，系统自动通过hosts解析出对应IP地址。例如ssh root@chensiqi2 <==> ssh root@192.168.197.129
示例2:将远程主机内容拉取到当前主机
rsync -avzP -e 'ssh -p 22' root@chensiqi2:/opt /tmp 关键语法说明：
1）-avz相当于-vzrtopgDI，表示同步时文件和目录属性不变。
2）-P显示同步的过程，可以用--progress替换。
3）-e ‘ssh -p 22’表示通过ssh通道传输数据，可省略
4）root@chensiqi2:/opt 远程主机系统用户，地址，路径
5）/tmp本地的路径实践演示：通过root用户从192.168.197.129的/opt目录（包含目录本身）把数据拉到本地的/tmp目录下
[root@chensiqi ~]# rsync -avzP -e 'ssh -p 22' root@192.168.197.129:/opt /tmp/ root@192.168.197.129's password: receiving incremental file list opt/ opt/chensiqi0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=1/3) opt/rh/sent 38 bytes received 122 bytes 29.09 bytes/sec total size is 0 speedup is 0.00 [root@chensiqi ~]# ll /tmp total 4 drwxr-xr-x. 3 root root 4096 Mar 6 2017 opt
也可以去掉 -e ‘ssh -p 22’(默认22端口)
[root@chensiqi ~]# rsync -avzP root@192.168.197.129:/opt /tmp/ root@192.168.197.129's password: receiving incremental file listsent 13 bytes received 80 bytes 37.20 bytes/sec total size is 0 speedup is 0.00
也可以通过映射好的主机名：(/etc/hosts)
[root@chensiqi ~]# tail -1 /etc/hosts 192.168.197.129 chensiqi2 [root@chensiqi ~]# rsync -avzP root@chensiqi2:/opt /tmp/ root@chensiqi2's password: Permission denied, please try again. root@chensiqi2's password: receiving incremental file list opt/ opt/chensiqi0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=1/3) opt/rh/sent 38 bytes received 122 bytes 21.33 bytes/sec total size is 0 speedup is 0.00
1.4 以守护进程（socket）的方式传输数据（重点）
1.4.1 部署前的准备工作：
1.4.2 部署环境
考虑到很多同学没有实际的生产环境，本文使用VMWARE虚拟机环境下Linux主机来进行实验。
和生产环境的真实服务器部署几乎没有任何区别。操作系统：
[root@chensiqi ~]# cat /etc/redhat-release CentOS release 6.8 (Final)
内核版本：
[root@chensiqi ~]# uname -r 2.6.32-642.el6.x86_64
主机网络参数设置：
|主机名|网卡eth0|用途|代号|
|--|--|--|--|--|
|chensiqi|192.168.197.133|rsync客户端|B-Server|
|chensiqi2|192.168.197.129|rsync服务端|A-Server|提示：如无特殊说明。子网掩码均为255.255.255.0
1.4.3 具体要求
要求在A-Server上以rsync守护进程的方式部署rsync服务，使得所有rsync节点客户端主机，可以把本地数据通过rsync的方式备份到数据备份服务器A-Server上。本例的客户端仅以B-Server，C-Server为例。
1.5 开始部署rsync服务--Rsync服务器端A-Server操作过程：
1.5.1 配置rsyncd.conf
首先确认软件是否安装：
[root@chensiqi2 ~]# rpm -qa rsync rsync-3.0.6-12.el6.x86_64
然后创建rsyncd.conf文件,并添加如下内容（文件默认不存在）
[root@chensiqi2 backup]# cat /etc/rsyncd.conf #rsync_config_____start #created by chensiqi 13:40 2017-3-6 ##blog:http://www.cnblogs.com/chensiqiqi/ ##rsyncd.conf start### 用户 uid = rsync # 组 gid = rsync # 程序安全设置 use chroot = no # 客户端连接数 max connections = 200 # 超时时间 timeout = 300 # 进程号文件位置 pid file = /var/run/rsyncd.pid # 进程锁 lock file = /var/run/rsync.lock # 日志文件位置 log file = /var/log/rsyncd.log ########################################## [backup] # 使用目录 path = /backup/ # 有错误时忽略 ignore errors # 可读可写（true或false） read only = false # 阻止远程列表（不让通过远程方式看服务端有啥） list=false # 允许IP hosts allow = 192.168.197.0/24 # 禁止IP hosts deny = 0.0.0.0/32 # 虚拟用户 auth users = rsync_backup # 存放用户和密码的文件 secrets file = /etc/rsync.password##rsync_config______end##
1.5.2 创建共享目录及添加rsync程序用户
[root@chensiqi2 ~]# useradd -M -s /sbin/nologin rsync #创建rsync用户 [root@chensiqi2 ~]# cat /etc/passwd | grep rsync rsync:x:500:500::/home/rsync:/sbin/nologin [root@chensiqi2 ~]# cat /etc/group | grep rsync rsync:x:500: [root@chensiqi2 ~]# mkdir /backup #创建共享目录
1.5.3 启动服务：rsync --daemon
[root@chensiqi2 ~]# rsync --daemon [root@chensiqi2 ~]# netstat -antup | grep rsync tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 5163/rsync tcp 0 0 :::873 :::* LISTEN 5163/rsync
1.5.4 将A-Server上的/backup文件夹更改属主rsync
[root@chensiqi2 ~]# chown -R rsync /backup [root@chensiqi2 ~]# ls -ld /backup drwxr-xr-x. 2 rsync root 4096 3月 6 22:19 /backup
1.5.5 创建rsync虚拟账户名和密码
[root@chensiqi2 ~]# echo "rsync_backup:123456" >/etc/rsync.password [root@chensiqi2 ~]# cat /etc/rsync.password rsync_backup:123456
1.5.6 将账户密码文件的权限设置为600（必须否则失败）
[root@chensiqi2 ~]# chmod 600 /etc/rsync.password [root@chensiqi2 ~]# ll /etc/rsync.password -rw-------. 1 root root 20 3月 6 22:27 /etc/rsync.password
1.5.7 加入开机启动
[root@chensiqi2 ~]# echo "rsync --daemon" >> /etc/rc.local [root@chensiqi2 ~]# tail -1 /etc/rc.local rsync --daemon
注意：
当然还可以用chkconfig rsync on命令，但是必须要编写适合chkconfig操作的脚本才行。如何重启rsync服务？
pkill rsync #关闭rsync服务
rsync --daemon #启动rsync服务至此rsync服务器端A-server配置完毕
1.6 开始部署rsync服务--Rsync客户端B-Server
1.6.1 只需要创建密码文件
[root@chensiqi ~]# rpm -qa rsync rsync-3.0.6-12.el6.x86_64 [root@chensiqi ~]# echo "123456" > /etc/rsync.password
1.6.2 将密码文件的权限设置为600（必须否则失败）
[root@chensiqi ~]# chmod 600 /etc/rsync.password [root@chensiqi ~]# ls -ld /etc/rsync.password -rw-------. 1 root root 7 Mar 6 01:42 /etc/rsync.password
至此rsync客户端B-Server配置完毕。
1.6.5 Rsync同步测试
1.6.5.1 推送测试1：将客户端指定目录内容推送到服务器端rsync指定目录下。
测试命令：
rsync -avz /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password命令说明： -avz：保持稳健各项属性不变，-v显示同步信息 -P显示具体同步过程 /backup/：要推送的内容所在目录 rsync_backup:服务器端rsync服务的同步的用户名（非Linux用户） 192.168.197.129:rsync服务器IP地址 backup：rsync服务器配置文件里的模块名 --password-file=/etc/rsync.password：免密码的操作，指定密码文件位置，如果不写，则会要求用户交互式输入密码。（如果想挂定时任务，必须得非交互式）演示：
[root@chensiqi backup]# ls opt.tar.gz [root@chensiqi backup]# rsync -avzP /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password #同步测试 sending incremental file list ./ opt.tar.gz166 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/2)sent 258 bytes received 30 bytes 576.00 bytes/sec total size is 166 speedup is 0.58[root@chensiqi backup]# ssh root@chensiqi2 "ls -l /backup" #查看同步结果 root@chensiqi2's password: total 4 -rw-r--r--. 1 rsync rsync 166 Mar 6 21:02 opt.tar.gz
1.6.5.2 推送测试2：将客户端任意目录推送到rsync服务器端指定目录下
测试命令：
rsync -avzP /tmp/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password演示过程：
[root@chensiqi backup]# rsync -avzP /tmp/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password sending incremental file list ./ opt.tar.gz2017-03-06162 100% 0.00kB/s 0:00:00 (xfer#1, to-check=5/8) backup/ opt/ opt/chensiqi0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=1/8) opt/rh/sent 441 bytes received 62 bytes 1006.00 bytes/sec total size is 162 speedup is 0.32 [root@chensiqi backup]# ssh root@chensiqi2 "ls /backup" #看一眼结果 root@chensiqi2's password: backup opt opt.tar.gz2017-03-06
1.6.5.3 拉取测试1：将rsync服务器端指定目录全部内容同步到客户端
测试命令：
rsync -avzP rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password命令说明： 和推送相比，只是两个目录换了个位置。演示过程：
[root@chensiqi backup]# ls [root@chensiqi backup]# rsync -avzP rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password receiving incremental file list ./ a0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=1/3) opt.tar.gz166 100% 162.11kB/s 0:00:00 (xfer#2, to-check=0/3)sent 105 bytes received 389 bytes 988.00 bytes/sec total size is 166 speedup is 0.34 [root@chensiqi backup]# ls a opt.tar.gz
1.6.5.4 拉取测试2：将rsync服务器端指定目录下的指定内容同步到客户端
测试命令：
rsync -avzP rsync_backup@192.168.197.129::backup/opt.tar.gz /backup/ --password-file=/etc/rsync.password演示过程：
[root@chensiqi backup]# ls [root@chensiqi backup]# rsync -avzP rsync_backup@192.168.197.129::backup/opt.tar.gz /backup/ --password-file=/etc/rsync.password receiving incremental file list opt.tar.gz166 100% 162.11kB/s 0:00:00 (xfer#1, to-check=0/1)sent 83 bytes received 328 bytes 822.00 bytes/sec total size is 166 speedup is 0.40 [root@chensiqi backup]# ls opt.tar.gz
1.6.5.5 拉取测试3: 将rsync服务器端指定目录下的全部内容排除某目录或文件后，同步到客户端
环境准备
我们在rsync服务器端指定目录下创建如下文件结构[root@chensiqi2 backup]# ls a b c chen d e [root@chensiqi2 backup]# ls chen 1 2 3 4 5说明： a，b，c，d，e为文件，chen是目录。目录下有1，2，3，4，5文件
方法一：通过命令行实现排除
测试命令：
rsync -avz --exclude=a --exclude=chen/3 --exclude=chen/4 rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password 命令说明： --exlude=文件名 ：排除的文件
演示过程：
[root@chensiqi backup]# rsync -avz --exclude=a --exclude=chen/3 --exclude=chen/4 rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password receiving incremental file list ./ .pwd.lock b c d e .ICE-unix/ chen/ chen/1 chen/2 chen/5sent 258 bytes received 558 bytes 1632.00 bytes/sec total size is 0 speedup is 0.00[root@chensiqi backup]# ls b c chen d e [root@chensiqi backup]# ls chen 1 2 5
方法二：通过列表文件实现排除
创建排除列表文件
[root@chensiqi backup]# cat /root/exclude.txt 1 3 5 b e
测试命令：
rsync -avz --exclude-from=/root/exclude.txt rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password命令说明： --exclude-from=文件的绝对路径 ：引用一个排除列表，列表里只需要输入排除的文件名即可
演示过程：
[root@chensiqi backup]# cat /root/exclude.txt 1 3 5 b e [root@chensiqi backup]# rsync -avz --exclude-from=/root/exclude.txt rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password receiving incremental file list ./ a c d chen/ chen/2 chen/4sent 202 bytes received 434 bytes 1272.00 bytes/sec total size is 0 speedup is 0.00 [root@chensiqi backup]# ls a c chen d [root@chensiqi backup]# ls chen 2 4
1.6.5.6 rsync同步拉取测试：让rsync客户端指定目录内容始终和rsync服务器共享目录内容保持一致
1）和rsync服务器目录内容始终保持一致
始终保持一致的意思是说，当Rsync服务器共享目录增加文件，那么客户端指定目录也增加，服务器端共享目录删除文件，那么客户端指定目录也删除文件
测试命令：
rsync -avz --delete rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password 命令说明： --delete ：表示同步增，删,改（文件内容出现变化，也会同步的）
演示过程：
[root@chensiqi backup]# rsync -avz --delete rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #进行第一次同步 receiving incremental file list ./ a b c d e chen/ chen/1 chen/2 chen/3 chen/4 chen/5sent 262 bytes received 663 bytes 1850.00 bytes/sec total size is 8 speedup is 0.01 [root@chensiqi backup]# ls #查看同步后的文件 a b c chen d e [root@chensiqi backup]# ssh root@chensiqi2 "rm -rf /backup/a" #远程删除Rsync服务器共享目录下的文件a root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #进行第二次同步 receiving incremental file list deleting a #可以看到同步过程中进行了一次delete同步 ./sent 69 bytes received 278 bytes 694.00 bytes/sec total size is 0 speedup is 0.00 [root@chensiqi backup]# ls #查看同步结果，文件a消失了。 b c chen d e [root@chensiqi backup]# ssh root@chensiqi2 "echo 1111 >/backup/chensiqi" #远程在rsync服务器端共享目录下创建一个有内容的文件chensiqi root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #进行第三次同步 receiving incremental file list ./ chensiqi #新增了chensiqi文件sent 88 bytes received 337 bytes 850.00 bytes/sec total size is 5 speedup is 0.01 [root@chensiqi backup]# cat chensiqi #查看同步后的文件内容 1111[root@chensiqi backup]# ssh root@chensiqi2 "echo 222 >>/backup/chensiqi" #远程对rsync服务器端共享目录下的chensiqi文件增加一行内容。 root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #进行第四次同步 receiving incremental file list chensiqi #修改后的文件也被同步了sent 91 bytes received 338 bytes 858.00 bytes/sec total size is 9 speedup is 0.02 [root@chensiqi backup]# cat chensiqi #查看同步后文件内容 1111 222
2)排除某文件后，再和服务器进行同步
测试命令：
rsync -avz --delete --exclude=c rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password 命令说明： --exclude=c：同步时不考虑文件名为c的文件
演示过程：
[root@chensiqi backup]# ls #查看目录下内容 b c chen chensiqi d e [root@chensiqi backup]# rsync -avz --delete --exclude=c rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #第一次同步 receiving incremental file listsent 73 bytes received 283 bytes 237.33 bytes/sec total size is 9 speedup is 0.03 [root@chensiqi backup]# ssh root@chensiqi2 "rm -rf /backup/c" #远程删除服务器端c文件 root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete --exclude=c rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #第二次同步 receiving incremental file list ./ #没有同步到任何东西sent 76 bytes received 286 bytes 241.33 bytes/sec total size is 9 speedup is 0.02 [root@chensiqi backup]# ssh root@chensiqi2 "touch /backup/c" #远程创建c文件 root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete --exclude=c rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #第三次同步 receiving incremental file list ./ #还是没有同步到任何东西sent 76 bytes received 286 bytes 241.33 bytes/sec total size is 9 speedup is 0.02 [root@chensiqi backup]# ssh root@chensiqi2 "echo 111 >>/backup/c" #远程修改c文件 root@chensiqi2's password: [root@chensiqi backup]# rsync -avz --delete --exclude=c rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password #第四次同步 receiving incremental file list#仍旧没有同步到任何东西 sent 73 bytes received 283 bytes 712.00 bytes/sec total size is 9 speedup is 0.03
1.6.5.7 rsync同步推送测试：让Rsync服务器端共享目录始终和rsync客户端指定目录内容一致。
1）和rsync客户端目录内容始终保持一致
始终保持一致的意思是说，当Rsync客户端指定目录增加文件，那么服务器端共享目录也增加，客户端指定目录删除文件，那么服务器端共享目录也删除文件
测试命令：
rsync -avz --delete /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password 命令说明： --delete ：表示同步增，删,改（文件内容出现变化，也会同步的） 与同步拉取相比：只是客户端目录放在了服务器端的前边。
演示过程：
[root@chensiqi backup]# ls a b c chen d e [root@chensiqi backup]# rsync -avz --delete /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password #第一次同步 sending incremental file list ./ a b c d e chen/ chen/1 chen/2 chen/3 chen/4 chen/5sent 594 bytes received 206 bytes 533.33 bytes/sec total size is 0 speedup is 0.00[root@chensiqi backup]# rm a #客户端删除文件a rm: remove regular empty file `a'? y [root@chensiqi backup]# rsync -avz --delete /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password #第二次同步 sending incremental file list ./ deleting a #同步了删除文件a的过程sent 225 bytes received 13 bytes 476.00 bytes/sec total size is 0 speedup is 0.00 [root@chensiqi backup]# touch a #创建文件a [root@chensiqi backup]# rsync -avz --delete /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password #第三次同步 sending incremental file list ./ a #推送了a文件到服务器端sent 271 bytes received 32 bytes 606.00 bytes/sec total size is 0 speedup is 0.00[root@chensiqi backup]# echo 1111 >>a #修改文件a [root@chensiqi backup]# cat a 1111 [root@chensiqi backup]# rsync -avz --delete /backup/ rsync_backup@192.168.197.129::backup --password-file=/etc/rsync.password #第四次同步 sending incremental file list a #同步了修改后的文件a到服务器端sent 277 bytes received 29 bytes 612.00 bytes/sec total size is 5 speedup is 0.02[root@chensiqi backup]# ssh root@chensiqi2 "cat /backup/a" #远程查看一下服务器端共享目录下的文件a的内容 root@chensiqi2's password: 1111
2)--exclude=文件名。排除某文件后，再和服务器进行同步
和同步拉取排除完全一致，只是目录换个位置，在此不在多费篇幅，同学们自己测试。
1.6.6 Rsync企业应用之风险提示
特别说明：
执行--delete参数从rsync服务器端往rsync客户端拉取数据时，一定要小心，最好不用，它比从rsync客户端带--delete参数往rsync服务端推送危险的多。客户端带--delete参数往服务端推送仅删除服务端模块下的数据，而前者有能力删除rsync客户端本地的所有数据包括跟下的所有目录。rsync推送企业工作场景：
1）备份 --delete 风险
本地有啥，远端就有啥，本地没有的远端有也要删除。服务器端的目录数据可能丢失。rsync拉取企业工作场景：
1）代码发布，下载。--delete风险
远端有啥，本地（客户端）就有啥，远端没有的本地有也要删除。本地的目录数据可能丢失。1.6.7 rsync无差异同步的生产场景应用
一般是有需要两台服务器之间，必须要求数据一致，且时时性又不是很高的情况下，如两台负载均衡下面web服务器之间的同步，或者高可用双机配置之间的同步等，rsync无差异同步非常的危险，而且，有很多的替代方案，因此，生产场景没有特殊的需求，应避免使用。切记，有很多朋友都已经有了血的教训。
1.7 Rsync 优缺点
1.7.1 rsync优点：
1，增量备份，支持socket（daemon），集中备份（支持推拉，都是以客户端为参照物）。
2，远程SHELL通道模式还可以加密（SSH）传输，socket（daemon）需要加密传输，可以利用vpn服务或ipsec服务1.7.2 rsync缺点：
1，大量小文件时候同步的时候，比对时间较长，有的时候，同步过程中，rsync进程可能会停止，僵死了。
2，同步大文件，10G这样的大文件有时也会出问题，中断。未完整同步前，是隐藏文件，可以通过续传（--partial）等参数实现传输
3，一次性远程拷贝可以用scp，大量小文件要打成一个包再拷贝。（重要）1.8 排错必备思想
- 部署流程步骤熟练
- rsync原理理解
- 学会看日志，rsync命令行输出，日志文件/var/log/rsyncd.log
1.9 Rsync守护进程服务传输数据排错思路：
1.9.1 Rsync服务端排错思路
- 查看rsync服务配置文件路径是否正确，正确的默认路径为：/etc/rsyncd.conf
- 查看配置文件里host allow,host deny，允许的IP网段是否是允许客户端访问的ip网段
- 查看配置文件中path参数里的路径是否存在，权限是否正确（正常应为配置文件中的UID参数对应的属主和组）
- 查看rsync服务是否启动。查看命令为：ps -ef|grep rsync。端口是否存在netstat -antup |grep 873
查看iptables防火墙和selinux是否开启允许rsync服务通过，也可以考虑关闭。- 查看服务端rsync配置的密码文件是否为600的权限，密码文件格式是否正确，正确格式为：用户名：密码，文件路径和配置文件里的secrect files参数对应。
- 如果是推送数据，要查看下，配置rsyncd.conf文件中用户是否对模块下目录有可读写的权限。
1.9.2 Rsync客户端拍错思路
- 查看客户端rsync配置的密码文件是否600的权限，密码文件格式是否正确，注意：仅需要有密码，并且和服务器端的密码保持一致。
- 用telnet连接rsync服务器ip地址873端口，查看服务是否启动（可测试服务端防火墙是否阻挡）telnet 192.168.197.129 873
- 客户端执行命令时：
rsync -avzP rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password - 此命令的细节要记清楚，尤其192.168.197.129::backup 处的双冒号及其后的backup为模块名称
2【Rsync项目实战】备份全网服务器数据生产架构方案案例模型（必做）
【企业案例】：
某公司里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了，数据就会丢失，现在领导要求你把数据在其他机器上做一个周期性定时备份。要求如下：每天晚上00电整在Web服务器A上打包备份网站程序目录并通过rsync命令推送到服务器B上备份保存（备份思路可以是先在本地按日期打包，然后再利用rsync推送到备份服务器上）。
具体要求如下：
1）NFS服务器nfs01和备份服务器backup的备份目录必须都为/backup
2）NFS服务器站点目录假定为（/var/www/html）
3）NFS服务器本地仅保留7天内的备份。
4）备份服务器上检查备份结果是否正常，并将每天的备份结果发给管理员信箱。
5）备份服务器上每周六的数据都保留，其他备份仅保留180天备份。附录1: rsyncd.conf配置文件常用参数说明：
rsyncd.conf参数 参数说明 uid=rsync #rsync使用的用户。 gid=rsync #rsync使用的用户组（用户所在的组） use chroot=no #如果为true，daemon会在客户端传输文件前“chroot to the path”。这是一种安全配置，因为我们大多数都在内网，所以不配也没关系 max connections=200 #设置最大连接数，默认0，意思无限制，负值为关闭这个模块 timeout=400 #默认为0，表示no timeout，建议300-600（5-10分钟） pid file #rsync daemon启动后将其进程pid写入此文件。如果这个文件存在，rsync不会覆盖该文件，而是会终止 lock file #指定lock文件用来支持“max connections”参数，使得总连接数不会超过限制 log file #不设或者设置错误，rsync会使用rsyslog输出相关日志信息 ignore errors #忽略I/O错误 read only=false #指定客户端是否可以上传文件，默认对所有模块为true list=false #是否允许客户端可以查看可用模块列表，默认为可以 hosts allow #指定可以联系的客户端主机名或和ip地址或地址段，默认情况没有此参数，即都可以连接 hosts deny #指定不可以联系的客户端主机名或ip地址或地址段，默认情况没有此参数，即都可以连接 auth users #指定以空格或逗号分隔的用户可以使用哪些模块，用户不需要在本地系统中存在。默认为所有用户无密码访问 secrets file #指定用户名和密码存放的文件，格式；用户名；密码，密码不超过8位 [backup] #这里就是模块名称，需用中括号扩起来，起名称没有特殊要求，但最好是有意义的名称，便于以后维护 path #这个模块中，daemon使用的文件系统或目录，目录的权限要注意和配置文件中的权限一致，否则会遇到读写的问题 特别说明：
1）模块中的参数项可以拿到全局配置中使用
2）以上配置文件中的参数，为生产中经常使用的参数，初学者掌握这些足够了。
3）以上配置文件中没有提到的参数请参考man rsyncd.conf查看附录2: 开发rsync服务启动脚本
#!/bin/bash #author:Mr.chen # chkconfig:35 13 91 # description:This is Rsync service management shell script# Source function library . /etc/rc.d/init.d/functions start(){ rsync --daemon if [ $? -eq 0 -a `ps -ef|grep -v grep|grep rsync|wc -l` -gt 0 ];then action "Starting Rsync:" /bin/true sleep 1 else action "Starting Rsync:" /bin/false sleep 1 fi } stop(){ pkill rsync;sleep 1;pkill rsync if [ `ps -ef|grep -v grep|grep "rsync --daemon"|wc -l` -lt 1 ];then action "Stopping Rsync: " /bin/true sleep 1 else action "Stopping Rsync:" /bin/true sleep 1 fi } case "$1" in start) start; ;; stop) stop; ;; restart|reload) stop; start; ;; *) echo $"Usage: $0 {start|stop|restart|reload}" ;; esac保存成rsyncd，放到/etc/init.d/rsyncd
[root@chensiqi2 ~]# cp rsync /etc/init.d/rsyncd [root@chensiqi2 ~]# chmod +x /etc/init.d/rsyncd [root@chensiqi2 ~]# /etc/init.d/rsyncd stop 已终止 [root@chensiqi2 ~]# /etc/init.d/rsyncd start Starting Rsync: [确定]
转载于:https://www.cnblogs.com/l75790/p/9516012.html
【基础】:Rsync数据同步工具相关推荐
- linux运维笔记：Rsync数据同步工具
linux运维笔记:Rsync数据同步工具 1-Rsync简介 Rsync英文全称是Remote synchronization,Rsync具有可以使本地和远程两台主机之间的数据快速复制和同步镜像.远 ...
- Linux实战教学笔记21:Rsync数据同步工具
原文地址:https://www.cnblogs.com/chensiqiqi/p/6514315.html 目录 第二十一节 Rsync数据同步工具 1.1 Rsync介绍 1.1.1 什么是Rsy ...
- rsync远程数据同步工具
一.简介 1.认识 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的"Rsync算法"来 ...
- Linux的rsync远程数据同步工具
Rsync(remote synchronize) 是一个远程数据同步工具,可以使用"Rsync算法"同步本地和远程主机之间的文件. rsync的好处是只同步两个文件不同的部分,相 ...
- Sersync+rsync数据同步实践：快速解决数据同步问题
前言 对于数据的实时同步,例如:某些配置文件或web文件在集群中的同步,通常我们有几种方式: 使用网络raid(例如:nfs/drbd)将某些目录由源服务器挂载到目标服务器(由于网络raid严重依赖网 ...
- Rsync数据同步服务
Rsync数据同步服务 Rsync软件适用与unix/linux/windows等多种操作系统平台 Rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具,可以实 ...
- 分享改进 高性能数据同步工具(一)
题外:在博文索引中暂时列出了开源的计划一览,虫子开源的目的是希望能有更多的交流,部分软件可能小得连开源协议的认证价值都没有.不管程序有多小多简单,用心把一个完整的设计思路.实现过程以及测试结果展现给大 ...
- 数据同步工具Sqoop
大数据Hadoop之--数据同步工具Sqoop Sqoop基本原理及常用方法 1 概述 Apache Sqoop(SQL-to-Hadoop)项目旨在协助RDBMS(Relational Databa ...
- 高效数据同步工具DataX的使用
一.DataX 简介 DataX 是阿里云 DataWorks 数据集成 的开源版本,主要就是用于实现数据间的离线同步. DataX 致力于实现包括关系型数据库(MySQL.Oracle 等).HDF ...
最新文章
- 2018-3-6论文-网络评论中非结构化信息的应用于研究------（语义矩离）
- 数据结构Stack：关系以及方法
- Linux多线程之线程同步（条件变量）
- 简述tcp协议三报文握手过程_TCP协议中的三次握手和四次挥手(图解)
- 暑期训练日志----2018.8.1
- 四十五.加密与解密 AIDE入侵检测系统 扫描与抓包
- idea将项目上传到SVN
- 【算法】算法之会议安排问题（C++源码）
- type=“text/javascript“什么意思？
- 微信公众号采集小爬虫
- 腾讯的核心竞争力是什么
- 大数据中的物联网运用
- Python丨使用selenium实现批量文件下载
- matlab 绘制三维空间隐函数自由曲面
- extjs6 异步树
- 字节，比特，字符，位，单位换算
- Java 16进制与byte数组互转
- fastadmin介绍
- 谷歌开源GSO：3D扫描数据集：17大类、1030个家用物品、13GB
- 第一部分 思科九年 一（3）