rsync: [sender] write error: Broken pipe (32) 问题排查

问题背景

使用lsyncd rsyncssh模式进行数据同步，目录大小约为25G，lsyncd版本2.2.2，rsync版本3.1.2，源端、目标端网络带宽大小均为1G，lsyncd配置如下：

# 需配置源端到目标端的SSH免密登录
# /etc/lsyncd.conf
settings {logfile = "/data/lsyncd/lsyncd.log",statusFile = "/data/lsyncd/lsyncd.status",pidfile = "/data/lsyncd/lsyncd.pid",inotifyMode = "CloseWrite or Modify",
}sync {default.rsyncssh,source="/data/source",host="1.1.1.1",targetdir="/data/target",rsync = {archive = true,compress = false,whole_file = false},ssh = {port = 2323}
}

启动同步命令：

lsyncd -log Exec /etc/lsyncd.conf

问题现象

同步初始化时总是中断，一般在传输4G左右暂停，重启lsyncd后传输一段时间再次中断。日志报错：

packet_write_wait: Connection to 1.1.1.1 port 2323: Broken pipe
rsync: [sender] write error: Broken pipe (32)
rsync error: unexplained error (code 255) at io.c(820) [sender=3.1.2]
Mon Aug 15 16:09:42 2022 Error: Temporary or permanent failure on startup of "/data/source". Terminating since "insist" is not set.

问题原因

同步开始时进行正常，说明配置正确。中途"Broken pipe"，检查源端与目标端之间的防火墙等安全设备配置，发现配置有DDOS防护，DDOS相关告警也佐证了传输中断的原因为数据同步因流量过大被判定为DDOS攻击，因此被拦截。

解决办法

方法一：关闭DDOS防护

方法二：对rsync进行限速，增加bwlimit参数，例如限速5MB/s，配置如下：

settings {logfile = "/data/lsyncd/lsyncd.log",statusFile = "/data/lsyncd/lsyncd.status",pidfile = "/data/lsyncd/lsyncd.pid",inotifyMode = "CloseWrite or Modify",
}sync {default.rsyncssh,source="/data/source",host="1.1.1.1",targetdir="/data/target",rsync = {archive = true,compress = false,whole_file = false,_extra = {"--bwlimit=5000"}},ssh = {port = 2323}
}

另外，如果不希望lsyncd在初始化失败后退出，可以在启动时增加参数-insist，这样如果初始化失败，lsyncd会继续不断尝试同步直至恢复正常，生产环境建议添加该参数启动：

lsyncd -insist -log Exec /etc/lsyncd.conf

rsync: [sender] write error: Broken pipe (32) 问题排查相关推荐

linux 错误信息输出到管道,linux grep通过管道输出到head出现write error: Broken pipe错误...
转载请注明地址:http://blog.csdn.net/echoutopia/article/details/51655882 之前做一个分页,利用grep加head加tail实现的: ls /tm ...
Git fatal: write error: Broken pipe
2019独角兽企业重金招聘Python工程师标准>>> When doing a large commit with Git over HTTP, sometimes I get & ...
clickhouse连接问题解决：Code: 210. DB::NetException: I/O error: Broken pipe, while writing to socket
文章目录前言一.问题现象二.解决过程三.其他问题前言因为clickhouse默认连接端口为9000,而我的配置文件中通过 clienthouse-client 连接的端口为 9003,配置 ...
TNS-12518 Linux Error：32：Broken pipe
最近一周,有一台ORACLE数据库服务器的监听服务在凌晨2点过几分的时间点突然崩溃,以前从没有出现过此类情况,但是最近一周出现了两次这种情况,检查时发现了如下一些信息: $ lsnrctl servi ...
【故障|监听】TNS-12518、TNS-00517和 Linux Error：32：Broken pipe
[故障|监听]TNS-12518.TNS-00517和 Linux Error:32:Broken pipe 1.1 BLOG文档结构图 1.2 前言部分 1.2.1 导读和注意事项各位技术爱 ...
【故障•监听】TNS-12518、TNS-00517和 Linux Error：32：Broken pipe
[故障•监听]TNS-12518.TNS-00517和 Linux Error:32:Broken pipe [故障|监听]TNS-12518.TNS-00517和 Linux Error:32:Br ...
【YOLOv5】yolov5训练中遇到的问题解决：BrokenPipeError: [Errno 32] Broken pipe
硬件配置硬件设备:Windows + GeForce RTX 3070 + Cuda 11.1 +Anaconda yolo版本:YOLOv5-3.1 源码地址:https://github.com ...
调用 usb_control_msg 返回错误值 -32, Broken pipe, 对 hidraw write时返回错误值 -32, Broken pipe
-------------------Step 1--------------------- 如题,使用 libusb 对 hid 类设备进行控制传输的时候,有时会遇到此错误,但是实际上传输是成功的, ...
MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M]
MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M] Bug描述: 用Python的pymysq ...
Python的问题解决: IOError: [Errno 32] Broken pipe
Python的问题解决: IOError: [Errno 32] Broken pipe 参考文章: (1)Python的问题解决: IOError: [Errno 32] Broken pipe ( ...