rsync udr——远程大文件传输加速
本文介绍了大文件远程传输场景下,rsync udr 模式的应用方法和加速效果。
什么是 rsync?
rsync 是一款快速增量备份工具,类似 Unix 系统下的数据镜像备份工具——RemoteSync。rsync 远程同步支持本地复制、与其他ssh、rsync主机同步。
其特性如下:
1、可以镜像保存整个目录树和文件系统。
2、可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3、无须特殊权限即可安装。
4、快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
rsync 可以通过 rsh 或 ssh,也能以 daemon 模式去运行,在以 daemon 方式运行时 rsync serve r会打开一个 873 端口,等待客户端去连接。连接时,rsync server 会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,以后则就只需进行增量备份。
在日常运维中,使用 rsync 的本地模式来代替cp/scp拷贝文件、使用 rsync 的 shell 或 daemon 模式来完成用户、idc 间大量数据的交换,其实也是一种不错的选择。在此基础上,我们为了让数据能更快的传输,可以使用 rsync 的 udr 模式,现 github 上有开源代码供用户下载使用。
udr 模式可以理解为是 rsync 的一个升级版本,在 rsync 服务外封装了一层服务来替代 rsync 的daemon模式,数据传输过程中采用了 UDT 协议。
备注:UDT 是基于 UDP(UDP-based Data Transfer Protocol)的互联网数据传输协议。
如何使用 rsync 的 udr 模式
1、下载地址
https://github.com/LabAdvComp/UDR
2、安装
下载解压后执行 make 操作,会生成 udr 命令:
make -e os=XXX arch=YYY
XXX: [LINUX(default), BSD, OSX]
YYY: [AMD64(default), POWERPC, IA64, IA32]复制代码
3、配置
主配置文件 udrd.conf
主配置中调用了 rsyn c 的配置文件 rsyncd.conf(目录、用户权限配置等,更多的配置详解可参考官网文档)
4、启动
主配置默认启动在 /etc/udrd.conf,如在别的路径,可加-c来指定
python udrserver.py [-v] [-s] [-c configfile] start|stop|restart|foreground复制代码
5、使用
在原rsync命令执行的时候,前面加udr命令即可
udr rsync hostname.com::module/path/to/file复制代码
测试对比
目前测试环境有限,只在内网环境下进行了测试:
1、在稳定的内网网络环境(同网段)用两种不同的传输方式多次进行了对比,udr方式和常规的rsync方式速度基本相当。
2、在内网网络环境(跨网段、跨机房)用两种不同的传输方式多次进行了对比,udr方式要明显快于常规的rsync方式,传输大小为1G的文件进行对比:
小结
udr服务简单来说就是使用UDP协议把原来使用TCP协议的rysnc服务来封装起来,使用 UDP 协议来传输数据,适用于远距离的大文件传输,效果会更明显。有适合这种场景的同学可以拿来一试。
本文首发于公众号“小米运维”,点击查看原文。
rsync udr——远程大文件传输加速相关推荐
- 异地大文件传输、大文件远程传输便捷方式
大文件远程传输时,一般很多人会选择使用U盘或者移动硬盘在两地进行传递.但万一忘记带移动存储设备了呢?如果选择邮箱.QQ等又需要经历漫长的等待时间,还有可能遇到附件过大小限制.传输中断等问题. 那么,异 ...
- 大文件传输有哪些方式可用?大文件传输有哪些方式?
大文件传输有哪些方式可用?大文件传输有哪些方式?互联网时代,速度决定效率.在企业生产过程中需要进行信息数据交换.搬运.这时就需要进行大文件传输.方方面面的行业都要涉及到大文件传输.例如影视行业需要每天 ...
- linux 传输大文件大小,Linux大文件传输(转)
我们经常需要在机器之间传输文件.比如备份,复制数据等等.这个是很常见,也是很简单的.用scp或者rsync就能很好的完成任务.但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重 ...
- 文件传送到服务器的软件,远程服务器文件传输软件
远程服务器文件传输软件 内容精选 换一换 已成功登录Java性能分析.待安装分析辅助软件的服务器已开启sshd.待安装分析辅助软件的服务器已安装JRE,JRE版本要求为Open JDK 11.Java ...
- RaySSH文件传输加速介绍!
大文件数据传输是未来对于企业而言灰常重要的一部分,传统方式可以选择传统的FTP.网盘等方式来传输,对于大型文件数据的话,也许会出现传输速度慢,数据不可靠的情况,极大的影响了企业的工作效率.以下介绍一种 ...
- 基于UDP的企业级大文件传输体系
在信息技术与互联网技术快速发展的今天,很多企业,特别是大中型企业都建设了林林总总的信息系统.这些信息系统助推企业实现了业务的快速发展.办公管理的科学高效,为企业创造了巨大的经济价值.这些信息系统在功能 ...
- 镭速联合Azure Blob 存储,重塑大文件传输平台存储架构
Azure Blob 存储是Microsoft 提供的适用于云原生工作负载.存档.数据湖.高性能计算和机器学习的可大规模缩放且安全的对象存储,是目前市场上唯一一种可为低延时和交互式方案提供基于SSD的 ...
- 4种大文件传输工具和软件,用于共享大文件
无论是个人还是与团队一起工作,大文件传输软件和网站都能协助提高工作效率.有效地管理工作内容.疫情原因有时我们不得不居家办公,在这种情况下可以分享文件的工具就显得尤为重要. 每个公司都需要一个文件传输软 ...
- 视频大文件传输的演变:从“卷轴男孩”到自动化
200年前,从纽约市到英国伦敦的单程旅行需要乘坐一艘跨大西洋轮船将近三周--如果你能负担得起的话,那就是.那些不能在满是汗水.狭窄的帆船上安顿大约一个半月的人. 今天,视频专业人士能够在几小时甚至几分 ...
- 如何快速传输大文件:4 种大文件传输有效的方法
文件大小正在爆炸式增长,随之而来的挑战是如何仍然以快速.安全的方式发送.从这个意义上说,弄清楚如何快速传输大文件似乎是一项几乎不可能完成的任务.随着工作流程不断适应数字化,这对于自由职业者.业余视频编 ...
最新文章
- SSI —— 开源的人类行为分析解决方案
- vim 如何将特定范围行注释掉,以及在末尾添加注释
- 知乎超热门话题:为什么要考985?
- html三元运算符 模板,AngularJS模板中的三元运算符
- android 9.0 权限管理_你真的了解Android权限机制吗?
- 软件设计师22-存储器系统01
- 静态网站与动态网站的区别 静态网站生成工具
- 计算机专业岗位细分及学习必备清单
- python基础 - networkx 绘图总结
- excel画风玫瑰图_教大家Excel如何绘制线性玫瑰图
- python爬虫 爬取网页图片
- 矩阵知识:线性方程组解的情况
- 用了这么多年PPT才知道,按下这个键,200页Word秒转PPT
- 中国计算机大会 2018
- Linux下的Curses库的下载与安装
- FileSystemWatcher触发多次Change事件的解决办法
- 腾讯云服务器公网6M带宽实际下载/上传速度详细解释
- SSM 高校心理测评系统
- 安规之电气间隙和爬电距离
- 墨尔本大学计算机硕士gpa,2020年去墨尔本大学读硕士gpa成绩要求是多少?各专业入学要求汇总...