让远程传输大文件变得更快

我是在两台虚拟机做的测试。

如果用传统SCP远程拷贝，速度是比较慢的，如图：

现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

项目主页：http://code.google.com/p/lz4/

安装（在本地和远程均安装lz4压缩工具）

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install

远程传输

1	`time` `tar` `-c aa.img \|pv\|lz4 -B4\|ssh` `192.168.17.129` `"lz4 -d \|tar -xC /root/"`

传输2G的文件，速度是119M/S，花费了17秒传输完毕。

本文转自hcymysql51CTO博客，原文链接：http://blog.51cto.com/hcymysql/1328071 ，如需转载请自行联系原作者

让远程传输大文件变得更快相关推荐

远程传输大文件使用什么平台好呢？
远程传输大文件使用什么平台好呢?小文件倒是还可以通过QQ这样的方式进行传输,但是它对传输文件的大小有所限制,传输大文件就行不通了. 远程传输大文件使用什么平台好呢?传输大文件一个是要求传输稳定,不能说 ...
Windows远程桌面传输大文件出错：未指定的错误
Windows远程桌面传输大文件出错:未指定的错误 1.软件环境⚙️ 2.问题描述
为什么都说Dubbo不适合传输大文件？Dubbo支持的协议
背景之前公司有一个 Dubbo 服务,内部封装了腾讯云的对象存储服务 SDK,是为了统一管理这种三方服务的SDK,其他系统直接调用这个对象存储的 Dubbo 服务.用来避免因平台 SDK 出现不兼容 ...
如何快速传输大文件，介绍大文件快速方法
现在,企业比以往任何时候都面临着一个重大挑战:需要一个快速共享文件的解决方案.但是,并非所有快速文件传输解决方案都以相同的速度传输文件.文件大小.端点位置.路径.设备.防火墙.网络系统和加密需求都会限 ...
四种企业传输大文件的方法
如今,发送数GB大小的文件变得越来越普遍.例如,在我们的日常办公中,接收超过100MB的日志数据的zip文件是正常的.虽然看起来这只是一个高度专业化的案例,但在科技行业中却很常见. 在影视行业中,单个 ...
LSM树——LSM 将B+树等结构昂贵的随机IO变的更快，而代价就是读操作要处理大量的索引文件(sstable)而不是一个，另外还是一些IO被合并操作消耗。...
Basic Compaction 为了保持LSM的读操作相对较快,维护并减少sstable文件的个数是很重要的,所以让我们更深入的看一下合并操作.这个过程有一点儿像一般垃圾回收算法. 当一定数量的ss ...
JAVA实现服务器间拷贝文件,寻找在Java服务器之间传输大文件的好方法
在这个项目中有一个主要的数据库服务器,其他安装在不同地方的服务器维护着自己的本地数据库.我们必须允许每个系统将其本地数据库更新为主要数据库上的任何版本.所有的服务器都运行Java环境.寻找在Java服 ...
局域网只看到少数电脑_利用局域网高速传输大文件的两种方法
点击蓝字,关注我们说到传输文件,我们可能很容易想到使用微信或者QQ发送文件,如果没有连接网络的话,可以考虑使用U盘或数据线,当然也可以使用第三方的共享文件,比如说茄子快传.以上方法的缺点自然是很明显 ...
HTTP 如何传输大文件
数据压缩浏览器在发送请求时都会带着 Accept-Encoding 头字段,里面是浏览器支持的压缩格式列表,例如 gzip.deflate.br 等,这样服务器就可以从中选择一种压缩算法,放进 Co ...

让远程传输大文件变得更快

让远程传输大文件变得更快相关推荐

最新文章

热门文章