18.高性能MySQL --- 大文件传输

1.复制文件这个任务实际上就是完成以下事情的：1.(可选)压缩数据2.发送到另外一台服务器3.把数据解压缩到最终目的地4.在复制完成后，校验文件是否损坏2.一个简单是示例#server1# gzip -c /backup/mydb/mytable.MYD > mytable.MYD.gz#server1# scp mytable.MYD.gz root@server2:/var/lib/mysql/mydb/#server2# gunzip /var/lib/mysql/mydb/mytable.MYD.gz在server1上 gzip 既要读又要写，scp 在server1上读，在server2上写；gunzip 在server2 上既要读又要写。3.一步到位的方法#server1 gzip -c /backup/mydb/mytable.MYD | ssh root@server2 "gunzip -c - > /var/lib/mysql/mydb/mytable.MYD.gz"这个方法比第一个好，因为它极大的降低了磁盘IO，它将压缩，复制文件和在传输的另外一端解压缩文件全部放在一个步骤完成。磁盘活动被减少到只要在 server1 上读，server2 上写。也可以使用ssh内建的压缩来完成，但是我们展示的是用管道来做压缩和解压，这是因为这样能给你极大地灵活性。可以通过调整一些选项来提高这个方法的效率，例如给 gzip 增加选项 -l,使其压缩变得更快。4.避免加密的开销ssh 不是跨网传输数据最快的方法，因为它增加了加解密的系统开销。如果不需要加解密，那就使用 netcat 把'裸'数据进行跨网传输。可以通过nc以非交互方式操作调用这个工具。在 server2 上监听 12345 端口上的文件，把任何发送到该端口的东西都解压缩到期望的数据文件里。#server2 nc -l -p 12345 | gunzip -c - > /var/lib/mysql/mydb/mytable.MYD然后在server1上，开启另外一个netcat 实例，发送数据到目的服务器监听的端口上。-q 选项告诉netcat当到达输入文件的末尾时就关闭连接。这会触发监听实例关闭接收的文件并退出。#server1 gzip -c - /var/lib/mysql/mydb/mytable.MYD | nc -q 1 server2 12345更容易的技术是使用tar，这样文件名称也会通过网络发送出去，从而消除了另外一个错误来源，并会自动将文件写到正确的位置。z 选项告诉tar使用gzip做压缩和解压。#server2 nc -l -p 12345 | tar xvzf -#server1 tar cvzf - /var/lib/mysql/mydb/mytable.MYD | nc -q 1 server2 123455.其他选项另外一个选项是 rsync.rsync 非常简便，因为它易于在源和目标之间做镜像，并且还可以断点续传。但是，当它的二进制差异算法无法被很好的发挥时，它不会得到很好的应用。在知道文件中的大部分内容都不需要传输的场景下，例如，如果要续传一个中途退出的nc复制的任务，就可以考虑它。哪一种方法最快于你的系统，其中最大的因素是服务器上的磁盘驱动器，网卡和cpu的数量，以及它们之间相对的速度多快。有个不错的监控方式 vmstat -n 5,看磁盘或者cpu是否就是速度的瓶颈。如果有闲置的cpu，就可能通过运行并行的复制操作来加快。相反，如果cpu就是瓶颈，而磁盘和网络的承载能力还可以，就可以不压缩。

18.高性能MySQL --- 大文件传输相关推荐

MySQL大表传输表空间的坑
MySQL大表传输表空间的坑最近刚帮业务线拆分完数据库, 源环境遗留了一张700G的大表, 虽说现在不用了, 但是业务方还是不希望删掉, 于是打算把这张表迁移到归档库, 这样有需要是还可以查询. 7 ...
视频大文件传输的演变：从“卷轴男孩”到自动化
200年前,从纽约市到英国伦敦的单程旅行需要乘坐一艘跨大西洋轮船将近三周--如果你能负担得起的话,那就是.那些不能在满是汗水.狭窄的帆船上安顿大约一个半月的人. 今天,视频专业人士能够在几小时甚至几分 ...
linux 传输大文件大小,Linux大文件传输(转)
我们经常需要在机器之间传输文件.比如备份,复制数据等等.这个是很常见,也是很简单的.用scp或者rsync就能很好的完成任务.但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重 ...
镭速联合Azure Blob 存储，重塑大文件传输平台存储架构
Azure Blob 存储是Microsoft 提供的适用于云原生工作负载.存档.数据湖.高性能计算和机器学习的可大规模缩放且安全的对象存储,是目前市场上唯一一种可为低延时和交互式方案提供基于SSD的 ...
4种大文件传输工具和软件，用于共享大文件
无论是个人还是与团队一起工作,大文件传输软件和网站都能协助提高工作效率.有效地管理工作内容.疫情原因有时我们不得不居家办公,在这种情况下可以分享文件的工具就显得尤为重要. 每个公司都需要一个文件传输软 ...
大文件传输有哪些方式可用？大文件传输有哪些方式？
大文件传输有哪些方式可用?大文件传输有哪些方式?互联网时代,速度决定效率.在企业生产过程中需要进行信息数据交换.搬运.这时就需要进行大文件传输.方方面面的行业都要涉及到大文件传输.例如影视行业需要每天 ...
基于TCP的大文件传输c语言项目
文章目录前言:功能实现 tcp文件传输的基本过程: 1.用户登录 1.1创建数据库 2.文件普通下载和上传的实现: 2.1 普通下载 2.2 普通上传 2.3 文件秒上传的实现 2.断点下载和断点上 ...
c++ udp多线程例子_[内附完整源码和文档] 基于udp实现tcp功能进行大文件传输
一.项目要求 Please choose one of following programing languages: C, C++, Java, Python; 本项目采用的是python3.6 L ...
邮箱附件、QQ、微信等社交工具大文件传输解决方案
工具说明:适用于邮箱附件.QQ.微信.钉钉.网盘等场景的大文件分割存储和传输. 下载地址:https://download.csdn.net/download/hj960511/85012515 作者 ...
java rmi 文件传输_JAVA-RMI实现大文件传输
在使用java-rmi的过程中,必然会遇到一个文件上传的问题,由于在rmi中无法传输文件流(比如rmi中的方法参数不能是FileInputStream之类的),那么我们只好选择一种折中的办法,就是先用 ...

18.高性能MySQL --- 大文件传输

18.高性能MySQL --- 大文件传输相关推荐

最新文章

热门文章