命令行的“迅雷”，提升百倍以上下载速率

现在从国外一些服务器下载数据实在是太慢了，虽然可是使用 aspera 等工具下载 ncbi 的数据，但是并不是所有站点都支持 aspera。无奈只能使用 curl 或者 wget 下载。尽管我使用的是 100M 的企业网，有些数据还是慢。这时候就可以使用 axel 工具了。axel 是 Linux 下一个高速下载工具。支持多来源、多线程、断点续传。也就是可以从多个地址或者从一个地址的多个连接来下载同一个文件，类似迅雷，总之就是下载速度比 wget 快，而且快很多。

软件安装

由于我使用 CentOS 系统，可以使用 yum 命令直接安装，ubuntu 使用 apt 工具应该类似。

yum install -y axel

软件使用

软件的使用非常用以，和 wget 类似，后面直接接下载文件路径即可。这里面有两个选项参数比较重要，第一个最重要的就是 --num-connections，-n，指定最大连接来源的数目，这也是我们使用 axel 的目的吗，连接数越多，下载速度越快，理论上来说，应该是原来的 1/n，另外一个是 -q，不弹出屏幕输出信息。

# 软件选项参数：--max-speed=x        -s x    最高速度 x--num-connections=x  -n x    连接数 x--output=f           -o f    下载为本地文件 f--search[=x]         -S [x]  搜索镜像--header=x           -H x    添加头文件字符串 x（指定 HTTP header）--user-agent=x       -U x    设置用户代理（指定 HTTP user agent）--no-proxy           -N      不使用代理服务器--quiet              -q      静默模式--verbose            -v      更多状态信息--alternate          -a      Alternate progress indicator--help               -h      帮助--version            -V      版本信息

举个例子

我们来做个测试，从 ncbi 下载 swissprot 数据库，这文件大概 140 多 M。

ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz

首先使用 wget 进行下载，网速大概在 20Kb/s。

wget ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz

然后我们使用 axel 进行下载，-n 设置为 50，平均下载数据在 3M/s，提升还是非常明显的，尤其是一些比较难下载的资源。

axel -n 50 ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz

——The End——

本文分享自微信公众号 - 生信科技爱好者（bioitee）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

命令行的“迅雷”，提升百倍以上下载速率相关推荐

命令行的迅雷，这样用会更香
王通老师在他的 "基因学苑" 公众号,发表过一篇<命令行的"迅雷",提升百倍以上下载速率>的文章,给我们简单介绍了 axel 这个命令行下多线程下载 ...
学会针对永洪API接口的性能测试，工作效率提升百倍
性能测试是指针对产品的业务场景,通过设计场景和压力,对产品进行高并发量.大数据量的测试,主要目的是为了确定产品在高并发情况下的各项指标:平均处理时间,QPS,网络IO,磁盘读写等.永洪BI具有高耦合性 ...
使用分布式图计算系统实现研报关键词权重分数计算性能提升百倍以上
使用图计算系统实现研报关键词权重分数计算性能提升百倍以上使用图计算系统实现研报关键词权重分数计算性能提升百倍以上一.数据模型二.TF-IDF算法三.计算过程 3.1 指定研报和关键词计算TF- ...
Excel教程：规范Excel表格设计，让工作效率提升百倍不止
在工作中我们经常需要花费大量的时间来整理表格,而真正用在数据汇总的时间可能仅仅只有几分钟,这也就是所谓的,整理5小时汇总2分钟,所以说规范的设计表格以及录入数据会大大的提高我们的工作效率,让工作效率提 ...
names文件和data文件_data.table让你的读取速度提升百倍
不知道大家有没有用read.table和read.csv读取过文件,当文件不大的时候你可能还感觉不出读取速度,但是当文件比较大的时候,比如有上万行的时候,你就会感觉到等待时间明显变长,甚至无法忍受. ...
typora 分割线_实战 | 五分钟，使用Typora+PicGo提升百倍写作效率
学习和工作中,我们经常需要写作.如果你正在学习编程,可能会写篇学习笔记记录一下.如果你是一名开发者,可能会写篇技术文档或者接口文档.如果一是一名博主,可能会写篇文章分享知识.又或者写篇散文,抒发下内心 ...
未来的 AI 芯片将提升百倍性能！
[CSDN编者按]随着机器学习和深度学习技术的不断应用,AI 的落地场景越来越多,极大地提升了研发效率和应用功能.与此同时,本文的作者还认为,AI 的应用还将深刻地影响芯片市场,借助 AI 重塑芯片设 ...
腾讯云数据库开源再突破：TDSQL PG版查询性能提升百倍
日前,腾讯云数据库开源产品TDSQL PG版(开源代号TBase)宣布推出重磅升级--经过一年半的打磨,上万张表访问场景下,内存占用节省60%:查询性能提升百倍:SQL语句兼容性增强.同时,大力提升原 ...
numba 让python速度提升百倍
本文仅供学习交流使用,如侵立删!demo下载见文末 python由于它动态解释性语言的特性,跑起代码来相比java.c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势 ...

命令行的“迅雷”，提升百倍以上下载速率

命令行的“迅雷”，提升百倍以上下载速率相关推荐

最新文章

热门文章