首先声明,这篇文章不是广告,只是觉得这个方法还不错,分享一下!

我们做生物信息的,经常会需要下载一些数据库,基本上来自国外的,由于海底光缆是稀缺资源,再加上现在美国铁了心要与我们切割,国外网站的网速就慢的可怜了,有钱的单位或许可以找运营商拉一条专线,而我们可能只有自己想想办法了。

就拿宏基因组分析所需的数据库来说吧,单单物种的分类注释,基本上是要把世界上已经测序和研究的所有细菌、病毒的序列都下载下来,大小可想而知了,至少几十个G的数据是有的。如果构建一个宏基因组的分析数据库,可能仅数据库下载就是一个相当浪费时间的大工程,大概从国外下载好了邮寄硬盘也能到了,当然,这个有点不现实。

使用云服务试试

这里,我觉得各家云服务商应该有好办法,毕竟它们肯定有专线来保证各个运营区域的数据传输速度。这里,我选择了腾讯云,因为之前一直用的这个,习惯了。新建用户,充值的步骤就省略了。

我的逻辑是这样的,画个图吧,清楚点!

这样就利用了云服务器提供商的高速互联网络实现了数据库的快速下载。具体步骤如下:

新建云服务器

这个很简单,主要注意选择按量付费,不要选择预付费,这样的产品最低配的只要1毛钱左右一个小时,我们足够用了。


因为流量是按量计费的,所以带宽可以拉到最大,不多花钱,还能节约时间,一举两得。1块1小时,贵点,没办法,需要数据嘛。

图上的价格是以前截取的,没用重新截图。

至此,服务器购买完成,可以进行数据下载了。

下载数据和制作镜像

一般wget或者axel下载了,外网环境wget基本就够了,十M每秒的下载速度应该能轻松达到。
比如我这里下载个miniKraken的数据库,大约5G多,下载是个小问题。
首先选择登陆-标准方式-立即登陆,输入用户名和密码就可以了。

wget ftp://ftp.ccb.jhu.edu/pub/data/kraken2_dbs/old/minikraken2_v1_8GB_201904.tgz

大约10分钟下载完成,国内是10K的速度,两者相差了100倍以上。。。

更多-制作镜像,起个名字就可以了。

跨区复制

选择左侧-镜像选项,然后选择更多-跨地域复制,复制到一个国大陆的服务区域(最好离你最近的区域,按说更快,虽然国内速度应该差不多),然后使按照第一步在这个区域再建一个云服务器就可以了。然后,使用filezilla下载下来就好了。
另外,发现用QQ离线传数据也比较快,能达到几M每秒,如果服务器装个windows server+QQ应该就可以免费使用腾讯的CDN下载数据了,能省下流量费,云服务器从网络下载数据不收费的,传输到本地收费。改天可以试下。

今天测试下QQ离线传输,先开通按量计费的服务器,1核2G ,Windows Server 2012 R2 数据中心版 64位中文版(这个相当于win8,应该就)够用了,约3毛1小时,数据是1元/G,但是内网传输和从外网下载到服务器应该不收费的。看看QQ离线传输收费情况。
发现文件大于4G没法发送,所以考虑压缩,压缩考验CPU,所以多核心有优势,可以衡量下时间和成本,看配置几核心合适。
再试试QQ邮箱大附件传输咋样,好吧单个文件不能超过3G。那就分卷压缩下,真是不容易呀!

qq离线传输速度在1-2M/s左右,我觉得这个速度也可以勉强接受了。但是每天有流量限制,普通用户每天2G流量,会员每天6G-2T流量不等,看来还得开个会员,也无可厚非,使用服务,就付费,相比流量费还是相对划算的。

其他的方法:
1、试试开迅雷会员有没有速度,小窍门,先试用会员有没有速度,如果试用都没有速度,也就不必开了。其他多线程下载工具也可以测试,motrix这种。
2、试试百度云离线下载有没有速度,或许速度很快。
3、如果下载的文件很多,可以考虑开个包月的VPS,宽带包月的话会相对实惠,要找一个带宽所需时间与成本的平衡。

好了,就到这里了,你有没有更好的数据下载方式,欢迎分享。

下载国外大数据库不用愁相关推荐

  1. mysql数据库搬家,MySQL数据库迁移上云-数据搬家不用愁

    MySQL数据库迁移上云 数据搬"家"不用愁 随着数字化时代的发展,越来越多的企业开始数字化转型.云上数据库能提升对数据库的使用及管理效率,给企业带来了很大经济效益.那么如何安全有 ...

  2. 下载国外网站资料需java_Java开发必知道的国外10大网站

    1.https://www.google.com/ 不解释 2.https://stackoverflow.com 里面包含各种开发遇到的问题及答案,质量比较高. 3.https://github.c ...

  3. 未来十年 计算机人才缺口大吗,科技强国:未来十年,三个人才缺口大的金牌工科专业,年薪不用愁...

    我国的科技水平越来越高了,不过,虽然我们的科研人员能够自主开发操作系统,能够自主研发芯片,但是我们的水平和世界顶尖水平还有一定的差距,自主自立是几代科研人员的梦想.很多学生都希望能够参与到科技强国的道 ...

  4. 珍藏多年的神网站都捐了,你需要的我都有,有了这些网站工作生活不用愁(二)

    注重版权,转载请注明原作者和原文链接 作者:码农BookSea 原文链接:https://editor.csdn.net/md?articleId=106149876 之前我写过一期博客: 珍藏多年的 ...

  5. 国内下载国外数据集(库)方案整理

    在科研过程中常常需要下载国外数据集,但鉴于国内网络环境往往无法访问.本文总结了一些下载方案,所介绍的方案适用于没有梯子,或梯子流量不够的情况. 方案一 可以试试直接用迅雷能否下载,试试百度云盘的离线下 ...

  6. 视频教程-PPT吸金大法 20+万年薪工作总结不用愁-Office/WPS

    PPT吸金大法 20+万年薪工作总结不用愁 优就业互联网营销首席讲师 精通各大搜索引擎原理,对SEO有深入的研究和独到见解,擅长站内与站外优化与策略部署.熟悉常用的Web项目开发技术,擅长营销型.成交 ...

  7. 如何准备毕业论文写作?简单,论文不用愁!

    如何准备毕业论文写作?简单,论文不用愁! 1 首先最重要也是最关键的一步:需要搜集跟论文题目相关的文献资料,一般本科会要求15-20篇,比较好的大学会要求在30篇左右,不能全部都是中文的哈,大家也搜点 ...

  8. 小米手机系统脚本上传服务器文件,学会这几招,MIUI传文件不用愁

    原标题:学会这几招,MIUI传文件不用愁 生活中总会遇到这样的困扰,想要传文件的时候不知道用什么方式传输.想和朋友分享一个好玩的APP,纠结于怎样传送.既想节省流量,又得传输速度快,省时间.好在注重用 ...

  9. 换新NAS不用愁,3种数据迁移方法教你轻松学会

    NAS 虽然一台能用很久 但总免不了升级换代 如何优雅地将数据 从之前的群晖 NAS 中 迁移到全新的NAS里呢? 小编给大家准备了三个方案 大家可以根据自己的实际情况 进行选择~ 01 Hyper ...

最新文章

  1. [翻译] WPAttributedMarkup
  2. 【探索】Web新概念——资料横向显示(欢迎点评)
  3. Hibernate中启用日志
  4. 4.OD-调试示例1
  5. Oracle入门(十五)之数据库锁
  6. js 更改json的 key
  7. 5001 boost之bind库函数
  8. SWAP Detector:GrammaTech 开源 DevOps 应用安全测试工具
  9. R与Python手牵手:特征工程(数值型变换)
  10. c语言运行全屏,怎么用代码控制C源程序运行时窗口是全屏的?
  11. centerOs底下安装mysql
  12. 书评--把信送给加西亚
  13. 赌运挖洞之Apache目录浏览
  14. Android 客户端Socket 与 Java服务端ServerSocket
  15. OC xcode 两个view重叠,先后层次关系的调整
  16. 淘宝接口 TopAPi(转)
  17. 自定义dialog 可以读秒自动关闭
  18. cout和std::cout的区别
  19. 软考信息系统监理师,2016年4月1日作业
  20. 深度学习实战(2)用Pytorch搭建双向LSTM

热门文章

  1. 即时聊天表情功能的实现
  2. 【附源码】计算机毕业设计SSM物料追溯系统
  3. 第1章 SQL Server基本操作
  4. Oracle入门知识
  5. 二叉树的堂兄弟节点(2种实现方式)
  6. 爬取豌豆荚app数据
  7. java使用poi导出Excel表发回浏览器或是保存到本地
  8. Ubuntu16.04下Opencv3.4.5的卸载与带cuda安装
  9. CorelDRAWX4的C++插件开发(四十)纯C++插件开发(4)继承插件结构体IVGAppPlugin和自动化接口IDispatch
  10. 直播进场特效设置解决方案