场景

超大文件现在还是蛮常用的，尤其使用第三方数据库(集)资料时，都需要先进行下载。这不一个朋友就遇到了这个需求：

100多个G，先不说电脑内存，就是硬盘一般人的办公电脑估计都得腾点空间出来，更别提下载了。即使能达到网速1M/s且保持不便，那也得30个小时吧，但是现实是几乎不太现实，因为网速很不稳定，如果网断了，没办法续传，需要重头开始下载，这就很难搞。so针对这种方式该怎么下载呢？

迅雷什么的是否可以下载我倒没有尝试？不过看到过一个下载工具internetdownloadmanager(30天免费), 有兴趣的可以尝试下。这些工具先不说好不好用，绝大多数都需要VIP，甚至区分白金，黄金，钻石，星耀，王者，简直恶心死人。对于程序员，绝对不能惯着这些臭毛病，

思路：将大文件拆分成多个小文件单独下载，如果允许，你也可以多线程下载；下载完毕后，再将小文件们拼接在一起即可。

工具：Linux环境，curl, cat

难度：对于程序员，几乎没有；对于非程序员，windows上安装curl工具比较靠谱点，也可以安装一个WSL子系统

操作步骤

1. 指定文件大小，逐个下载

比如我想下载那个100G的文件，准备拆分成100个文件，每个文件1G，然后使用curl工具分别下载，通过range指定下载文件的开始和结束位置：

curl --range 0-1024000000 -o test.part1 https://kero.hgc.jp/cgi-bin/download/long_read/adenocarcinoma_cell_lines/genome/promethion/LC2ad/PromethION_LC2ad_30x.sorted.bamcurl --range 1024000001-2048000000 -o test.part2 https://kero.hgc.jp/cgi-bin/download/long_read/adenocarcinoma_cell_lines/genome/promethion/LC2ad/PromethION_LC2ad_30x.sorted.bamcurl --range 2048000001-4096000000 -o test.part3 https://kero.hgc.jp/cgi-bin/download/long_read/adenocarcinoma_cell_lines/genome/promethion/LC2ad/PromethION_LC2ad_30x.sorted.bam... ...

1G = 1024 x 1024 x 1024 字节。上面由于不想计算，so直接用0代替了，因此下载文件时单个文件不够1G

2. 文件拼接

文件拼接直接通过cat工具即可。他们会自己按照序号顺序进行拼接

 cat test.part? > aaa.bam

3. 验证文件完整性

很多正经的官网，提供系统镜像时会提供MD5，SHA完整性校验值，因此可以对拼接后的文件计算MD5值；如果一样，说明文件下载没有问题；如果不一样，说明文件下载有问题。

当然，如果没有提供相应的校验，那就不用验证了，直接看看下载的文件能否使用就知道了。因为如果文件有损坏，正常情况下是无法打开的。

4. 问题定位

我当时使用几个24M的小文件进行测试(分了3个文件下载)，拼接后发现MD5不一样，于是乎我使用BeyondCompare工具把文件的二进制进行了比较：
比较后发现多了两个字节，后来发现是我range范围写重复导致的。重新修改了范围后，重新下载拼接发现是可行的。

后续

感觉可以去写一个下载工具了，支持并发下载大文件，哈哈哈

程序员的超大文件下载方法相关推荐

程序员保护眼睛的方法
程序员保护眼睛的方法将编程工具的主题改成黑色将编程工具的字号调大将电脑的主题调成黑色使用大屏显示器每工作20分钟远望20秒,每工作1小时离开座位(上厕所.接水) 1. 将编程工具的主题改成黑 ...
成为优秀程序员的8种方法
成为优秀程序员的8种方法是时候认真对待如何提高你的编程技能了.让我们开始吧! "成为一个牛逼的程序员"是一个看似很容易实现的职业生涯改进目标,但其实这并非是一个简单的目标.一方面 ...
软考程序员Java答题速成_软考程序员考试试题解答方法与技巧
如果说程序员考试解上午题无技巧可言的话,那么解下午题就是70%的实力加30%的方法与技巧,若运用到极致的话,会是"四两拨千斤".下面就来看一下程序员下午题解题步骤和解题技巧,以供考 ...
黑马程序员 oc对象的方法成员变量
-----------黑马程序员 IOS培训.Android培训.Java培训.期待与您交流---------------- #import <Foundation/Foundation.h&g ...
程序员学好英语的方法（转）
英语对每个人来说都很重要,对于程序员来说尤其的重要,因为一些框架都是外国大佬写的,我们要时时的阅读 API,而这些 API 大多数都是英文了,所以我们程序员对英语的要求还是蛮高的.下面我整理的一些学习 ...
让程序员大跌眼镜的重载方法的调用
我们在调用一个虚方法的时候,jvm会在适当的时候帮我们选择合适的方法版本,有的时候在编译期.有时是在运行时,这个方法版本的选择过程我们可以称之为[方法分派]. 举例: public class Hum ...
程序员财富自由的方法
https://mp.weixin.qq.com/s/7ova51wcWfVK9MhKW-S0Rw 个人赚取收入的本质是:出售时间.从这个角度出发,下面的公式可以描述个人收入: 个人收入 = 每天可售 ...
成为更好程序员的7个方法
程序员总是有很多的决定,不是吗?如果你的新年待办事项还是空白的话,那么可以考虑使用下面这些程序员的想法.即使是最聪明的人,也还有成长空间.以下内容摘录自 Kevlin Henney 的<程序员应 ...
2014，成为更好程序员的7个方法
本文由伯乐在线 - haofly 翻译.未经许可,禁止转载! 英文出处:Amy Jollymore.欢迎加入翻译小组. 程序员总是有很多的决定,不是吗?如果你的新年待办事项还是空白的话,那么可以考虑 ...
程序员致富的若干方法探讨
前一阵收到一封网友的来信,信中提到了他在提高个人收入和未来发展中的一些困惑,这也是我们许多学员和网友经常找我咨询的一件事情,颇具普遍性,故写此博与大家探讨和分享一下. 原信内容如下: -------- ...

程序员的超大文件下载方法

场景