Http的多线程下载

a、对于网络上的一个资源，首先发送一个请求，从返回的Content-Length中回去需要下载文件的大小，然后根据文件大小创建一个文件。
b、根据线程数和文件大小，为每个线程分配下载的字节区间，然后每个线程向服务器发送请求，获取这段字节区间的文件内容。
c、利用RandomAccessFile的seek方法，多线程同时往一个文件中写入字节。

【HTTP之Range】

　1、什么是Range？

　　当用户在听一首歌的时候，如果听到一半（网络下载了一半），网络断掉了，用户需要继续听的时候，文件服务器不支持断点的话，则用户需要重新下载这个文件。而Range支持的话，客户端应该记录了之前已经读取的文件范围，网络恢复之后，则向服务器发送读取剩余Range的请求，服务端只需要发送客户端请求的那部分内容，而不用整个文件发送回客户端，以此节省网络带宽。

　2、HTTP1.1规范的Range是怎样一个约定呢？

　　如果Server支持Range，首先就要告诉客户端，咱支持Range，之后客户端才可能发起带Range的请求。这里套用唐僧的一句话，你不说我怎么知道呢。response.setHeader(‘Accept-Ranges’, ‘bytes’);

　　Server通过请求头中的Range: bytes=0-xxx来判断是否是做Range请求，如果这个值存在而且有效，则只发回请求的那部分文件内容，响应的状态码变成206，表示Partial Content，并设置Content-Range。如果无效，则返回416状态码，表明Request Range Not Satisfiable（http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html#sec10.4.17 ）。如果不包含Range的请求头，则继续通过常规的方式响应。

package com.zhy.mutilthread_download;  import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;  public class MultipartThreadDownloador
{  /** * 需要下载资源的地址 */  private String urlStr;  /** * 下载的文件 */  private File localFile;  /** * 需要下载文件的存放的本地文件夹路径 */  private String dirStr;  /** * 存储到本地的文件名 */  private String filename;  /** * 开启的线程数量 */  private int threadCount;  /** * 下载文件的大小 */  private long fileSize;  public MultipartThreadDownloador(String urlStr, String dirStr,  String filename, int threadCount)  {  this.urlStr = urlStr;  this.dirStr = dirStr;  this.filename = filename;  this.threadCount = threadCount;  }  public void download() throws IOException  {  createFileByUrl();  /** * 计算每个线程需要下载的数据长度 */  long block = fileSize % threadCount == 0 ? fileSize / threadCount  : fileSize / threadCount + 1;  for (int i = 0; i < threadCount; i++)  {  long start = i * block;  long end = start + block >= fileSize ? fileSize : start + block - 1;  new DownloadThread(new URL(urlStr), localFile, start, end).start();  }  }  /** * 根据资源的URL获取资源的大小，以及在本地创建文件 */  public void createFileByUrl() throws IOException  {  URL url = new URL(urlStr);  HttpURLConnection conn = (HttpURLConnection) url.openConnection();  conn.setConnectTimeout(15 * 1000);  conn.setRequestMethod("GET");  conn.setRequestProperty(  "Accept",  "image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");  conn.setRequestProperty("Accept-Language", "zh-CN");  conn.setRequestProperty("Referer", urlStr);  conn.setRequestProperty("Charset", "UTF-8");  conn.setRequestProperty(  "User-Agent",  "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)");  conn.setRequestProperty("Connection", "Keep-Alive");  conn.connect();  if (conn.getResponseCode() == 200)  {  this.fileSize = conn.getContentLength();// 根据响应获取文件大小  if (fileSize <= 0)  throw new RuntimeException(  "the file that you download has a wrong size ... ");  File dir = new File(dirStr);  if (!dir.exists())  dir.mkdirs();  this.localFile = new File(dir, filename);  RandomAccessFile raf = new RandomAccessFile(this.localFile, "rw");  raf.setLength(fileSize);  raf.close();  System.out.println("需要下载的文件大小为 :" + this.fileSize + " , 存储位置为： "  + dirStr + "/" + filename);  } else  {  throw new RuntimeException("url that you conneted has error ...");  }  }  private class DownloadThread extends Thread  {  /**  * 下载文件的URI  */  private URL url;  /** * 存的本地路径 */  private File localFile;  /** * 是否结束 */  private boolean isFinish;  /** * 开始的位置 */  private Long startPos;  /** * 结束位置 */  private Long endPos;  public DownloadThread(URL url, File savefile, Long startPos, Long endPos)  {  this.url = url;  this.localFile = savefile;  this.startPos = startPos;  this.endPos = endPos;  }  @Override  public void run()  {  System.out.println(Thread.currentThread().getName() + "开始下载...");  try  {  HttpURLConnection conn = (HttpURLConnection) url  .openConnection();  conn.setConnectTimeout(15 * 1000);  conn.setRequestMethod("GET");  conn.setRequestProperty(  "Accept",  "image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");  conn.setRequestProperty("Accept-Language", "zh-CN");  conn.setRequestProperty("Referer", url.toString());  conn.setRequestProperty("Charset", "UTF-8");  conn.setRequestProperty("Range", "bytes=" + startPos + "-"  + endPos);// 设置获取实体数据的范围  conn.setRequestProperty(  "User-Agent",  "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)");  conn.setRequestProperty("Connection", "Keep-Alive");  conn.connect();  /**  * 代表服务器已经成功处理了部分GET请求  */  if (conn.getResponseCode() == 206)  {  InputStream is = conn.getInputStream();  int len = 0;  byte[] buf = new byte[1024];  RandomAccessFile raf = new RandomAccessFile(localFile,  "rwd");  raf.seek(startPos);  while ((len = is.read(buf)) != -1)  {  raf.write(buf, 0, len);  }  raf.close();  is.close();  System.out.println(Thread.currentThread().getName()  + "完成下载  ： " + startPos + " -- " + endPos);  this.isFinish = true;  } else  {  throw new RuntimeException(  "url that you conneted has error ...");  }  } catch (IOException e)  {  e.printStackTrace();  }  }  }  public static void main(String[] args)  {  try  {  new MultipartThreadDownloador("http://img.firefoxchina.cn/2016/09/5/201609141103140.jpg",  "D:\\KwDownload", "dd.jpg", 2).download();  } catch (IOException e)  {  e.printStackTrace();  }  }  }

Http的多线程下载相关推荐

libcurl使用多线程下载大文件源码示例！
使用libcurl多线程下载大文件的基本思想: 首选打开文件,将文件等分为指定的片段,使用http range下载,一个线程下载一个片段,当线程下载片段时,它们将数据写到打开文件的指定位置,类似BT文 ...
[Mac] mac linux 多线程下载利器 axel
> 之前做过一些文件下载的统计,发现谷歌浏览器chrome和火狐firefox, 一般都是单线程的下载文件,360浏览器却是多线程的下载. 如今切换到了mac上,发现没有360哪个浏览器,就像 ...
基于流式的md5计算-多线程下载工具Lwget介绍
在数据传输的时候,我们希望实现以下目标: 1. 使用多线程传输,加速下载速度 2. 数据在传输过程中,进行流式md5计算,避免在传输完毕之后校验大文件 3. 支持断点续传 4. 支持http协议和ft ...
断点续传---多线程下载进阶（一）
打算总结7篇笔记.来学习下断点续传---多线程下载进阶 AndroidManifest.xml <?xml version="1.0" encoding="utf- ...
Android -- 多线程下载
因为Android应用程序是java写的,基本上很多java写的程序都可以直接照搬到Android上面,移植性非常Good.这里讲一下多线程下载,就是每个线程都下载自己的那部分,那么就需要平均分配分割 ...
Android 多线程下载显示进度速度
功能要求:从网络下载一APK应用,显示下载速度.进度,并安装应用. 运行效果图: 工程结构图: 很简单,就一个activity,一个更新UI的线程,一个下载线程加个文件处理类主要代码: /***多线 ...
多线程下载问题（IDHTTP）
小弟写了一个多线程下载的程序,总是有死循环的迹象,不过我认为可能是产生了死锁.可是当单步跟踪的时候产生错误大家帮小弟看看啊: unit IndyMThread; ...
android 多线程下载，断点续传，线程池
android 多线程下载,断点续传,线程池你可以在这里看到这个demo的源码: https://github.com/onlynight/MultiThreadDownloader 效果图这张效 ...
python代码示例下载-Python实现多线程下载脚本的示例代码
0x01 分析一个简单的多线程下载资源的Python脚本,主要实现部分包含两个类: Download类:包含download()和get_complete_rate()两种方法.download() ...
Android 模拟多线程下载
以下是一个多线程下载的例子,见代码: 1.首先是布局文件 1 <?xml version="1.0" encoding="utf-8"?> 2 &l ...

Http的多线程下载

Http的多线程下载相关推荐

最新文章

热门文章