Android高速下载器实现思路——单个任务的提速与优化
更新
更新了一下断点下载的实现部分,根据大家的评论做了一些更正和完善。
前言
最近过了金三银四的金三,顺利拿到了暑假实习生的offer。实习部门leader给我布置了入职前学习任务,强化多线程、数据库方面的知识,并建议我实现一个和他们产品中类似的下载器。
实现思路
本文的重点在下载部分的实现。目前我也正在做单个任务下载开发与优化。后续更新完成后如果有好的思路也会分享给大家。 项目地址是:github.com/SirLYC/Yuch… (处于开发中)
断点下载
首先,下载器有断点续传功能,断点续传实现的基础知识就是HTTP协议中的Range头部。比如,一个文件有500bytes,我要从第200个bytes下载,就在请求的头部添加一个key为Range
的项,内容是bytes=200-
。因此,在实现的时候,我们需要记录当前的下载量,在恢复下载的时候,就可以从上次的当前下载量开始下载,节省用户流量。
但是并不是所有的服务器都支持断点下载。因此,可以在正式的下载前先发一个请求,在请求中添加Range
字段,顺带也可以通过这种方式获取文件长度(ContentLength
首部)。
而之前在评论区有小伙伴说添加Range
怎样获取文件文件长度的问题。我发送的请求Range
字段的值是bytes=0-
,是从第0个字节开始请求文件。因此,如果这个请求能够正常的返回,并且有contentLength
头部,那就一定是文件总长度。bytes=0-
表示请求全部文件,但是对于支持断点续传的服务器,也是会返回206 partial content
(我测试过几个链接,都是这样)。
关于这一点我也不敢说非常肯定,但按照协议,在有
Range
字段时,服务器,服务器应该做的是检查Range
是否合理,只要合理并且支持就是206
返回。
但如果服务器返回416表示不支持呢?这个时候我们就不能获取到不支持断点的文件长度了,因此我之前的代码实现可能会有问题。实际上还有这个字段If-Range
,如果服务器支持断点,会返回206,不支持的话就会返回200并附带全部内容,这样就可以解决这个问题了。
对于bytes=0-
可能支持断点的服务器会判断一下返回200的情况,我也想了另一个方法:请求一个字节。使用If-Range=0-0
去请求,支持断点时返回Content-Range
获取文件总长度。这种方式下,对于下载文件只有1个字节的情况,就算返回的不是206是200(全部返回),是否用断点无差别。
评论区还有小伙伴问到,万一服务器不支持怎么办?我认为,首先,对于产品来讲,首先要适配大部分的情况,而下载的例子,大部分情况就是网络协议,我们认为服务器会按照协议要求来实现,这也是为什么我直接使用前面的方法去检测是否支持断点续传。在实际生产环境中,如果遇到了部分不遵守协议的服务器,就只能做特殊处理了,但实际上这个特殊处理有没有必要呢?这就仁者见仁智者见智了。
这里简单说一下下载文件的原理。在一个GET请求时,服务器首先会把头部报文全部返回给你,如果是下载文件,一般来说都是流下载,有一个标志会告诉你
responseBody
是流。而HTTP
又是基于TCP
的,这个流实际上就是TCP
的流,在Java中对应的就是InputStream
。流可以看作是一个只能向后走的指针,指针指向下一个待读取的字节,并且读取了一个才能读下一个。因此,如果暂停恢复不用部分请求的话,你必须得把前面下载过的字节全部接受一遍,这显然浪费了时间和流量。
多线程下载
首先要知道,多线程是基于断点下载的原理。一个文件实际上就是二进制数据,把文件拆分成多个段,每个线程下载各自的段。因此每个线程在请求时需要控制文件起始和结尾,给每一个线程分配下载的段。因此,不支持断点续传的服务器是不能用多线程下载的。
那为什么多线程下载可以提速呢?首先比较显然的一点是多线程可以利用CPU多核的特性,在相同时间内完成更多的任务。但事实上基于这一点不会提高多大的速度,因为接收端的总带宽是一定的。想象一个这个场景:
上面的小水管就是我们的服务端连接,每个连接限制了最大带宽。大水管就是接收端,接收端带宽一定。当我们启用一个小水管时,我们可以获得的最大流速是min(小水管、大水管)。当我们启用多个水管时,最大速度是min(小水管1+小水管2+...+小水管n,大水管)。可见,在这种场景下的多线程,瓶颈就不会再是服务端的带宽限制。
那线程是不是越多越好呢? 显然这是不对的。线程本身就是一个很重的对象,创建线程、多线程调度管理会占用CPU时间,会减少用户时间比例。另外就是多线程对内存的占用也是一个问题。因此,启动的下载线程数要有限制。
下载与写线程分开
以前写下载器时,常见的下载模式是
// 伪代码
while (data remains to read) {buffer = inputstream.read(bufferSize)outputstream.write(buffer)
}
复制代码
在多线程的情况下大概是这样的
当时现场面试的时候我也讲下载器可以这么实现,结果面试官上来问一句,读和写真的要放在一个线程? 从目前来讲,写磁盘的速度一般都是远大于网络获取的速度的。如果我们能把写数据放在一个单独的线程里,假设3个线程以相同的速度读取相同大小的网络字节流放在缓冲区,每个线程都把各自的缓冲区送入写线程,然后又各自去读网络数据。因为我们写的速度大于网络下载速度的,因此在下一次3个缓冲区送入前是可以写完的,这样在理想情况下就节省了1次写磁盘的时间。
但在实际实现时,有很多需要注意的地方。首先下载线程不能无限制的下载。如果写线程阻塞了,下载线程还在不停下载的话,缓冲区会越来越大,造成OOM。另外就是缓冲区的交换,写线程需要拿,下载线程需要送,这是一个典型的消费者——生产者模式。这方面的实现文章就多了,最终我是选用的BlockQueue
来实现。大致的流程如下:
上述流程中,还有很多未包括所有内容,比如错误处理,状态转换等。实际上,要写一个用户体验好,性能好的下载器是一件很不容易的事。
后续
目前,我的项目上实现的只有单任务多线程的下载,多任务、下载信息本地保存等还未实现。
除了这些以外,我还会考虑加入多进程的架构,可以实现ui退出后的离线下载。欢迎大家clone跑sample或者提一些意见!
再次挂上项目地址:github.com/SirLYC/Yuch…
转载于:https://juejin.im/post/5cab2eb26fb9a0687c53b25a
Android高速下载器实现思路——单个任务的提速与优化相关推荐
- [开源]CMSIS-DAP高速下载器
CMSIS-DAP高速下载器 Winusb版 源码 OLED界面 实现 速度测试 固件下载 F4全速版 F7高速版 源码 高速USB2.0 https://gitee.com/H0x9DEFA478/ ...
- 百度云高速下载器 kinhdown
百度云高速下载器 kinhdown kinhdown 官网地址 简介 <1>在线解析: <2>软件下载地址: <3>使用方法 相关分享 百度云直链下载-IDM(一) ...
- 百度网盘高速下载器提示:高速受限!建议重新注册网盘账号使用
之前使用百度网盘下载,由于不是会员,下载速度一直是龟速.后来通过高速下载器进行资源下载,速度得到了大幅提升.感觉百度网盘客户端在电脑上没什么用了,就卸载掉了. 卸载之后,再使用高速下载器下载的时候,速 ...
- 破解百度云盘下载速度,不限速百度云高速下载器-简单操作免安装版本(亲测好用)
这是一款通过算法来提速的高速下载器,支持Windows和Mac.低调使用. 下载地址: 百度云下载地址: 链接:https://pan.baidu.com/s/1MStwDra3y4qYaZv8-ZS ...
- MAC版Proxyee Down百度网盘高速下载器教程
MAC版Proxyee Down百度网盘高速下载器教程 1. 介绍 2. 下载 3. 软件安装 4. 使用SwitchyOmega接管代理 1. 安装 2. 配置 SwitchyOmega 5. 创建 ...
- EagleGet下载|EagleGet(猎鹰高速下载器) v2.1.5.10免费中文便携版下载
点击下载来源:EagleGet下载|EagleGet(猎鹰高速下载器) v2.1.5.10免费中文便携版下载 EagleGet,也称猎鹰高速下载器,它是国外的一款免费下载工具.我们使用它,可以进行各种 ...
- android图片下载器
android图片下载器 页面布局 <span style="white-space:pre"> </span><TextViewandroid:la ...
- 今天我又带来了一款超好用的百度网盘高速下载器~附软件资源
前几天看到后台数据说之前的百度网盘高速下载分享链接错误或者登陆不了,这次我又带来了一款超好用的下载加速器,啥也不说先上功能 公众号回复:秘密武器加强版 功能介绍 1.百度网盘不限速下载 (正常情况下都 ...
- 基于Aria2c的百度网盘免登录高速下载器,KinhDown v1.0.88 PC+安卓
小伙伴们注意:公众号的推送机制不再按照时间前后推送了,微信公众号信息流乱序.君哥建议大家把公众号置顶(设为星标★),以便第一时间看到推送,方法如下图: 万水千山总是情,为君哥三连行不行 谢谢大家了 ...
最新文章
- 构建插件式的应用程序框架(八)----视图服务的简单实现(ZT)
- VideoCapture 读取视频文件,显示视频(帧)信息
- C++中转换构造函数:将其它类型转换为当前类的类型
- solaris系统的网卡配置
- “数学的重要性及其应用“系列公益讲座01
- Spring Boot 2.0.0.M3使用案例,案例配置,常用命令,注解介绍,热部署
- spring boot mybatis没有扫描jar中的Mapper接口
- 新建/克隆虚拟机(配置)
- springboot 建readme_经验分享:给项目创建和编写README.md文件的步骤
- diskfileitemfactory 需要的包_浅析电动汽车电池包低压线束设计及制造
- 智能公交市场的竞争与合作
- 20 个 GPU 可承载相当于全球互联网流量、Grace CPU 超级芯片现世,英伟达这届 GTC 发布了什么?...
- GitCode 版本升级,让开发更加高效
- 阿里百度旷视商汤京东,AI大厂怎么看产业实践?
- ARCH-LINUX 折(安)腾(装)记
- ADO.NET 2.0 功能一览
- Exchange 2013反垃圾邮件功能
- 华为官方解锁工具_华为遭抵制无缘谷歌应用软件 海外手机留门自载被指风险...
- jQuery+PHP+Mysql在线拍照和在线浏览照片
- 第四百九十五日:念念不忘,必有回响
热门文章
- 计算机程序设计乘法,微机原理设计实验之两个数相乘
- FBEC2020 | 三七互娱王自强:拥抱创新,将投资更多精品内容
- 跟着大白小浪一起学——人工智能-计算机视觉(一)
- 简单手势识别(特征点定位、Track+Detection、Dlib+Opencv_contrib)
- 2014.5.15小米发布会PPT精华版
- AI算法创新赛-人车目标检测竞赛总结03
- 动画—Keyframes介绍
- 搭建个人云服务器系列 (二)- 公网访问
- AI替人跳舞,打破的可不止短视频最后那几道屏障
- 击剑编排软件_击剑和匕首注释备忘单