前端实现大文件上传分片上传断点续传

总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次网络连接时不必再重传。所以我们本地在上传的时候，要将大文件进行分片，比如分成1024*1024B，即将大文件分成1M的片进行上传，服务器在接收后，再将这些片合并成原始文件，这就是分片的基本原理。断点续传要求本地要记录每一片的上传的状态，我通过三个状态进行了标记（wait loading finish），当网络中断，再次连接后，从断点处进行上传。服务器通过文件名、总片数判断该文件是否已全部上传完成。

下面来说细节：

1、首先获取文件（音视频、图片）

分两种情况，一种是在相册库里直接获取，一种是调用相机。如果是通过UIImagePickerView来获取（细节不详述，网上一大堆），我们会发现当你选定一个视频的时候，会出现图1的压缩页面，最后我们的app获取的视频就是这个经过压缩后的视频（不是视频库里的原始视频，这里有个注意点，操作完该压缩视频后记得释放，系统不会帮你释放的，需要你手动来操作，下面会说到），然后通过UIImagePickerView的协议方法中的- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary *)info获取视频的Info

fileInfo = {

UIImagePickerControllerMediaType = "public.movie";

UIImagePickerControllerMediaURL = "file:///private/var/mobile/Containers/Data/Application/2AAE9E44-0E6D-4499-9AC3-93D44D8342EA/tmp/trim.F36EC46C-4219-43C8-96A7-FA7141AB64D2.MOV";

UIImagePickerControllerReferenceURL = "assets-library://asset/asset.MOV?id=DEDA9406-3223-4F87-ABB2-98FB5F5EB9C4&ext=MOV";

}

UIImagePickerControllerMediaType是选取文件的类型，如KUTTypeImage，KUTTypeMovie。这里注意一下movie和video的区别，一个是有声音的视频文件，一个是没有声音的视频文件，当然还有Audio是只有声音没有视频。UIImagePickerControllerMediaURL是视频的URL（如果是相机拍摄的，那么这个就是原始拍摄得到的视频；如果是在相册库里选择的，那就是压缩之后生成的视频），注意这个URL不指向相册库，通过这个URL你可以操作这个视频如删除，拷贝等，可以获取压缩后的视频的大小。UIImagePickerControllerReferenceURL是一个指向相册的URL，官方的解释是an NSURL that references an asset in the AssetsLibrary framework，通过这个URL，你可以获取视频的所有信息，包括文件名，缩略图，时长等（通过ALAssetsLibrary里的assetsLibraryassetForURL:referenceURLresultBlock:）。

如果是相机拍摄的，注意两个保存方法：图片保存到相册assetsLibrarywriteImageDataToSavedPhotosAlbum:UIImageJPEGRepresentation([infovalueForKey:UIImagePickerControllerOriginalImage],(CGFloat)1.0)metadata:nilcompletionBlock: failureBlock:

高保真压缩图片的方法NSData * UIImageJPEGRepresentation ( UIImage *image, CGFloat compressionQuality）

视频保存到相册：assetsLibrary writeVideoAtPathToSavedPhotosAlbum:MediaURL completionBlock:failureBlock：

到这里，我们就获取了所有需要的文件以及文件信息。下面要做的就是将文件分片。

2、将获取到的文件分片

首先，我将获取到的文件保存在这这样一个类中

@interface CNFile : NSObject

@property (nonatomic,copy)NSString* fileType;//image or movie

@property (nonatomic,copy)NSString* filePath;//文件在app中路径

@property (nonatomic,copy)NSString* fileName;//文件名

@property (nonatomic,assign)NSInteger fileSize;//文件大小

@property (nonatomic,assign) NSInteger trunks;//总片数

@property (nonatomic,copy)NSString* fileInfo;

@property (nonatomic,strong)UIImage* fileImage;//文件缩略图

@property (nonatomic,strong) NSMutableArray* fileArr;//标记每片的上传状态

@end

这样我们就可以对每一个CNFile对象进行操作了。

-(void)readDataWithChunk:(NSInteger)chunk file:(CNFile*)file{

总片数的获取方法：

int offset =1024*1024;（每一片的大小是1M）

NSInteger chunks = (file.fileSize%1024==0)?((int)(file.fileSize/1024*1024)):((int)(file.fileSize/(1024*1024) + 1));

NSLog(@"chunks = %ld",(long)chunks);

将文件分片，读取每一片的数据：

NSData* data;

NSFileHandle *readHandle = [NSFileHandle fileHandleForReadingAtPath:file.filePath];

[readHandle seekToFileOffset:offset * chunk];

data = [readHandle readDataOfLength:offset];

}

这样我们就获取了每一片要上传的数据，然后询问服务器，该片是否已经存在

（方法-(void)ifHaveData:(NSData*)data WithChunk:(NSInteger)chunk file:(CNFile*)file）

，如果存在，令chunk+1，重复上面的方法读取下一片，直到服务器不存在该片，那么上传该片数据。在这个方法中注意设置该chunk的上传状态（wait loading finish），这将关系到本地判断该文件是否已全部上传完成。

下一步就是上传的过程：

-(void)uploadData:(NSData*) data WithChunk:(NSInteger) chunk file:(CNFile*)file；

在服务器返回该片上传成功后，我们要做的事有很多：

1）先将已经成功上传的本片的flag置finish

[file.fileArr replaceObjectAtIndex:chunk withObject:@“finish"];

2）查看是否所有片的flag都已经置finish，如果都已经finishi，说明该文件上传完成，那么删除该文件，上传下一个文件或者结束。

for (NSInteger j =0; j<chunks; j++){

if (j == chunks || ((j == chunks -1)&&([file.fileArr[j]isEqualToString:@"finish"])))

[me deleteFile:file.filePath];

[me readNextFile];

}

3）如果没有都finish，那么看本地下一chunk对用的flag是否是wait

NSLog(@"查看第%ld片的状态",chunk+1);

for(NSInteger i = chunk+1;i < chunks;i++)

{

NSString* flag = [file.fileArrobjectAtIndex:i];

if ([flagisEqualToString:@"wait"]) {

[me readDataWithChunk:ifileName:fileNamefile:file];

break;

}

在第2、3步之间可以有一个 2.5）判断是否暂停上传

if(me.isPause ==YES)

{

//将目前读到了第几个文件的第几片保存到本地

[self saveProgressWithChunk:chunk file:file];

return ;

}

这个操作实际上和上传过程中断网是一样的，为了断点续传，在断网或者暂停的时候，我们要将目前的进度保存起来，以便下次上传时略过前面已置finish的片。

然后还有一个问题，如果我们就这样线性的一片一片上传，实际上失去了分片上传的意义，应该结合多线程，使分片上传过程并发执行，同时上传多片，这样就提高了上传效率，并充分利用了网络带宽。

dispatch_async(dispatch_queue_t queue, ^{

[me readDataWithChunk: chunk];

})

最后注意一下，每上传完一个视频，去设置里看看你的app占用的存储空间有没有增大哦，如果你没有处理那个生成的压缩视频，你会发现你的app的空间占用量是很大的。

详细参考这篇文章:http://blog.ncmem.com/wordpress/2019/08/12/%e5%a4%a7%e6%96%87%e4%bb%b6%e6%96%ad%e7%82%b9%e7%bb%ad%e4%bc%a0-2/

前端实现大文件上传分片上传断点续传相关推荐

MP4大文件虚拟HLS分片技术，避免服务器大量文件碎片
MP4大文件虚拟HLS分片技术,避免点播服务器的文件碎片本文主要介绍了通过虚拟分片技术,把MP4文件,映射为HLS协议中的一个个小的TS分片文件,实现了在不实际切分MP4文件的情况下,通过HLS协议 ...
java 大文件上传_JAVA大文件上传分片上传方法（附带demo）
最近在做视频上传展示的相关业务!但是因为最开始使用的是单文件上传所以一旦遇到大文件上传的速度就非常慢!为此在网上一直找寻分片的方法!得到了思路! 直接讲一下我这边看了那么多文档加上自己理解写的demo ...
求大师点化,寻求大文件(最大20G左右)上传方案
之前仿造uploadify写了一个HTML5版的文件上传插件,没看过的朋友可以点此先看一下~得到了不少朋友的好评,我自己也用在了项目中,不论是用户头像上传,还是各种媒体文件的上传,以及各种个性的业务需 ...
移动端上传大文件到服务器,android上传大文件到服务器地址
android上传大文件到服务器地址内容精选换一换安装传输工具在本地主机和Windows云服务器上分别安装数据传输工具,将文件上传到云服务器.例如QQ.exe.在本地主机和Windows云服务器 ...
在本地测试无组件上传类上传大文件可以,在服务器上就不行,仿163网盘无刷新文件上传系统...
回复引用查看 2008-10-20 11:03 | fkeuem 真的很不错.谢谢. 回复引用查看 2008-10-20 11:20 | PuserChen 下载了,学 ...
Java-断点续传(分片上传)
什么是断点续传用户上传大文件,网络差点的需要历时数小时,万一线路中断,不具备断点续传的服务器就只能从头重传,而断点续传就是,允许用户从上传断线的地方继续传送,这样大大减少了用户的烦恼. 解决上传大文 ...
完整记录一下Web前端直传阿里OSS大文件+采用后端临时授权传stsToken的方式
文章目录前言(可不看) 1. 简介 2. 必要了解项 2.1 资源术语 2.2 常用SDK 3. 准备工作 3.1 创建bucket 3.2 设置跨域规则 3.3 创建RAM子账户及配置权限 3.4 ...
快速传输大文件，怎么通过网络传大文件给对方（1G以上）
在生活和工作中,我们总是要发送一些比较大的文件给别人,或者在自己的设备之间.在互联网日益发达的今天,我们可以用什么方法通过互联网快速传输大文件,发送1G以上的文件? 一.使用QQ传在电脑上打开QQ, ...
关于oss使用sts 后台签发临时token前端直传大文件的错误记录
文章目录前言遇到的问题 1. NoSuchBucket : The specified bucket does not exist. 2. com.aliyuncs.exceptions.Clie ...

前端实现大文件上传分片上传断点续传

前端实现大文件上传分片上传断点续传相关推荐

最新文章

热门文章