fastdfs断点续传

fastdfs支持断点续传需要客户进行切片上传，并且切片字节大小小于等于storage配置的buff_size，默认是256k。当fastdfs storage接收客户端上传数据时，如果出现超时的情况会对文件offset和接收时记录的start、end进行比较，当offset>start 并且 offset < end时即写入文件的数据是应接收的一部分数据时，会truncate。所以当切片大小小于buff_size时，每次写入时如果发生异常，因未达到buff_size，所以服务端还未写入文件，不会产生truncate问题。注意发生异常，下次传输时，需根据fileid获取服务端的文件大小，然后对文件流进行skip之后，继续上传即可。

以下是核心代码

/**
* 如果fileid不为空则代表是续传
* @param local_filename
* @param fileid
* @return
*/
public UploadResultInfo upload_file(String local_filename, String fileid) {
StorageClient1 client = null;
try {
client = assignResourse(fileid);
} catch (Exception e) {
return new UploadResultInfo(fileid,local_filename, e.getMessage());
}

try{
// 如果file没有值则代表是新文件上传不是续传
try {
if (fileid == null || fileid.trim().length() == 0) {
String ext_name = fetchFileExtName(local_filename);
fileid = client.upload_appender_file1(new byte[] {}, ext_name,
null);
}
} catch (Exception e) {
return new UploadResultInfo(fileid,local_filename, "上传文件失败");
}

// ------------开始按照文件切片追加文件----------------------
long size = 0;
try {
File file = new File(local_filename);
long length = file.length();
logger.debug("FileService StorageServer:"
+ client.getStorageServer() + ",TrackerServer:"
+ client.getTrackerServer());
FileInfo fileInfo = fetchFileInfo(client,fileid);
size = fileInfo.getFileSize();

logger.debug("FileService StorageServer:"
+ client.getStorageServer() + ",TrackerServer:"
+ client.getTrackerServer());
// 客户端记录已上成功上传到服务端的记录
size = upload_file(client,fileid, size, length, new FileInputStream(file));
//只有当完全上传成功才返回一个完整的UploadResultInfo对象
if(size == length){
UploadResultInfo uploadresultinfo = new UploadResultInfo(fileid,true,local_filename, "上传文件成功",size);
uploadresultinfo.setUrl(ProtoCommon.HTTP.concat(fileInfo.getSourceIpAddr()).concat("/").concat(fileid));
return uploadresultinfo;
}
return new UploadResultInfo(fileid,local_filename, "追加文件失败1",size);
} catch (FileNotFoundException e) {
return new UploadResultInfo(fileid,local_filename, "本地文件未找到，追加失败",size);
} catch (Exception e) {
return new UploadResultInfo(fileid,local_filename, "追加文件失败2",size);
}

}finally {
releaseResourse(client);
}
}

/**
*
* @param fileid 远程文件标识用于追加
* @param skipsize 已成功上传的文件大小
* @param length 完整文件大小
* @param is 完整文件流
* @return
* @throws Exception
*/
public long upload_file(StorageClient1 client,String fileid, long skipsize, long length,
InputStream is) throws Exception {
if (skipsize >= length) {
return length;
}
byte[] buff = new byte[ClientGlobal.section_size];
is.skip(skipsize);
while (skipsize < length) {
int readcount = is
.read(buff,
0,
(length - skipsize) < buff.length ? (int) (length - skipsize)
: buff.length);
int result = -1;
try {
byte[] newbuffer;
if (readcount < buff.length) {
newbuffer = new byte[readcount];
System.arraycopy(buff, 0, newbuffer, 0, readcount);
result = client.append_file1(fileid, newbuffer);
} else {
result = client.append_file1(fileid, buff);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
if (result != 0) {
return skipsize;
}
skipsize += readcount;
logger.debug(fileid+"->skipsize:"+skipsize);
}
return length;
}
完整代码下载见http://download.csdn.net/detail/kaka20099527/8833107

fastdfs断点续传相关推荐

FastDFS短域名实现方案、seo优化
fastdfs 断点续传目录概述小结参考资料和推荐阅读 LD is tigger forever,CG are not brothers forever, throw the pot and ...
孤傲苍狼的MySQL总结_孤傲苍狼
文件上传到文件服务器底层封装 fastdfs-zyc(fastdfs监控管理工具) 分布式文件系统FastDFS设计原理 FastDFS fastdfs-client-java 分布式文件系统 Fas ...
fastdfs redis java,大文件上传_断点续传_文件分片传输_fastdfs_前后端一站式解决方案...
大文件上传,断点续传,秒传,fastdfs 项目介绍实现h5与fastdfs之间的断点续传,大文件上传,秒传软件架构软件架构说明 webuploader+springboot+redis+fas ...
FastDFS 设计理念、文件上传、下载、同步、删除和断点续传原理
一.FastDFS 系统架构和功能原理 1.架构详解 storage server:存储服务器(又称存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上.Storage s ...
高可用高性能分布式文件系统FastDFS实践Java程序
在前篇高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备中已介绍搭建高可用的分布式文件系统架构. 那怎么在程序中调用,其实网上有很多栗子, ...
FastDFS学习笔记
FastDFS课程内容第一部分:FastDFS基础回顾为什么要有分布式文件系统.分布式文件系统对比.FastDFS特性.linux安装.java访问FastDFS 第二部分:FastDFS系统架构 ...
FastDFS的介绍
FastDFS的介绍 FastDFS FastDFS是由国人余庆所开发,其项目地址: https://github.com/happyfish100FastDFS是一个轻量级的开源分布式文件系统,主要 ...
实现企业级分布式储存之mogilefs和fastdfs的应用
一.实现企业级分布式存储之mogilefs的应用. (1)关于mogilefs Web 2.0 时代的到来,使得单个计算机节点远远无法满足用户对海量数据和应用程序运行空间的需求.个人和企业都有安全而持 ...
FastDFS特性及问题思考
FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃.系统中存在三种节点:Client.Tracker.Storage,在底层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage ...
FastDFS构成、特性、Linux下安装以及Java如何访问
一.FastDFS 基础概念 1.为什么要有分布式文件系统单机时代优点:文件访问比较便利,项目直接引用,实现起来简单,无需任何复杂技术,保存文件和访问文件都很方便. 缺点:一方面,文件和代码耦合 ...

fastdfs断点续传

fastdfs断点续传相关推荐

最新文章

热门文章