Java实现的FTP协议断点续传功能（上传/下载）通用类

简介：

FTP客户端实现要建立两个通道，一个控制命令通道，让FTP服务器知道客户端要干什么，一个数据传输通道。所谓的两个通道只不过是两个调用了connect函数的连接，只是控制命令通道专门用来传输一些字符串命令信息，而数据通道则是用来传输文件。控制命令通道一定是由客户端向服务器的连接（默认的端口是21，也可以指定端口，这要看服务器的设置）。连接的过程完成了FTP的登录。数据通道则不一定啦，具体哪个连哪个，请看下面对PASV命令的解释。

其实FTP断点续传的原理很简单，可分为断点下载和断点上传。

客户端的实现步骤如下：
一、下载：

1、向服务器发送“REST + 本地文件长度”命令，告诉服务器，客户端要断点下载了。这时服务器还不知道客户端要下载哪个文件；
2、向服务器发送“RETR + 文件名”命令，通知服务器要下载的文件名，这时服务器开始定位文件指针读文件并发送数据。
3、客户端定位本地文件指针（文件末尾）；
4、两端的准备工作都做完了以后，客户端创建socket，以被动或非被动方式建立数据通道，循环调用recv接收数据并追加入本地文件；
二、上传：

1、获取服务器上和本地要上传文件的同名文件大小；
2、向服务器发送“APPE ＋文件名”，通知服务器，接下来从数据通道发送给你的数据要附加到这个文件末尾。
3、定位本地文件指针（和FTP上文件大小相同的位置）
4、从文件指针处读数据并发送。

好了，FTP断点续传的原理就这么简单。代码里将断点上传和断点下载放到同一个函数（MoveFile）里，通过get参数说明是上传还是下载。当然，整个FTP类的实现有800多行，包括登录、退出、获取FTP文件大小、删除FTP服务器上文件、响应服务器，解析响应信息等函数。相应的注释代码里都有，这里就不一一熬述了。

这里重点说说PASV模式，即被动模式，这是FTP命令里比较不容易理解的一个，这条命令请求服务器在某个端口（非FTP默认端口或控制命令端口）创建一个监听socket，服务器创建的端口号会在客户端的控制命令通道上得到响应。得到这个端口号后，客户端就可以创建新的socket（数据通道）connect过去，并进行文件传输等工作。否则，如果为非被动模式，那么监听的socket由客户端创建，服务器connect过来。
对于这条命令的存在我是这么理解的，存在这么一种情况：客户端的IP是个内网的IP，服务器的IP是个外网的，当进行数据传输时内网的IP对于服务器是不可见的，只有由服务器启动监听socket才能建立数据通道，所以必须以被动模式进行。

一：FTP单线程断点续传：
FTP和传统的HTTP协议有所不同，由于FTP没有所谓的头文件，因此我们不能像HTTP那样通过设置header向服务器指定下载区间
但是FTP协议提供了一个更好用的命令REST用于从指定位置恢复任务，同时FTP协议也提供了一个命令SIZE用于获取下载的文件大小，有了这两个命令，FTP断点续传也就没有什么问题。
FTP断点续传的原理和HTTP的断点续传原理差不多，在暂停时记录文件的停止位置，再次下载时，先读取记录的位置，如果位置存在，则通过REST命令告诉服务器从指定区间进行下载。

二：FTP多线程断点续传(本次未实现)
多线程下载的原理和HTTP多线程下载的原理差不多。先获取文件大小，然后根据线程数，对整个文件进行分段下载，在任务停止时，记录每一条线程的暂停位置，重新开始下载，每一条线程读取对应的下载记录，然后每一线程从指定位置开始下载。

和HTTP所不同的是，FTP并没有提供文件区间的API，因此，FTP在分段下载中，只有起始位置而没有结束位置。
因此，你需要在指定位置手动停止线程。

具体实现：

<dependency><groupId>commons-net</groupId><artifactId>commons-net</artifactId><version>3.6</version>
</dependency>


/** * Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements.  See the NOTICE file distributed with* this work for additional information regarding copyright ownership.* The ASF licenses this file to You under the Apache License, Version 2.0* (the "License"); you may not use this file except in compliance with* the License.  You may obtain a copy of the License at**     http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.**/
package com.example.ftp;/**
* @desc: demo
* @name: DownloadStatus.java
* @author: tompai
* @email：liinux@qq.com
* @createTime: 2019年12月24日 下午10:50:24
* @history:
* @version: v1.0
*/public enum DownloadStatus {Remote_File_Noexist,Local_Bigger_Remote,Download_From_Break_Success,Download_From_Break_Failed,Download_New_Success,Download_New_Failed,}


/** * Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements.  See the NOTICE file distributed with* this work for additional information regarding copyright ownership.* The ASF licenses this file to You under the Apache License, Version 2.0* (the "License"); you may not use this file except in compliance with* the License.  You may obtain a copy of the License at**     http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.**/
package com.example.ftp;/**
* @desc: demo
* @name: UploadStatus.java
* @author: tompai
* @email：liinux@qq.com
* @createTime: 2019年12月24日 下午10:50:34
* @history:
* @version: v1.0
*/public enum UploadStatus {Create_Directory_Fail,File_Exits,Remote_Bigger_Local,Upload_From_Break_Failed,Delete_Remote_Faild,Create_Directory_Success,Upload_From_Break_Success,Upload_New_File_Success,Upload_New_File_Failed
}

/** * Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements.  See the NOTICE file distributed with* this work for additional information regarding copyright ownership.* The ASF licenses this file to You under the Apache License, Version 2.0* (the "License"); you may not use this file except in compliance with* the License.  You may obtain a copy of the License at**     http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.**/
package com.example.ftp;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.io.RandomAccessFile;
import org.apache.commons.net.PrintCommandListener;
import org.apache.commons.net.ftp.FTP;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;
/*** @desc: demo* @name: FTPUtils.java* @author: tompai* @email：liinux@qq.com* @createTime: 2019年12月24日 下午10:43:27* @history:* @version: v1.0*/
public class FTPUtils {public FTPClient ftpClient = new FTPClient();public FTPUtils() {// 设置将过程中使用到的命令输出到控制台this.ftpClient.addProtocolCommandListener(new PrintCommandListener(new PrintWriter(System.out)));}/*** * @todo连接到FTP服务器* @param hostname 主机名* @param port     端口* @param username 用户名* @param password 密码* @return 是否连接成功* @throws IOException* */public boolean connect(String hostname, int port, String username, String password) throws IOException {ftpClient.connect(hostname, port);ftpClient.setControlEncoding("GBK");if (FTPReply.isPositiveCompletion(ftpClient.getReplyCode())) {if (ftpClient.login(username, password)) {return true;}}disconnect();return false;}/*** * 从FTP服务器上下载文件,支持断点续传，上传百分比汇报* @param remote 远程文件路径* @param local  本地文件路径* @return 上传的状态* @throws IOException* */public DownloadStatus download(String remote, String local) throws IOException {// 设置被动模式ftpClient.enterLocalPassiveMode();// 设置以二进制方式传输ftpClient.setFileType(FTP.BINARY_FILE_TYPE);DownloadStatus result;// 检查远程文件是否存在FTPFile[] files = ftpClient.listFiles(new String(remote.getBytes("GBK"), "iso-8859-1"));if (files.length != 1) {System.out.println("远程文件不存在");return DownloadStatus.Remote_File_Noexist;}long lRemoteSize = files[0].getSize();File f = new File(local);// 本地存在文件，进行断点下载if (f.exists()) {long localSize = f.length();// 判断本地文件大小是否大于远程文件大小if (localSize >= lRemoteSize) {System.out.println("本地文件大于远程文件，下载中止");return DownloadStatus.Local_Bigger_Remote;}// 进行断点续传，并记录状态FileOutputStream out = new FileOutputStream(f, true);ftpClient.setRestartOffset(localSize);InputStream in = ftpClient.retrieveFileStream(new String(remote.getBytes("GBK"), "iso-8859-1"));byte[] bytes = new byte[1024];long step = lRemoteSize / 100;long process = localSize / step;int c;while ((c = in.read(bytes)) != -1) {out.write(bytes, 0, c);localSize += c;long nowProcess = localSize / step;if (nowProcess > process) {process = nowProcess;if (process % 10 == 0)System.out.println("下载进度：" + process);// TODO 更新文件下载进度,值存放在process变量中}}in.close();out.close();boolean isDo = ftpClient.completePendingCommand();if (isDo) {result = DownloadStatus.Download_From_Break_Success;} else {result = DownloadStatus.Download_From_Break_Failed;}} else {OutputStream out = new FileOutputStream(f);InputStream in = ftpClient.retrieveFileStream(new String(remote.getBytes("GBK"), "iso-8859-1"));byte[] bytes = new byte[1024];long step = lRemoteSize / 100;long process = 0;long localSize = 0L;int c;while ((c = in.read(bytes)) != -1) {out.write(bytes, 0, c);localSize += c;long nowProcess = localSize / step;if (nowProcess > process) {process = nowProcess;if (process % 10 == 0)System.out.println("下载进度：" + process);// TODO 更新文件下载进度,值存放在process变量中}}in.close();out.close();boolean upNewStatus = ftpClient.completePendingCommand();if (upNewStatus) {result = DownloadStatus.Download_New_Success;} else {result = DownloadStatus.Download_New_Failed;}}return result;}/*** 上传文件到FTP服务器，支持断点续传* @param local  本地文件名称，绝对路径* @param remote 远程文件路径，使用/home/directory1/subdirectory/file.ext*               按照Linux上的路径指定方式，支持多级目录嵌套，支持递归创建不存在的目录结构* @return 上传结果* @throws IOException* */public UploadStatus upload(String local, String remote) throws IOException {// 设置PassiveMode传输ftpClient.enterLocalPassiveMode();// 设置以二进制流的方式传输ftpClient.setFileType(FTP.BINARY_FILE_TYPE);ftpClient.setControlEncoding("GBK");UploadStatus result;// 对远程目录的处理String remoteFileName = remote;if (remote.contains("/")) {remoteFileName = remote.substring(remote.lastIndexOf("/") + 1);// 创建服务器远程目录结构，创建失败直接返回if (CreateDirecroty(remote, ftpClient) == UploadStatus.Create_Directory_Fail) {return UploadStatus.Create_Directory_Fail;}}// 检查远程是否存在文件FTPFile[] files = ftpClient.listFiles(new String(remoteFileName.getBytes("GBK"), "iso-8859-1"));if (files.length == 1) {long remoteSize = files[0].getSize();File f = new File(local);long localSize = f.length();if (remoteSize == localSize) {return UploadStatus.File_Exits;} else if (remoteSize > localSize) {return UploadStatus.Remote_Bigger_Local;}// 尝试移动文件内读取指针,实现断点续传result = uploadFile(remoteFileName, f, ftpClient, remoteSize);// 如果断点续传没有成功，则删除服务器上文件，重新上传if (result == UploadStatus.Upload_From_Break_Failed) {if (!ftpClient.deleteFile(remoteFileName)) {return UploadStatus.Delete_Remote_Faild;}result = uploadFile(remoteFileName, f, ftpClient, 0);}} else {result = uploadFile(remoteFileName, new File(local), ftpClient, 0);}return result;}/*** 断开与远程服务器的连接* @throws IOException* */public void disconnect() throws IOException {if (ftpClient.isConnected()) {ftpClient.disconnect();}}/*** * 递归创建远程服务器目录* @param remote    远程服务器文件绝对路径* @param ftpClient FTPClient对象* @return 目录创建是否成功* @throws IOException* */public UploadStatus CreateDirecroty(String remote, FTPClient ftpClient) throws IOException {UploadStatus status = UploadStatus.Create_Directory_Success;String directory = remote.substring(0, remote.lastIndexOf("/") + 1);if (!directory.equalsIgnoreCase("/")&& !ftpClient.changeWorkingDirectory(new String(directory.getBytes("GBK"), "iso-8859-1"))) {// 如果远程目录不存在，则递归创建远程服务器目录int start = 0;int end = 0;if (directory.startsWith("/")) {start = 1;} else {start = 0;}end = directory.indexOf("/", start);while (true) {String subDirectory = new String(remote.substring(start, end).getBytes("GBK"), "iso-8859-1");if (!ftpClient.changeWorkingDirectory(subDirectory)) {if (ftpClient.makeDirectory(subDirectory)) {ftpClient.changeWorkingDirectory(subDirectory);} else {System.out.println("创建目录失败");return UploadStatus.Create_Directory_Fail;}}start = end + 1;end = directory.indexOf("/", start);// 检查所有目录是否创建完毕if (end <= start) {break;}}}return status;}/*** * 上传文件到服务器,新上传和断点续传* @param remoteFile  远程文件名，在上传之前已经将服务器工作目录做了改变* @param localFile   本地文件File句柄，绝对路径* @param processStep 需要显示的处理进度步进值* @param ftpClient   FTPClient引用* @return* @throws IOException* */public UploadStatus uploadFile(String remoteFile, File localFile, FTPClient ftpClient, long remoteSize)throws IOException {UploadStatus status;// 显示进度的上传long step = localFile.length() / 100;long process = 0;long localreadbytes = 0L;RandomAccessFile raf = new RandomAccessFile(localFile, "r");OutputStream out = ftpClient.appendFileStream(new String(remoteFile.getBytes("GBK"), "iso-8859-1"));// 断点续传if (remoteSize > 0) {ftpClient.setRestartOffset(remoteSize);process = remoteSize / step;raf.seek(remoteSize);localreadbytes = remoteSize;}byte[] bytes = new byte[1024];int c;while ((c = raf.read(bytes)) != -1) {out.write(bytes, 0, c);localreadbytes += c;if (localreadbytes / step != process) {process = localreadbytes / step;System.out.println("上传进度:" + process);// TODO 汇报上传状态}}out.flush();raf.close();out.close();boolean result = ftpClient.completePendingCommand();if (remoteSize > 0) {status = result ? UploadStatus.Upload_From_Break_Success : UploadStatus.Upload_From_Break_Failed;} else {status = result ? UploadStatus.Upload_New_File_Success : UploadStatus.Upload_New_File_Failed;}return status;}/*** 测试方法* @author: tompai* @createTime: 2019年12月24日 下午11:08:24* @history:* @param args void*/public static void main(String[] args) {FTPUtils myFtp = new FTPUtils();try {System.err.println(myFtp.connect("192.168.199.100", 21, "test", "test"));myFtp.ftpClient.makeDirectory(new String("权利的游戏".getBytes("GBK"),"iso-8859-1"));myFtp.ftpClient.changeWorkingDirectory(new String("权利的游戏".getBytes("GBK"),"iso-8859-1"));System.out.println(myFtp.upload("E:\\test1.docx", "/test1.docx"));System.out.println(myFtp.download("/test1.docx", "E:\\/test2.docx"));myFtp.disconnect();} catch (IOException e) {System.out.println("连接FTP出错：" + e.getMessage());}}
}

Java实现的FTP协议断点续传功能（上传/下载）通用类相关推荐

Java实现FTP批量大文件上传下载
用Java实现FTP批量大文件上传下载 <iframe id="I0_1416224567509" style="margin: 0px; padding: 0px ...
Linux安装FTP及使用python上传下载ftp
参考 https://www.cnblogs.com/mingforyou/p/4103022.html 一.安装及配置 1.直接使用yum安装 yum -y install vsftpd 2.配置文 ...
JAVA 文件上传下载工具类
JAVA 文件上传下载工具类 import lombok.extern.slf4j.Slf4j; import org.apache.commons.io.FileUtils; import org. ...
springboot上传下载文件（4）--上传下载工具类（已封装）
因为在做毕设,发现之前的搭建ftp文件服务器,通过ftp协议无法操作虚拟机临时文件,又因为ftp文件服务器搭建的比较麻烦:而 hadoop的HDFS虽然可以实现,但我这里用不到那么复杂的:所以我封装了 ...
华为云OBS文件上传下载工具类
Java-华为云OBS文件上传下载工具类文章目录 Java-华为云OBS文件上传下载工具类 1.华为云obs文件上传下载 2.文件流转MultipartFile 3.File转换为Multipart ...
Java 使用 FTP 实现大文件上传下载
Java 上传下载 1G 以上的文件可以通过 http 协议或 ftp 实现,但是 http 协议对文件上传大小有限制,而且还不稳定,因此这里使用 ftp 上传. ftp 上传方式有两种: 一.ASC ...
基于FTP协议实现文件上传与下载
目录一.FTP简介二.关于FTP服务器三.文件上传分步讲解: 完整实现代码: 四.下载文件分步讲解: 完整实现代码: 小结一.FTP简介 FTP(File Transfer Protoco ...
使用java对ftp进行文件的上传下载demo
本文引用了https://www.cnblogs.com/lr393993507/p/5502266.html资源,并做了一些优化这里有个写好的java项目demo,csdn好像擅自给我的资源加了很 ...
使用.net FtpWebRequest 实现FTP常用功能上传下载获取文件列表移动切换目录改名 ....
平时根本没时间搞FTP什么的,现在这个项目需要搞FTP,为什么呢,我给大家说下项目背景,我们的一个应用程序上需要上传图片,但是用户部署程序的服务器上不让上传任何东西,给了我们一个FTP账号和密码,让我 ...
java ftp 大文件_用Java实现FTP批量大文件上传下载(二)
2上传下载文件的上传可以分成多线程及单线程,在单线程情况下比较简单,而在多线程的情况下,要处理的事情要多点,同时也要小心很多.下面是net.sf.jftp.net.FtpConnection的上传h ...

Java实现的FTP协议断点续传功能（上传/下载）通用类

简介：

具体实现：

Java实现的FTP协议断点续传功能（上传/下载）通用类相关推荐

最新文章

热门文章