Java使用Aria2c进行文件下载

在Java服务中有复杂网络环境下下载大文件的需求，一开始自己写了一个多线程下载，但遇到校园网下载1G以上大文件时直接卡死了。
经调研后决定用aria下载器，成熟稳定，避免自己去处理各种网络问题。下面记录一下windows和ubuntu系统上分别使用aria进行文件下载的步骤。

标题aria下载安装，打开jsonrpc

# ubuntu系统
sudo apt install -y aria2
aria2c --enable-rpc --rpc-listen-all=true --rpc-allow-origin-all -c -D# windows系统
# 1. 下载aria2-1.36.0-win-64bit-build1.zip，https://github.com/aria2/aria2/releases
# 2. 解压文件
# 3. 执行命令：
aria2c --enable-rpc --rpc-listen-all=true --rpc-allow-origin-all -c -D

保持aria在线的办法

写了一个监控脚本如下，放入crontab定时任务

log "aria heartbeat start"
result=$(curl -X GET --header 'Accept: application/json' 'http://localhost:6800/jsonrpc' | jq '.jsonrpc')
if [ "$result" == "" ]
thenlog "aria heartbeat failed"aria2c --enable-rpc --rpc-listen-all=true --rpc-allow-origin-all -c -D
fi

Java 代码调用 jsonrpc

/*** jsonrpc 方式调用 Aria 下载器*/
@Slf4j
@Component
public class AriaClient {@Value("${aria.url}")private String uri;private String token = "";@Autowiredprivate RestTemplate restTemplate;/*** url下载把文件保存到本地** @param url* @param dir      下载文件保存到的文件夹* @param filename 下载文件名* @return* @throws SportException*/public String addByUrl(String url, String dir, String filename) throws SportException {AriaRequest request = AriaRequestFactory.getAddUriRequest(token, url, dir, filename);String resultJson = post(request);JSONObject JSONObject = JSON.parseObject(resultJson);String gid = JSONObject.getString("result");log.info("addByUrl, url={}, dir={}, filename={}, gid={}", url, dir, filename, gid);return gid;}/*** url下载把文件保存到本地** @param url* @param fullPath 本地文件完整路径* @return* @throws SportException*/public String addByUrl(String url, String fullPath) throws SportException {return addByUrl(url, FileUtils.getDirFromPath(fullPath), FileUtils.getFileNameFromPath(fullPath));}/*** 移除一个下载项（正在下载的任务或者已经下载完成的结果）** @param id*/public boolean remove(String id) {AriaDownloadTask ariaDownloadTask = get(id);if (ariaDownloadTask.getStatus() == AriaDownloadStatus.active) {AriaRequest removeRequest = AriaRequestFactory.getRemoveRequest(token, id);return execute(removeRequest);} else {AriaRequest removeResultRequest = AriaRequestFactory.getRemoveResultRequest(token, id);return execute(removeResultRequest);}}/*** 移除所有下载项*/public void remove() {List<AriaDownloadTask> ariaDownloadTasks = get();for (AriaDownloadTask ariaDownloadTask : ariaDownloadTasks) {remove(ariaDownloadTask.getGid());}}/*** 开始/继续下载一个任务** @param id* @return*/public boolean start(String id) {AriaRequest pauseRequest = AriaRequestFactory.getUnpauseRequest(token, id);return execute(pauseRequest);}/*** 开始所有任务** @return*/public boolean start() {AriaRequest pauseRequest = AriaRequestFactory.getUnpauseAllRequest(token);return execute(pauseRequest);}/*** 暂停一个任务* <p>* 只能暂停正在下载的任务，否则会抛出异常** @param id* @return*/public boolean stop(String id) {AriaRequest pauseRequest = AriaRequestFactory.getPauseRequest(token, id);return execute(pauseRequest);}/*** 暂停所有任务** @return*/public boolean stop() {AriaRequest pauseRequest = AriaRequestFactory.getPauseAllRequest(token);return execute(pauseRequest);}/*** 获取一个下载任务** @param gid* @return*/public AriaDownloadTask get(String gid) {AriaRequest tellStatusRequest = AriaRequestFactory.getTellStatusRequest(token, gid);String resultJson = post(tellStatusRequest);JSONObject resultObject = JSON.parseObject(resultJson);return JSON.parseObject(resultObject.getString("result"), AriaDownloadTask.class);}/*** 获取所有下载任务，包括正在下载的、在等待的、已经停止的** @return*/public List<AriaDownloadTask> get() {AriaRequest tellActiveRequest = AriaRequestFactory.getTellActiveRequest(token);String activeResultJson = post(tellActiveRequest);List<AriaDownloadTask> tasks = getTasksFromJson(activeResultJson);AriaRequest tellWaitingRequest = AriaRequestFactory.getTellWaitingRequest(token);String waitingResultJson = post(tellWaitingRequest);tasks.addAll(getTasksFromJson(waitingResultJson));AriaRequest tellStoppedRequest = AriaRequestFactory.getTellStoppedRequest(token);String stoppedRequestJson = post(tellStoppedRequest);tasks.addAll(getTasksFromJson(stoppedRequestJson));return tasks;}private String post(AriaRequest request) throws SportException {HttpHeaders headers = new HttpHeaders();headers.setContentType(MediaType.APPLICATION_JSON);JSONObject jsonObject = JSONObject.parseObject(JSON.toJSONString(request));jsonObject.put("params", request.getParams());HttpEntity entity = new HttpEntity(jsonObject.toJSONString(), headers);try { ResponseEntity<String> temp = restTemplate.postForEntity(uri, entity, String.class);String response = temp.getBody();if (temp.getStatusCodeValue() == SC_OK) return response;else {AriaErrorResponse ariaErrorResponse = JSON.parseObject(response, AriaErrorResponse.class);throw new SportException(ARIA_REQUEST_ERROR, ariaErrorResponse.getMessage());}} catch (HttpClientErrorException e) {if (e.getRawStatusCode() == SC_BAD_REQUEST || e.getRawStatusCode() == SC_INTERNAL_SERVER_ERROR) {throw new SportException(ARIA_REQUEST_ERROR, e.getMessage());} else {throw new SportException(ARIA_UNKNOWN_ERROR, e.getMessage());}} catch (RestClientException e) {throw new SportException(ARIA_NOT_AVAILABLE, e.getMessage());}}private boolean execute(AriaRequest pauseRequest) {try {post(pauseRequest);return true;} catch (SportException e) {log.error(e.getMessage());return false;}}private List<AriaDownloadTask> getTasksFromJson(String tellJson) {List<AriaDownloadTask> ret = new LinkedList<>();JSONObject JSONObject = JSON.parseObject(tellJson);JSONArray jsonArray = JSONObject.getJSONArray("result");jsonArray.forEach(element -> ret.add(JSON.parseObject(element.toString(), AriaDownloadTask.class)));return ret;}}

文件下载中遇到的一些需要注意的地方

1. ubuntu 系统上 aria 会在未完成下载时就创建文件。

具体场景：例如指定url下载到一个1G的文件到 /home/user/test.zip。在任务创建后，/home/user/test.zip 就会被创建，且文件大小=1G。md5sum /home/user/test.zip 不等于正确值，且随着下载一直在变化。在某些情况下，这会造成干扰，让人或系统误以为文件已经下载完成，开始后续的操作，出现错误。

我的解决方案：给aria的指令改成创建 /home/user/test.zip.temp 甚至 /home/user/test.zip.uuid，完成后再把 /home/user/test.zip.temp 或 /home/user/test.zip.uuid 移动到 /home/user/test.zip

2. 重复下载

具体场景：给 aria 发送多次相同的 url 和 filename的下载指令，它会重复下载。

我的解决方案：把正在下载的文件放入一个map，下载前验证一下。

其他解决方案：下载前读取所有aria任务，判断是否重复。

3. url失效aria会一直在下载中

我的解决方案：下载前判断url返回的httpcode，必须是2xx；下载中间记录上一次下载下载进度，长时间不动则关闭该任务。