网易云对象存储 HTTP 文件上传

网易数帆的对象存储服务不错，企业用户免费，可以绑定 https 域名等等。官方提供了 SDK 调用对象存储的各种服务，是挺好的挺方便的，不过就是 SDK 依赖臃肿，本人不是很待见，于是改用其 HTTP 接口来简单完成文件上传的服务，可以说是折腾了一把。本文采用 Java 语言完成。

生成授权信息

为鉴别授权，必须在 HTTP 请求头中包含 Authorization 字段，该字段就是授权信息，必须严格遵守其 API 生成授权信息，否则不能访问其服务（只能匿名地部分访问）。生成方法如下（参考了官方文档）。

Authorization = "NOS " + AccessKey + ":" + Signature
Signature =    Base64(HMAC-SHA256(SecretKey,HTTP-Verb + "\n"  + Content-MD5 + "\n"  + Content-Type + "\n"  + Date + "\n"  + CanonicalizedHeaders + CanonicalizedResource))

说明：

HTTP-Verb 表示 HTTP 请求类型，如：PUT，GET，DELETE 等
Content-MD5 表示内容数据的 MD5 值，某些 API 该字段非必须
Content-Type 表示内容的类型，某些 API 该字段非必须
Date 表示此次操作的时间，格式必须符合 RFC1123 的日期格式，示例：Wed, 01 Mar 2009 12:00:00 GMT
CanonicalizedHeaders 表示请求中其他重要的 HTTP 头。
CanonicalizedResource 表示用户想要访问的 NOS 资源。

其中，Date 和 CanonicalizedResource 不能为空，其余字段如为空，用空字符串""代替；如果请求中的 Date 时间和 NOS 服务器的时间差正负 15 分钟以上，NOS 服务器将拒绝该服务，并返回错误码：AccessDenied。

构建 CanonicalizedHeaders 的方法和构建 CanonicalizedResource 的方法参见下面代码。

/*** 生成验证的字符串* * @param data* @return*/
private static String getAuthorization(String data) {String accessKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey");String secretKey = ConfigService.get("uploadFile.ObjectStorageService.NOS.secretKey");String signature = Encode.base64Encode(SymmetriCipher.HMACSHA256(data, secretKey));String authorization = "NOS " + accessKey + ":" + signature;return authorization;
}

注意如 ConfigService.get("uploadFile.ObjectStorageService.NOS.accessKey") 这里是我们调用配置读取的方法，分别读取了访问 key 和密钥。你可以修改为你自己的 Config 配置系统。

列出所有的桶

这是一个比较简单的任务，请求参数很少，适合测试签名是否通过。具体代码如下，返回 XML 结果。

/*** 列出所有的桶* * @return XML 结果*/
public static String listBuk() {String now = getDate();String canonicalizedHeaders = "", canonicalizedResource = "/";String data = "GET\n" + "\n" + "\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;String authorization = getAuthorization(data);String xmlResult = HttpBasicRequest.get("http://nos-eastchina1.126.net", false, conn -> {conn.addRequestProperty("Authorization", authorization);conn.addRequestProperty("Date", now);conn.addRequestProperty("Host", "nos-eastchina1.126.net");});return xmlResult;
}

值得一提的是，我们的 HTTP 请求库采用了自家的 AJAXJS 框架，具体就是通过一个 Java 8 的 lambda 完成了 HTTP 头的设置，如上例的 Authorization、Date、Host 必填字段。详细请参考框架简介。

依赖的 getDate() 源码如下。

/*** 请求的时间戳，格式必须符合 RFC1123 的日期格式* * @return 当前日期*/
private static String getDate() {SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);format.setTimeZone(TimeZone.getTimeZone("GMT"));return format.format(new Date());
}

创建空文件

在正式上传文件之前，我们看看比较简单的一个例子：创建空文件。话不多说，见源码如下。

/*** 创建空文件* * @param filename 文件名*/
public static void createEmptyFile(String filename) {String bucket = ConfigService.get("uploadFile.ObjectStorageService.NOS.bucket");String now = getDate();String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;String data = "PUT\n" + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;String authorization = getAuthorization(data);// 这里改为你的存储空间地址HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, new byte[0], conn -> {conn.addRequestProperty("Authorization", authorization);conn.addRequestProperty("Content-Length", "0");conn.addRequestProperty("Date", now);conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net"); // 这里改为你的存储空间地址}, null);
}

空文件就是上次字节为 0 的资源。注意存储空间地址可以改为你的配置系统，而不是像这里的写死了。

上传文件

上传文件是本文的重点了，前面所有的尝试都是为了这里的文件上传。

/*** 上传文件* * @param filePath 文件路径* @param filename 文件名，若不指定则按原来的文件名*/
public static void uploadFile(String filePath, String filename) {String bucket = ConfigService.getValueAsString("uploadFile.ObjectStorageService.NOS.bucket");File file = new File(filePath);if (filename == null)filename = file.getName();String md5 = calcMD5(file);String now = getDate();String canonicalizedHeaders = "", canonicalizedResource = "/" + bucket + "/" + filename;String data = "PUT\n" + md5 + "\n\n" + now + "\n" + canonicalizedHeaders + canonicalizedResource;String authorization = getAuthorization(data);// 这里改为你的存储空间地址HttpBasicRequest.put("https://ajaxjs.nos-eastchina1.126.net/" + filename, FileHelper.openAsByte(file), conn -> {conn.addRequestProperty("Authorization", authorization);conn.addRequestProperty("Content-Length", file.length() + "");
//          conn.addRequestProperty("Content-Type", "");conn.addRequestProperty("Content-MD5", md5);conn.addRequestProperty("Date", now);// conn.addRequestProperty("Host", "ajaxjs.nos-eastchina1.126.net");// conn.addRequestProperty("x-nos-entity-type", "json");}, null);
}

为校验文件完整性，API 允许上传者设置一个 Content-MD5 字段来作校验。具体方法如下几个方法。

/*** 计算文件 MD5* * @param file* @return 返回文件的md5字符串，如果计算过程中任务的状态变为取消或暂停，返回null， 如果有其他异常，返回空字符串*/
protected static String calcMD5(File file) {try (InputStream stream = Files.newInputStream(file.toPath(), StandardOpenOption.READ)) {byte[] buf = new byte[8192];int len;MessageDigest digest = MessageDigest.getInstance("MD5");while ((len = stream.read(buf)) > 0)digest.update(buf, 0, len);return toHexString(digest.digest());} catch (IOException | NoSuchAlgorithmException e) {e.printStackTrace();return "";}
}private static final char[] hexCode = "0123456789ABCDEF".toCharArray();/*** * @param data* @return*/
private static String toHexString(byte[] data) {StringBuilder r = new StringBuilder(data.length * 2);for (byte b : data) {r.append(hexCode[(b >> 4) & 0xF]);r.append(hexCode[(b & 0xF)]);}return r.toString();
}

当然了，文件越大，计算 MD5 时间越长。这点要注意。

指定文件夹

若指定文件夹的话，需要注意构建 CanonicalizedResource 的方法：资源为 /BucketName/ObjectName 含有路径前缀：/BucketName/文件夹路径前缀%2FObjectName；又例如 bucketname 为 file201503，资源路径为/domain/domain.txt，则CanonicalizedResource 为/file201503/domain%2Fdomain.txt。

上传的 PUT 的路径也是如此，例如截图中的，

这里是个例子所以是写死的，实际中当然要修改。

测试

我们通过一个 main 方法简单测试下。

public static void main(String[] args) {ConfigService.load("c:\\project\\aj-website-site_config.json");System.out.println(listBuk());createEmptyFile("test.jpg");uploadFile("C:\\project\\ajaxjs-maven-global.xml");
}

完整代码在 https://gitee.com/sp42_admin/ajaxjs/blob/master/ajaxjs-framework/src/main/java/com/ajaxjs/thirdparty/NsoHttpUpload.java。