热门系列:

【Java编程系列】Amazon S3实现文件上传下载


目录

热门系列:

1、前言

2、Minio实战代码

2.1 Minio环境部署

2.2 Minio的Sdk对接实现

2.2.1 Minio Maven依赖

2.2.2 minio配置与初始化

2.2.3 上传文件

2.2.4 下载文件

2.2.5 生成文件预签名url

2.2.6 文件永久性访问实现

2.2.7 删除文件

2.2.8 其他操作

3、总结


1、前言

最近给一个租户做minio的独立存储部署,使用过程中,有了一点使用心得,做一个记录分享,希望可以帮到有需要的朋友~~~


2、Minio实战代码

2.1 Minio环境部署

进入下载链接:https://dl.min.io/server/minio/release/ ,按需下载对应版本后,安装完毕即可。装载完成,启动minio后,可以直接打开对应的可视化界面,输入http://ip:9000/,如下图,表示部署安装成功啦(安装细节在本文展开,不清楚的童靴请搜索一下):

2.2 Minio的Sdk对接实现

2.2.1 Minio Maven依赖

引入相关java sdk所需依赖:

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.2.2</version>
</dependency>

2.2.2 minio配置与初始化

先设置minio的一些配置信息:

minio:url: http://127.0.0.1:9000    #安装minio的服务器ipbucket: news                  #创建的存储桶名称(可界面创建,亦可sdk代码创建)accessKey: testkey            #minio登录账号secretKey: testpassword       #minio登录密码

通过配置类读取配置信息,为后续使用做准备:

package ***.***.***.***.configure;import lombok.Data;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioProperties {private String accessKey;private String secretKey;private String url;private String bucket;
}

初始化minio客户端:

package ***.***.***.utils;import ***.***.***.MinioProperties;
import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class MinioClientUtil {@Autowiredprivate MinioProperties properties;private MinioClient client;//初始化minio clientprivate void init() throws NoSuchAlgorithmException, InvalidKeyException, IOException,InvalidResponseException, InsufficientDataException, ServerException, ErrorResponseException,XmlParserException, InternalException {if (null != client) {return;}client = MinioClient.builder().endpoint(properties.getUrl()).credentials(properties.getAccessKey(), properties.getSecretKey()).build();makeBucket(properties.getBucket());}//创建自定义的存储桶//这里只做了简单的桶存在判断,这里还可以添加设置桶的策略等public void makeBucket(String bucket) throws IOException, InvalidKeyException, InvalidResponseException,InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,ErrorResponseException {boolean bucketExist = client.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());if (!bucketExist) {client.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());}}}

2.2.3 上传文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class MinioClientUtil {/*** @return void* @Description* @Date 11:58 2022/8/19* @Param [bucket=同名称, fileName=文件路径即名称, ins=上传的输入流, fileSize=上传的文件大小]**/public void uploadFile(String bucket, String fileName, InputStream ins, long fileSize)throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException,NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,ErrorResponseException {init();makeBucket(bucket);PutObjectArgs.Builder putObjectArgsBuilder = PutObjectArgs.builder().bucket(bucket).object(fileName).stream(ins, fileSize, 5 * 1024 * 1024);client.putObject(putObjectArgsBuilder.build());}}

2.2.4 下载文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import org.springframework.beans.factory.annotation.Autowired;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class MinioClientUtil {/*** @return java.io.InputStream* @Description* @Date 12:09 2022/8/19* @Param [bucket=存储桶名称, fileName=文件路径即名称]**/public InputStream download(String bucket, String fileName)throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException,NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,ErrorResponseException {init();GetObjectArgs.Builder getObjectArgsBuilder = GetObjectArgs.builder().bucket(bucket).object(fileName);return client.getObject(getObjectArgsBuilder.build());}}

2.2.5 生成文件预签名url

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import io.minio.http.Method;
import org.springframework.beans.factory.annotation.Autowired;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class MinioClientUtil {/*** @return java.lang.String* @Description* @Date 12:14 2022/8/19* @Param [bucket=存储桶名称, fileName=文件路径即名称]**/private String getMinioURL(String bucket, String fileName) throws IOException, NoSuchAlgorithmException, InvalidKeyException, InvalidResponseException, ServerException, XmlParserException, InternalException, InsufficientDataException, ErrorResponseException {if (null == client) {init();}GetPresignedObjectUrlArgs build = GetPresignedObjectUrlArgs.builder().method(Method.GET).bucket(bucket).object(fileName).expiry(60 * 60 * 24)   //生成的预签名url可访问的有效时间,最大期限7天.build();return client.getPresignedObjectUrl(build);}}

2.2.6 文件永久性访问实现

这里做永久访问有效实现,是为了应对一种场景。例如,我们的图片文件,需要直接通过url(非下载后)可显示或打开,在系统用户头像这里,就可能会要求如此实现。因此,我们需要保证我们生成的图片url只可以直接访问的。

但是,通过上述预签名url的生成方式,有一个最大时效7天的限制,所以此方式暂不考虑。

minio其实也提供了,文件直接通过ip端口或域名的方式访问的,即用url访问minio存储桶中的文件。要想能直接通过自己定义的 ip+端口+图片路径  来访问的话,需要将minio指定存储桶的访问策略调整一下,如下图所示:

点击add,策略选Read Only就行了,就可以访问了。

然后,通过 http://ip:9000/同名/文件路径及名称 的URL形式,就可以永久访问到这个图片文件啦~~

这里有一个访问形式上的微调,可能有的系统,是使用域名访问的,这个时候域名的一些端口都是通过nginx指定统一了,那这个时候,对于minio如果需要使用域名访问,则需要把nginx再指定配置一下,就可以啦!

2.2.7 删除文件

import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveObjectArgs;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.ServerException;
import io.minio.errors.XmlParserException;
import io.minio.http.Method;
import org.springframework.beans.factory.annotation.Autowired;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class MinioClientUtil {/*** @return void* @Description* @Date 14:19 2022/8/19* @Param [bucket=存储桶名称, fileName=文件路径即名称]**/public void delete(String bucket, String fileName) throws IOException, InvalidKeyException, InvalidResponseException,InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException,ErrorResponseException {init();client.removeObject(RemoveObjectArgs.builder().bucket(bucket).object(fileName).build());}}

2.2.8 其他操作

以上就为minio的主要操作sdk的实现了。另外有一个操作,这边就不一 一列举了。例如

获取桶对象、桶列表、存储文件列表等等,可以自行按需实践一番~~~


3、总结

在使用minio的过程中,发现了几处需要注意的点:

1、minio在同一路径下的文件,如果名称相同,则会被覆盖掉。所以,建议可以考虑加文件前加:yyyy-MM-dd/时间戳-文件名 的方式来实现区分存储

2、minio对于存储文件的单个文件的大小,暂无明确大小上限,一个对象文件可以是任意大小,从几 kb 到最大 5T 不等

最后,对于minio的加密处理方式,暂时还没有研究完,可能后续补充完善。

对博文内容有疑问的地方,欢迎下方留言讨论,看到必回复大家~~~~

【Java编程系列】Minio实现文件上传下载相关推荐

  1. java文件客户端下载_使用Java写一个minio的客户端上传下载文件

    标签:color   ati   tty   java   system   wired   format   media   param 前言: 确保已经安装了minio的服务端 代码: pom.x ...

  2. Java实现FTP批量大文件上传下载

    用Java实现FTP批量大文件上传下载 <iframe id="I0_1416224567509" style="margin: 0px; padding: 0px ...

  3. Java 使用 FTP 实现大文件上传下载

    Java 上传下载 1G 以上的文件可以通过 http 协议或 ftp 实现,但是 http 协议对文件上传大小有限制,而且还不稳定,因此这里使用 ftp 上传. ftp 上传方式有两种: 一.ASC ...

  4. minio实现文件上传下载和删除功能

    前言 之前用到文件上传功能,在这里做个学习记录.使用minio实现,后面会记录使用fastdfs和阿里云的oss实现文件上传以及他们的比较(oss根据流量收费).minio的中文文档:https:// ...

  5. JAVA中使用FTPClient实现文件上传下载

    在JAVA程序中,经常需要和FTP打交道,比如向FTP服务器上传文件.下载文件,本文简单介绍如何利用jakarta commons中的FTPClient(在commons-net包中)实现上传下载文件 ...

  6. minio操作,文件上传下载

    minio操作工具类(其中,ip,端口,账号,密码在配置文件中配置) @Api(value = "minio操作") @Component public class UploadF ...

  7. java ftp 大文件_用Java实现FTP批量大文件上传下载(二)

    2上传下载 文件的上传可以分成多线程及单线程,在单线程情况下比较简单,而在多线程的情况下,要处理的事情要多点,同时也要小心很多.下面是net.sf.jftp.net.FtpConnection的上传h ...

  8. Box浅度接触-Java实现Box文件上传下载

    背景 Box(https://www.box.com/home)是定义为内容云,在我有限认知里面,感觉应该和云存储系统没啥区别.近日,有幸和Box做了一次浅度接触,颇为缠绵,记录在这里供有需要的朋友参 ...

  9. [C# 网络编程系列]专题十一:实现一个基于FTP协议的程序——文件上传下载器...

    引言: 在这个专题将为大家揭开下FTP这个协议的面纱,其实学习知识和生活中的例子都是很相通的,就拿这个专题来说,要了解FTP协议然后根据FTP协议实现一个文件下载器,就和和追MM是差不多的过程的,相信 ...

最新文章

  1. C#进阶系列——WebApi 接口参数不再困惑:传参详解
  2. n1Linux分辨率,看看诺基亚曾经的六款平板电脑 N1不是第一
  3. 《数据结构》知识点Day_03
  4. python编程少儿游戏编程_少儿编程课堂|python – 用游戏学编程
  5. html文本框最小数字,HTML5中的数字类型的输入框:数字选择器
  6. [转]CentOS设置服务开机自动启动
  7. : 字符向量未正常终止_文本挖掘从小白到精通(一)---语料、向量空间和模型的概念...
  8. 【问题解决方案】git clone失败的分析和解决
  9. 排序算法--直接插入排序
  10. spss相关分析(spss统计分析实验教程,谢蕾蕾)
  11. 什么是Service(服务)?
  12. 华为 MA5680T [EPON]简单开局
  13. 微信好友数目限制突破5000人? 这点钉钉、BTchat链语早就做到了
  14. 西南大学2019春计算机作业答案,2019年西南大学作业答案[1175]《仪器分析》
  15. echarts 中国地图加自定义图标
  16. 060031班第一次班级聚会
  17. 账户经常被盗号怎么办?防盗“黑科技”了解一下
  18. Xshell 6的 InstallShield: 1628 完成基于脚本的安装失败
  19. 原始套接字编程——Teardrop
  20. 块级和图片的1px间隙

热门文章

  1. 国产数字源表在三极管性能测试上面的应用
  2. zebra 线程流具体分析
  3. 【软件工具】Zotero+坚果云实现多台电脑同步
  4. SEM标准品、对照品的管理大全
  5. linux 远程连接工具——MTPuTTY
  6. 达梦数据库中的注释的使用
  7. 修复ubuntu引导
  8. RTF 批量转换为 DOCX 文件
  9. 细谈中医------疥,疮,痘的治疗方法
  10. ListView不能响应itemclick事件的解决方法