minio 分片上传

脑子不够，笔头来凑！我也不是什么大鸟，职场闯荡三年半，依旧觉得自己像个小白。幸好虽一把年纪，打怪升级，芳心依旧。矫情…

今天工作中测试使用 minio 上传大文件给 OOM ，可我本地本地测试没问题啊。当时就觉得哪里又又又又写了 bug，还是个低级的，查了半天发现是：测试环境服务封装在 docker 里面，容器设置了最大堆内存 1G，大文件超过 1G 了，我本地 mac 是 16G 的。So，这就能合理解释为啥子本地不报错，测试内存溢出了。

上传代码(部分)长这个酱紫：

String path = "./large-file.zip";
File file = new File(path);
InputStream inputStream = new FileInputStream(file)
minioClient.putObject(bucketName, file.getName(), inputStream,"application/octet_stream");

也是第一次搞对象存储，好些不知道。那会就想着输入流建立了管道，怎么还把内存给读爆了，（这里是老大提醒的）minio 内部设计的要从管道中读到全部数据再上传，那这个设计也太二了。

先将文件全部读到内存，再上传，要是文件再大点，这得要多大内存啊。

So 继续搜了搜，还真有分片上传。

版本是 7.0.2

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>7.0.2</version>
</dependency>

分片上传:

try(InputStream inputStream = new FileInputStream(file)) {// 设定每片大小 10MPutObjectOptions options = new PutObjectOptions(-1, 10 * 1024 * 1024);options.setContentType("application/octet-stream");minioClient.putObject(bucketName, fileName, inputStream, options);return true;
} catch (Exception e) {return false;
}

但是在后面的版本中就没找到 PutObjectOptions 类了，可能重新设计了分片上传的 api。但确定的一点是，分片上传的功能是有的。

minio 分片上传相关推荐

minio实现大文件分片上传+断点续传+预览
minio实现大文件分片上传+断点续传+预览只提供后端java代码思路: 前端分片校验文件md5是否已经存在 --不存在创建临时桶存分片校验分块是否已经上传分块上传合并分块校验合成后md ...
SpringBoot 分片上传、断点续传、秒传、直传Minio
最近在学习,在SpringBoot上进行分片上传.断点续传.直接上传到Minio服务器上,中间也遇到的不少坑.自定义minio继承MinioClient来实现分片上传.比较适合初学者. 一.大致的流程 ...
AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）
一.介绍通用存储操作common包,支持所有兼容amazon-s3协议的云存储,如minio.oss.cos等,以后客户用啥云储存一套代码都能搞定了,真棒~ 二.代码结构三.代码实现 3.1 po ...
SpringBoot文件分片上传
背景最近好几个项目在运行过程中客户都提出文件上传大小的限制能否设置的大一些,用户经常需要上传好几个G的资料文件,如图纸,视频等,并且需要在上传大文件过程中进行优化实时展现进度条,进行技术评估后针对框 ...
7、AWS SDK for Go-文件分片上传
7.AWS SDK for Go-object操作对象介绍源数据对象分片上传对象的分片上传优势分段上传流程分段上传开始分段上传分段上传完成分段上传调用示例分段上传列表使用分段上传 ...
大文件分片上传，断点续传，秒传实现
前段时间做视频上传业务,通过网页上传视频到服务器. 视频大小小则几十M,大则 1G+,以一般的HTTP请求发送数据的方式的话,会遇到的问题:1,文件过大,超出服务端的请求大小限制:2,请求时间过长, ...
webuploader+PHP实现超大文件分片上传的功能
在开发<工单地图>的时候,后台平面图上传的功能需要处理10M以上大小的文件上传,单个超大文件上传的时候容易出现各种问题,后来采用了分片上传的思路.将大文件分成多个小的文件分片,逐个上传到服 ...
vue前端上传文件夹的插件_基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件...
1. 前言之前公司要在管理系统中做一个全局上传插件,即切换各个页面的时候,上传界面还在并且上传不会受到影响,这在vue这种spa框架面前并不是什么难题.然而后端大佬说我们要实现分片上传.秒传以及断点 ...
jquery 分片上传php,php 大文件分片上传
前端部分上传 //上传控件 uploadBig('upload','zip,rar,7z,tar',{ id: '', type: 'upload_file', } ,(res)=>{ //t ...

minio 分片上传

minio 分片上传相关推荐

最新文章

热门文章