MinIo 分布式文件存储

一、Minio介绍

MinIO是全球领先的对象存储先锋，目前在全世界有数百万的用户。

高性能 ，在标准硬件上，读/写速度上高达183GB/秒和171GB/秒，拥有更高的吞吐量和更低的延迟
可扩展性 ，为对象存储带来了简单的缩放模型，通过添加更多集群可以扩展空间
简单，极简主义是MinIO的指导性设计原则，即可在几分钟内安装和配置
与Amazon S3兼容 ，亚马逊云的 S3 API（接口协议）是在全球范围内达到共识的对象存储的协议，是全世界内大家都认可的标准
数据安全 ，使用纠删码来保护数据免受硬件故障和无声数据损坏

纠删码

纠删码是一种恢复丢失和损坏数据的数学算法， Minio默认采用 Reed-Solomon code将数据拆分成N/2个数据块和N/2个奇偶校验块。这就意味着如果是16块盘，一个对象会被分成8个数据块、8个奇偶校验块，你可以丢失任意8块盘（不管其是存放的数据块还是校验块），你仍可以从剩下的盘中的数据进行恢复。

http://docs.minio.org.cn/docs/master/java-client-quickstart-guide

Minio和FastDFS的对比

安装难度
文档
性能
容器化支持
SDK支持

二、Minio安装

为了快速搞定Minio的部署工作。我们通过Docker-Compose来一键快速部署操作

1.安装DockerCompose

安装DockerCompose的前提是先安装一个Docker环境，如果还没安装的参考波哥的博客地址：https://blog.csdn.net/qq_38526573/category_9619681.html

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

一键启动所有的服务

DockerCompose的使用步骤

创建对应的DockerFile文件
创建yml文件，在yml文件中编排我们的服务
通过 docker-compose up命令一键运行我们的容器

官网地址：https://docs.docker.com/compose

下载地址：

curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

修改文件夹权限

chmod +x /usr/local/bin/docker-compose

建立软连接

ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

检查是否安装成功

docker-compose --version

2.安装Minio集群

官方推荐 docker-compose.yaml：

稍加修改，内容如下：

version: '3.7'# 所有容器通用的设置和配置
x-minio-common: &minio-commonimage: minio/miniocommand: server --console-address ":9001" http://minio{1...4}/dataexpose:- "9000"# environment:# MINIO_ROOT_USER: minioadmin# MINIO_ROOT_PASSWORD: minioadminhealthcheck:test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]interval: 30stimeout: 20sretries: 3# 启动4个docker容器运行minio服务器实例
# 使用nginx反向代理9000端口，负载均衡, 你可以通过9001、9002、9003、9004端口访问它们的web console
services:minio1:<<: *minio-commonhostname: minio1ports:- "9001:9001"volumes:- ./data/data1:/dataminio2:<<: *minio-commonhostname: minio2ports:- "9002:9001"volumes:- ./data/data2:/dataminio3:<<: *minio-commonhostname: minio3ports:- "9003:9001"volumes:- ./data/data3:/dataminio4:<<: *minio-commonhostname: minio4ports:- "9004:9001"volumes:- ./data/data4:/datanginx:image: nginx:1.19.2-alpinehostname: nginxvolumes:- ./config/nginx.conf:/etc/nginx/nginx.conf:roports:- "9000:9000"depends_on:- minio1- minio2- minio3- minio4

接着新建文件夹 config，新建配置 nginx.conf

user  nginx;
worker_processes  auto;error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;events {worker_connections  4096;
}http {include       /etc/nginx/mime.types;default_type  application/octet-stream;log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log  /var/log/nginx/access.log  main;sendfile        on;keepalive_timeout  65;# include /etc/nginx/conf.d/*.conf;upstream minio {server minio1:9000;server minio2:9000;server minio3:9000;server minio4:9000;}server {listen       9000;listen  [::]:9000;server_name  localhost;# To allow special characters in headersignore_invalid_headers off;# Allow any size file to be uploaded.# Set to a value such as 1000m; to restrict file size to a specific valueclient_max_body_size 0;# To disable bufferingproxy_buffering off;location / {proxy_set_header Host $http_host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;proxy_connect_timeout 300;# Default is HTTP/1, keepalive is only enabled in HTTP/1.1proxy_http_version 1.1;proxy_set_header Connection "";chunked_transfer_encoding off;proxy_pass http://minio;}}}

然后执行对应的命令

docker-compose up -d

访问控制台：http://192.168.56.100:9000

账号密码为：minioadmin

三、Minio客户端

然后我们可以创建一个Java项目来操作文件上传下载操作。

1.Bucket

Bucket是桶的意思。我们创建一个Bucket

我们还可以直接上传图片文件等

2.用户管理

针对客户端的操作，我们需要维护相关的账号来管理。

直接点击创建相关的用户即可

用户创建完成后我们就可以通过客户端工具来操作了。

3. Java项目

然后我们来看看如何在Java项目中来操作了。

首先添加必要的依赖

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>7.0.2</version></dependency><!-- https://mvnrepository.com/artifact/commons-io/commons-io --><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.8.0</version></dependency>

然后通过相关的API操作即可

private String endpoint = "http://192.168.56.100:9000";private String accessKey = "dpb";private String secretKey = "12345678";@Testvoid contextLoads() throws Exception{// 1.使用MinIo服务的URL，端口 账号和密码 创建一个 MinIoClient对象MinioClient minioClient = new MinioClient(endpoint, accessKey, secretKey);boolean isExists = minioClient.bucketExists("test");if(isExists){System.out.println("已经存在了 test 这个 Bucket");}else{minioClient.makeBucket("test");}// 存储文件到 存储桶中minioClient.putObject("test","/group1/UserMapper.xml","d:/UserMapper.xml",null);System.out.println("文件上传成功...");// 下载文件InputStream in = minioClient.getObject("test", "/group1/UserMapper.xml");List<String> strings = IOUtils.readLines(in, "UTF-8");strings.stream().forEach(s -> System.out.println(s));}

执行后成功：

搞定

4.获取图片地址

如果上传的是普通文件我们可以获取对应的字节流来操作，但是如果我们需要获取的是图片。只要访问就可以了，这时我们可以通过对应的API来获取图片的URL地址就可以了

但是在访问的时候缺提示访问不了

原因是我们需要设置下Bucket的策略

访问就可以了

搞定~

FastDFS收藏起来，现在开始用Minio吧相关推荐

Java老码农心得：卷了这么多年，您真的卷会了吗？
前言大家好,我是福隆苑居士,今天跟大家聊一下程序员在当下内卷成风的情况下,使用什么方法可以了解行业发展趋势,知道哪些该学,哪些可以略过,今年应该掌握什么,可以放弃什么,让自己时刻紧跟行业的步伐永不掉 ...
网络文件存储系统(一)网络文件存储系统的概述
引言文件系统是整个it中核心系统之一,如常见的图片,文档以及其他格式的文件都对存储无可避免,文件系统给我们带来了无限的便利,扩展了我们的网络空间,极大提高了我们的学习成效,使我们的生活变得多姿多彩. ...
fastdfs 吗支持windows_从零搭建分布式文件系统MinIO比FastDFS要更合适
前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下<用asp.net core结合fastdfs打造分布式文件存储系统>.通过留言发现大 ...
fastdfs 吗支持windows_主流开源文件存储系统-fastdfs是否支持windows？你可以选择minio...
首先答案是肯定的,fastdfs不支持windows. 其次建议你使用Minio 一.引言一般来说文件存储花钱就选择阿里云oss.七牛云等产品,开源的话,目前开源的分布式文件存储系统非常多,上网一搜 ...
从零搭建分布式文件系统MinIO比FastDFS要更合适
前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下<用asp.net core结合fastdfs打造分布式文件存储系统>.通过留言发现大 ...
让我放弃FastDFS拥抱MinIO的8个瞬间
目前可用于文件存储的网络服务选择有很多,比如阿里云OSS.七牛云.腾讯云等等,但是收费都有点小贵.为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器.直到我发现了Mi ...
fastdfs windows部署_从零搭建分布式文件系统MinIO比FastDFS要更合适
前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下<用asp.net core结合fastdfs打造分布式文件存储系统>.通过留言发现大 ...
放弃FastDFS，拥抱MinIO的7大理由
目前可用于文件存储的网络服务选择也有不少,好比阿里云OSS.七牛云.腾讯云等等,可是收费都有点小贵.为了帮公司节约成本,以前一直是使用FastDFS做为文件服务器,准确的说是图片服务器.直到我发现了M ...
第2-3-5章删除附件的接口开发-文件存储服务系统-nginx/fastDFS/minio/阿里云oss/七牛云oss
文章目录 5.4 接口开发-根据id删除附件 5.4.1 接口文档 5.4.2 代码实现 5.4.3 接口测试 5.4.4 测试ALI和FAST_DFS以及MINIO上传和删除的接口 5.4.4.1 ...

FastDFS收藏起来，现在开始用Minio吧