Minio分布式集群搭建部署

2024-04-28 21:07:54

分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置

Minio分布式集群搭建

1、首先我们准备4台服务器：

节点	目录
192.168.1.1	/opt/minio/data
192.168.1.2	/opt/minio/data
192.168.1.3	/opt/minio/data
192.168.1.4	/opt/minio/data

从官网获取Minio：

https://dl.min.io/server/minio/release/linux-amd64/minio

2、创建目录：

mkdir -p /opt/minio/{run,data1,data2}

3、上传Minio到/opt/minio/run

可通过xftp或者rz命令（不懂者自行百度）进行上传

4、集群启动文件配置

# vim /opt/minio/run/run.sh

export MINIO_ACCESS_KEY=admin

export MINIO_SECRET_KEY=adminbfd123

/opt/minio/run/minio server --config-dir /etc/minio \

--address :9029 \

http://192.168.1.1/opt/minio/data1 http://192.168.1.1/opt/minio/data2 \

http://192.168.1.2/opt/minio/data1 http://192.168.1.2/opt/minio/data2 \

http://192.168.1.3/opt/minio/data1 http://192.168.1.3/opt/minio/data2 \

http://192.168.1.4/opt/minio/data1 http://192.168.1.4/opt/minio/data2

Minio默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口

MINIO_ACCESS_KEY：用户名，长度最小是5个字符

MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然minio会启动失败，长度最小是8个字符

–config-dir：指定集群配置文件目录

5、创建Minio.server

# vim /usr/lib/systemd/system/minio.service

Description=Minio service

Documentation=https://docs.minio.io/

WorkingDirectory=/home/data/minio/run

ExecStart=/home/data/minio/run/run.sh

Restart=on-failure

WantedBy=multi-user.target

6、权限修改

# chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/minio/run/minio && chmod +x /opt/minio/run/run.sh

7、启动集群

# systemctl daemon-reload

# systemctl start minio

# systemctl enable minio

查看集群状态

# systemctl status minio.service

注意：启动集群时一定要检查自己的防火墙是否是关闭状态，如果不是关闭状态，则会出错。

8、测试搭建是否成功

浏览器访问IP和对应端口号即可进行访问，可创建bucket进行测试，如果创建失败，则说明集群某一步搭建不成功。

使用 nginx 负载均衡

前面单独对每个节点进行访问显然不合理，通过使用 nginx 代理，进行负载均衡则很有必要。简单的配置如下：

upstream http_minio {

server 192.168.222.10:9001;

server 192.168.222.10:9002;

server 192.168.222.10:9003;

server 192.168.222.10:9004;

listen 8888;

server_name 192.168.222.10;

ignore_invalid_headers off;

client_max_body_size 0;

proxy_buffering off;

location / {

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-Host $host:$server_port;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto $http_x_forwarded_proto;

proxy_set_header Host $http_host;

proxy_connect_timeout 300;

proxy_http_version 1.1;

chunked_transfer_encoding off;

proxy_ignore_client_abort on;

proxy_pass http://http_minio;

挂载为本地目录

1. s3fs安装

在milvus所在机器上

# yum install -y epel-release

# yum install -y s3fs-fuse

s3fs -o passwd_file=/etc/s3fs/passwd-s3fs -o use_path_request_style \

-o url=http://172.18.17.16:59030 -o allow_other -o cipher_suites=AESGCM \

-o kernel_cache -o max_background=1000 -o max_stat_cache_size=100000 \

-o multipart_size=128 -o parallel_count=30 -o multireq_max=30 \

-o dbglevel=warn -o bucket=ssl /data/share/ssl

Minio分布式集群搭建部署相关推荐

Minio分布式集群搭建
一.分布式Minio快速入门分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式Minio避免了单点故障. 1.分布式Mi ...
minio分布式集群搭建完全教程（纠删码，数据恢复）
minio存储单机测试 minio对象存储: 编译安装: minio 服务器安装: git clone https://gitee.com/mirrors/minio.git cd minio go ...
CentOS7安装笔记：minio分布式集群搭建
文章目录准备机器部署(所有机器均执行) 创建挂载磁盘路径挂载磁盘路径到文件系统创建minio目录下载minio安装包创建启动脚本创建启动服务启动测试(所有机器执行) 重新加载服务的配置 ...
minio分布式集群部署
minio分布式集群部署分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障.MinioMinio分布式模式可以帮 ...
阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
docker-compose部署MinIO分布式集群
docker-compose部署MinIO分布式集群文章目录 docker-compose部署MinIO分布式集群概述纠删码部署配置概述 MinIO是全球领先的对象存储先锋,目前在全世界有 ...
手把手教你搭建MinIO分布式集群
手把手教你搭建MinIO分布式集群要求: MinIO集群规格:2节点2个磁盘. Minio域名:test_minio.com 数据目录:/opt/minio/data1,/opt/minio/dat ...
minio【docker-compose 部署minio分布式集群】
minio[docker-compose 部署minio分布式集群] 1 下载docker-compose.yaml version: '3.7'# Settings and configuratio ...
大数据分布式集群搭建（1）
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案. 闲话不多说,进入正题. 一.环境及准备因为只有一台电脑,所以需要用虚拟机来模拟环境. 本地机器用到软件: ...

最新文章

热门文章