文章目录

一、集群规划
系统优化
添加yum源
- 挂载本地yum源
- 添加ceph网络yum源
- 添加kernel网络yum源
- 添加docker网络yum源
升级内核
部署docker
部署时间同步
安装ceph
引导一个新集群
RBD块存储
osd 操作
打标签
监控器调整
对象存储
用户密码策略

一、集群规划

10.0.241.201 test-sujch-01
10.0.241.202 test-sujch-02
10.0.241.203 test-sujch-03
10.0.241.175 test-sujch-04 ## harbor、haproxy、时间服务器

系统优化

# 关闭防火墙
systemctl disable --now firewalld
# sshd优化
sed -i 's#\#UseDNS yes#UseDNS no#' /etc/ssh/sshd_config
sed -i 's#^GSSAPIAuthentication yes$#GSSAPIAuthentication no#' /etc/ssh/sshd_config
sed -i 's/GSSAPICleanupCredentials no/GSSAPICleanupCredentials yes/' /etc/ssh/sshd_config
sed -i 's/^#   StrictHostKeyChecking ask/   StrictHostKeyChecking ask/' /etc/ssh/ssh_config
systemctl restart sshd
# 关闭selinux
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g"  /etc/selinux/config
setenforce 0
# 在所有主机上进行操作

添加yum源

挂载本地yum源

rm -rf  /etc/yum.repos.d/*
# 挂在镜像yum源
mount /dev/cdrom /mnt/
# 生成本地repo文件
cat >  /etc/yum.repos.d/local.repo <<EOF
[local]
name=local
baseurl=file:///mnt
gpgcheck=0
enable=1
EOF

添加ceph网络yum源

cephadm工具yum源：https://mirrors.aliyun.com/ceph/rpm-octopus/el7/noarch/
ceph安装yum源：https://mirrors.aliyun.com/ceph/rpm-octopus/el7/x86_64/

添加kernel网络yum源

kernel内核最新yum源：http://mirror.centos.org/altarch/7/kernel/x86_64/

添加docker网络yum源

kernel内核最新yum源：http://mirror.centos.org/altarch/7/kernel/x86_64/
docker安装yum源：https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/

升级内核

yum -y install wget vim lrzsz unzip zip
yum -y install kernel kernel-devel
grub2-set-default 0
reboot
uname -a
# 在所有主机上进行操作

部署docker

#
yum -y install docker-ce
systemctl enable --now  dockercat > /etc/docker/daemon.json <<EOF
{"exec-opts": ["native.cgroupdriver=systemd"],"insecure-registries" : ["0.0.0.0/0"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"storage-driver": "overlay2","storage-opts": ["overlay2.override_kernel_check=true"]
}
EOF
systemctl restart  docker# 在所有主机上进行操作

部署时间同步

yum -y install chrony
systemctl enable --now chronyd
# 在所有主机上进行操作
# chronyd服务端，这里使用10.0.241.175作为服务端，其他节点作为客户端# 服务端10.0.241.175配置
cat >/etc/chrony.conf <<EOF
server 10.0.241.175 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
allow 10.0.241.0/24
local stratum 10
rtcsync
logdir /var/log/chrony
EOF
systemctl restart chronyd  && systemctl enable chronyd #客户端配置
cat >/etc/chrony.conf <<EOF
server 10.0.241.175 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
logdir /var/log/chrony
EOF
# 修改完配置，重启chronyd，使配置文件生效
systemctl restart chronyd  && systemctl enable chronyd
chronyc sources

安装ceph

yum -y install ceph ceph-common cephadm
# 所有节点安装

引导一个新集群

# 以下所有操作在test-sujch-01（10.0.241.201）执行
cephadm --image 10.0.241.175:8080/ceph/ceph:v15 bootstrap --mon-ip 10.0.241.201
# 添加集群秘钥
ssh-copy-id -f -i /etc/ceph/ceph.pub root@10.0.241.201
ssh-copy-id -f -i /etc/ceph/ceph.pub root@10.0.241.202
ssh-copy-id -f -i /etc/ceph/ceph.pub root@10.0.241.203# 添加主机
ceph orch host  add test-sujch-02 10.0.241.202
ceph orch host  add test-sujch-03 10.0.241.203
# mon监控器节点，运行多个副本，用于高可用
ceph orch apply mon --placement="3"# 自动添加osd
ceph orch apply osd --all-available-devices
# 修改prometheus、alertmanager、grafana、node-exporter服务的镜像地址
ceph config set mgr mgr/cephadm/container_image_node_exporter 10.0.241.175:8080/prometheus/node-exporter:v0.18.1
ceph config set mgr mgr/cephadm/container_image_grafana 10.0.241.175:8080/ceph/ceph-grafana:6.7.4
ceph config set mgr mgr/cephadm/container_image_alertmanager 10.0.241.175:8080/prometheus/alertmanager:v0.20.0
ceph config set mgr mgr/cephadm/container_image_prometheus 10.0.241.175:8080/prometheus/prometheus:v2.18.1
# 重新应用镜像，相当于刷新配置
ceph orch redeploy node-exporter
ceph orch redeploy alertmanager
ceph orch redeploy grafana
ceph orch redeploy prometheus

RBD块存储

ceph osd pool create rbd-k8s 128 128
ceph osd pool application enable rbd-k8s rbd
# 新增用户
ceph auth get-or-create client.rbd-k8s mon 'allow r' osd 'allow * pool=rbd-k8s'
ceph auth ls

osd 操作

# 磁盘擦除
ceph orch device zap label:/dev/sda
# 新加osd
ceph orch daemon add osd 10-0-103-231:/dev/sda

打标签


ceph orch host label add  master01 mon

监控器调整

对象存储


# 启用对象存储dashboard控制面板
ceph orch apply rgw yunwei01 cn-east-1 --placement="3"
radosgw-admin user create --uid=yunwei01 --display-name=yunwei01     --system
ceph dashboard set-rgw-api-access-key -i access_key
ceph dashboard set-rgw-api-secret-key -i secret_key# 启动文件系统（未配置完）
ceph orch apply mds CephFS  --placement="3"

用户密码策略

ceph dashboard set-pwd-policy-min-length num    # 设置密码长度
ceph dashboard set-pwd-policy-min-complexity    # 设置密码复杂度# 密码策略检查
ceph dashboard set-pwd-policy-check-length-enabled <true|false>
ceph dashboard set-pwd-policy-check-oldpwd-enabled <true|false>
ceph dashboard set-pwd-policy-check-username-enabled <true|false>
ceph dashboard set-pwd-policy-check-exclusion-list-enabled <true|false>
ceph dashboard set-pwd-policy-check-complexity-enabled <true|false>
ceph dashboard set-pwd-policy-check-sequential-chars-enabled <true|false>
ceph dashboard set-pwd-policy-check-repetitive-chars-enabled <true|false>

cephadm部署分布式ceph存储相关推荐

Openstack云平台脚本部署之Ceph存储集群配置（十四）
目录一.简介二.部署脚本三.参考文档四.源码五.系列文章一.简介 Openstack的后端存储对接Ceph分布式统一存储,将Glance镜像.Nova虚拟机及快照.Cinder-Volum ...
分布式ceph存储部署
文章目录分布式存储ceph部署分布式存储ceph部署准备: 1. 安装完操作系统 2. 配置完硬件项目:分布式存储ceph部署 1.环境准备(一键部署见下文) 2.每台机器均关闭**selinu ...
K8S部署分布式文件存储minio两种部署方式
一. 分布式文件存储系统有很多,比如hadoop的HDFS和FastDFS.今天部署minio文件系统. 二. 分布式文件存储minio GitHub官网和minio官网都有详细的文档 MinIO下载 ...
ceph 分布式文件存储部署
目录 1.什么是ceph 2.安装方式 3.注意事项 4.osd数据清理 5.参考文献 1.什么是ceph ceph是一个高度可扩展的分布式存储解决方案,用于块存储.对象存储和共享文件系统 2.安装方 ...
Anolis OS8.6QU1通过cephadm部署ceph17.2.0分布式块存储(三)添加其它主机和添加mgr节点
本文尝试在龙蜥Anolis OS8.6QU1上通过cephadm部署ceph17.2.0分布式块存储,实现国产化操作系统上的存储系统构建,本步骤为完成首节点mon节点和图形界面,完成其它节点的基础安装 ...
Anolis OS8.6QU1通过cephadm部署ceph17.2.0分布式块存储(六)部署iscsi服务
本文尝试在龙蜥Anolis OS8.6QU1上通过cephadm部署ceph17.2.0分布式块存储,实现国产化操作系统上的存储系统构建,本步骤为完成首节点mon节点和图形界面,完成其它节点的基础安装 ...
使用cephadm部署单节点ceph集群，后期可扩容（基于官方文档，靠谱，读起来舒服）
目录 ceph各种部署工具比较(来自官方文档的翻译,靠谱!) 材料准备 cephadm使用条件服务器有外网访问能力服务器没有外网访问能力安装cephadm cephadm的功能两种安装方式基 ...
ceph存储原理_热门的分布式存储系统ceph入门介绍
一.什么是ceph ceph是当前最热门的分布式存储系统之一,是软件定义存储(SDS,SoftwareDefinedStorage)解决方案中的典范.其具备良好的可靠性.可扩展性,应用范围包括块存储( ...
分布式开源存储架构Ceph概述
文章目录概述什么是ceph? ceph的架构 Ceph OSD Ceph Monitor OSD Map PG Map CRUSH算法 Ceph的文件存储 Ceph的MDS ceph的不足 Cep ...

cephadm部署分布式ceph存储