快速部署集群

安装步骤

配置信息

登陆界面

浏览器地址: https://192.168.0.11:8006

root登陆

创建cluster集群

Master节点 - 密钥

node节点 - 导入密钥

删除节点

pvecm  delnode   pve2

初始化配置

#!/bin/bash
# --------------------------------------------------
#Author:  LGhost
#Email:   admin@attacker.clubcat > /etc/apt/sources.list<<EOF
deb http://ftp.debian.org/debian stretch main contrib
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription
deb http://ftp.debian.org/debian stretch-updates main contrib
# security updates
deb http://security.debian.org stretch/updates main contrib
EOFecho /etc/apt/sources.list.d/pve-enterprise.listgrep ntpdate  /etc/crontab &>/dev/null  ||echo  '*/3 * * * *  ntpdate ntp.aliyun.com'  >>  /etc/crontab
# ntpecho  "nameserver 223.5.5.5" > /etc/resolv.conf
echo  "nameserver 223.6.6.6" >> /etc/resolv.confapt-get  update
apt-get install  mlocate vim net-tools sudo  ntpdate -ygrep vi ~/.bashrc || sed  -i  "/mv/a\alias vi='vim'"  ~/.bashrc
grep ^PS /etc/profile || echo '''PS1="\[\e[37;1m\][\[\e[32;1m\]\u\[\e[37;40m\]@\[\e[34;1m\]\h \[\e[0m\]\t \[\e[35;1m\]\W\[\e[37;1m\]]\[\e[m\]/\\$" ''' >>/etc/profile
grep HISTTIMEFORMAT  /etc/profile || echo '''export HISTTIMEFORMAT="%F %T `whoami` " ''' >>/etc/profile

ceph

proxmox官方安装ceph https://pve.proxmox.com/pve-docs/chapter-pveceph.html

ceph版本 http://docs.ceph.com/docs/master/releases/

安装

pveceph install
# 每个节点上安装ceph；指定版本--version luminouspveceph init --network 192.168.0.0/24
# 任意节点初始化ceph集群存储网络pveceph createmon
# 每个节点创建ceph集群存储Mon监控# pveceph createmgr
# 每个节点上安装mgrpveceph createosd /dev/sdb
#  每个节点上创建Ceph OSDceph -s
# 查看Ceph集群状态

终端查看ceph集群

web查看ceph状态(确保ntp时间同步)

创建POOL

通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：

若少于5个OSD， 设置pg_num为128。 5~10个OSD，设置pg_num为512。 10~50个OSD，设置pg_num为4096。 超过50个OSD，可以参考pgcalc计算。

存储pool

ceph osd lspools
# 查看ceph osd pool create pvepool 128
#创建集群存储资源池ceph osd pool create [资源池名称] 128ceph osd pool delete  pvepool pvepool  --yes-i-really-really-mean-it
# 删除POOL

mkdir /etc/pve/priv/ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph.keyring
# Ceph Clien#cp /etc/pve/priv/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
ceph osd pool application enable pvepool rbd
#复制存储ID和密钥到指定文件位置

添加RBD集群存储

虚拟机HA

安装系统

三种上传镜像方式

1. 自带web上传

2. 下载阿里源镜像

cd /var/lib/vz/template/iso &&  wget -c https://mirrors.aliyun.com/centos/7.5.1804/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

3. sftp上传本地镜像(ssh协议)

创建第一台主机

创建虚拟机 -> 初始化 -> 转换成模板

windows例子

选择镜像位置 ;物理路径 /var/lib/vz/template/iso/ 选择磁盘类型

加入virtio-win驱动镜像

虚拟机跨环境迁移

主机备份

节点上恢复主机

维护

ceph mon stat # 查看当前mon节点

ceph osd tree # 查看osd ； --show-shadow查看磁盘类型
ceph osd crush rm osd.9 # 删除故障节点的ceph磁盘
ceph osd crush rm  pve2 # 从ceph集群中删除物理节点
pvecm  delnode   pve2   # pve集群删除故障节点dd if=/dev/zero of=/dev/sdb bs=1M count=200
ceph-disk zap /dev/sdb
# 前使用过磁盘（例如ZFS / RAID / OSD），要删除分区表，引导扇区和任何OSD剩余部分

ceph health提示： HEALTH_WARN application not enabled on 1 pool(s)

ceph osd pool application enable pvepool  rbd
# 任意节点

其他转： https://blog.51cto.com/wangzhijian/2159701?source=dra