K8s不同node如何共享存储nfs 搭建(markdown版本)

K8s不同node如何共享存储&&nfs 搭建

k8s如何共享存储
什么是分布式共享存储呢？
环境准备
- 服务端安装NFS服务步骤
- - 第一步：安装NFS和rpc。
  - 第二步：启动服务和设置开启启动：
  - 第三步：配置共享文件目录，编辑配置文件/etc/exports：
- NFS客户端挂载配置
- - 第一步
  - 第二步，在客户端创建目录，并挂载共享目录。
  - 修改fstab使系统每次启动时都能自动挂载
  - 写入一个测试文件
原生方式数据挂载
- 1、PV&PVC
- 静态供应
- - 1、创建pv池
  - 2、PVC创建与绑定
- 动态供应
参考

k8s如何共享存储

同一个pod内不同container可以使用共同挂载一个volume来共享数据，但是不同node跨服务器如何共享数据呢？

nfs是一种成熟的共享存储方案. 例如我们生产环境中的nas.
ceph是一种(分布式共享存储)

什么是分布式共享存储呢？

pod中产生了数据，数据通过存储插件(通常是一个容器)将数据写入远程的分布式存储系统ceph，当pod迁移或是升级K8s集群，即无论你在其他哪个宿主机上启动新的容器，都可以请求挂载指定的持久化存储卷，从而访问到数据卷里保存的内容。

NFS可以实现部分功能，对于动态扩容nfs-provision目前不支持

NFS provisioner limitations/pitfalls

The provisioned storage is not guaranteed. You may allocate more than the NFS share’s total size. The share may also not have enough storage space left to actually accommodate the request.
The provisioned storage limit is not enforced. The application can expand to use all the available storage regardless of the provisioned size.
Storage resize/expansion operations are not presently supported in any form. You will end up in an error state: Ignoring the PVC: didn’t find a plugin capable of expanding the volume; waiting for an external controller to process this PVC.

ceph功能就比较丰富了，还提供对象存储和块存储。

环境准备

服务端安装NFS服务步骤

第一步：安装NFS和rpc。

[root@localhost ~]# yum install -y nfs-utils
#安装nfs服务
[root@localhost ~]# yum install -y rpcbind
#安装rpc服务

第二步：启动服务和设置开启启动：

systemctl enable rpcbind --now #--now 设置开机启动
systemctl enable nfs-server --now
#配置生效
exportfs -r

第三步：配置共享文件目录，编辑配置文件/etc/exports：

# 创建共享节点
mkdir -p /monitor/data
#编辑配置文件
echo "/monitor/data *(insecure,rw,sync,no_root_squash)" > /etc/exports
# 指定cidr范围的主机可访问
# echo "/monitor/data 10.50.0.0/16(insecure,rw,sync,no_root_squash)" > /etc/exports
systemctl reload nfs
#重新加载NFS服务，使配置文件生效

用于配置NFS服务程序配置文件的参数：

格式： 共享目录的路径 允许访问的NFS客户端（共享权限参数)参数：
- ro 只读
- rw 读写
- root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户
- no_root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员
- all_squash 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户
- sync 同时将数据写入到内存与硬盘中，保证不丢失数据
- async 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据请注意，NFS客户端地址与权限之间没有空格

NFS客户端挂载配置

第一步

使用showmount命令查看nfs服务器共享信息。输出格式为“共享的目录名称允许使用客户端地址”。

[root@meta /www/pigsty]#showmount -e 10.50.10.179
Export list for 10.50.10.179:
/monitor/data     10.50.0.0/16
/k8s-sc2-xfs/data 10.50.0.0/16

showmount 用法

参数   作用
-e  显示NFS服务器的共享列表
-a  显示本机挂载的文件资源的情况NFS资源的情况
-v  显示版本号

第二步，在客户端创建目录，并挂载共享目录。

mkdir -p /nfs/data/prometheus
# 挂载
[root@meta /www/pigsty]#mount 10.50.10.179:/monitor/data/ /nfs/data/prometheus/
[root@meta /www/pigsty]#df -hT
Filesystem                 Type      Size  Used Avail Use% Mounted on
devtmpfs                   devtmpfs   32G     0   32G   0% /dev
tmpfs                      tmpfs      32G  180K   32G   1% /dev/shm
tmpfs                      tmpfs      32G   17M   32G   1% /run
tmpfs                      tmpfs      32G     0   32G   0% /sys/fs/cgroup
/dev/sda1                  xfs        40G   30G   11G  74% /
/dev/sdb1                  xfs        50G  5.8G   45G  12% /prometheus
tmpfs                      tmpfs     6.3G     0  6.3G   0% /run/user/0
10.50.10.179:/monitor/data nfs4      2.0T   32G  2.0T   2% /nfs/data/prometheus

修改fstab使系统每次启动时都能自动挂载

这种挂载文件系统的方法只能临时挂载文件系统。当重启Linux系统时，文件系统并不会自动挂载。要强制Linux在启动时自动挂载新的文件系统，可以将其添加到/etc/fstab文件。

# 使系统每次启动时都能自动挂载
]#more /etc/fstab#
# /etc/fstab
# Created by anaconda on Thu Apr 30 22:04:55 2020
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=1c419d6c-5064-4a2b-953c-05b2c67edb15 /                       xfs     defaults        0 0
/dev/sdb1               /prometheus                   xfs    defaults        0 0
/swapfile none swap defaults 0 0
10.50.10.179:/monitor/data /nfs/data/prometheus nfs    defaults 0 0

nfs4加强协议

写入一个测试文件

libvirt是个啥？

原生方式数据挂载

原生方式挂载数据对外暴露太多了，需要用户了解我们整个nfs的架构，对开发人员不友好，而且关键是不安全。整个存储应该同一管理，并分配给应用。

apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: nginx-pv-demo
name: nginx-pv-demo
spec:
replicas: 2
selector:
matchLabels:
app: nginx-pv-demo
template:
metadata:
labels:
app: nginx-pv-demo
spec:
containers:
- image: nginx
name: nginx
volumeMounts:
- name: html
mountPath: /usr/share/nginx/html
volumes:
- name: html
nfs:
server: 172.31.0.4
path: /nfs/data/nginx-pv

1、PV&PVC

PV：持久卷（Persistent Volume），将应用需要持久化的数据保存到指定位置

PVC：持久卷申明（Persistent Volume Claim），申明需要使用的持久卷规格

下面这些yaml文件中的字段不懂可以使用explain 一个一个解释。

静态供应

1、创建pv池

#nfs主节点
mkdir -p /nfs/data/01
mkdir -p /nfs/data/02
mkdir -p /nfs/data/03
创建PVapiVersion: v1
kind: PersistentVolume
metadata:name: pv01-10m
spec:capacity:storage: 10MaccessModes:- ReadWriteManystorageClassName: nfsnfs:path: /nfs/data/01server: 172.31.0.4
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv02-1gi
spec:capacity:storage: 1GiaccessModes:- ReadWriteManystorageClassName: nfsnfs:path: /nfs/data/02server: 172.31.0.4
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv03-3gi
spec:capacity:storage: 3GiaccessModes:- ReadWriteManystorageClassName: nfsnfs:path: /nfs/data/03server: 172.31.0.4

2、PVC创建与绑定

创建PVCkind: PersistentVolumeClaim
apiVersion: v1
metadata:name: nginx-pvc
spec:accessModes:- ReadWriteManyresources:requests:storage: 200MistorageClassName: nfs
创建Pod绑定PVCapiVersion: apps/v1
kind: Deployment
metadata:labels:app: nginx-deploy-pvcname: nginx-deploy-pvc
spec:replicas: 2selector:matchLabels:app: nginx-deploy-pvctemplate:metadata:labels:app: nginx-deploy-pvcspec:containers:- image: nginxname: nginxvolumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlpersistentVolumeClaim:claimName: nginx-pvc

动态供应

参考

[1] nfs 搭建