安装VMware vSphere 7 with WCP平台

VMware VCF4.0及vSphere 7

4月2日，VMware正式发行vSphere7以及VCF4.0（VMware Cloud Foundation ）。vSphere7 整合了VM和Kubernetes平台，借助于VCF组件之一的NSX-T提供网络服务，包括了路由，交换，防火墙，负载均衡等功能服务。
有关vSphere7整合Kubernetes的具体介绍，请参考：
vSphere 7融合Kubernetes，构建现代化应用的平台

软件清单

本实验使用最新官网可下载组件进行安装，具体如下：

名称	版本	备注内部编号	image
vSphere ESXi	7.0.0	15843807	VMware-VMvisor-Installer-7.0.0-15843807.x86_64.iso
vCenter	7.0.0	15952498	VMware-VCSA-all-7.0.0-15952498.iso
NSX-T	3.0.0	15946739	nsx-unified-appliance-3.0.0.0.0.15946739.ova

硬件情况

名称	配置	参数说明
主机	三台服务器，共享管理集群和计算集群	每台提供2 core 2.20GHz CPU，128G内存，1.92T vSAN存储，2端口1000baseT和2端口10GbaseSX
网络设备	48口1/10G 交换机	满足主机接入

资源需求

虚机	vCPU	内存G	存储G
vCenter vCSA	4	19	200
NSX-T Manger	6	24	300
NSX-T Edge	8	32	200

IP地址规划

名称	地址段	备注
NSX-T管理器	192.168.10.40-43/24	192.168.10.40为VIP
NSX-T Edge	192.168.10.31-32/24
vCenter	192.168.10.10/24	GW 192.168.1.1
vSAN	192.168.130.0/24	本网段互通
vMotion	192.168.140.0/24	本网段互通
VTEP IP Pool	192.168.13.101-199/24	本网段互通
WCP master	192.168.101-105/24
Pod CIDR	172.211.0.0/20	内部
Services CIDR	172.96.0.0/23	内部
Ingerss CIDR	172.208.0.0/23	外部可路由
Egress CIDR	172.206.0.0/24	外部可路由
外网接口	10.Y.X.1/28	对端10.Y.X.13

系统逻辑图

注1:NSX-T3.0在主机准备时除了可以沿用原有的自建nVDS以外，还可以使用vSphere建立的vDS（命名为CVDS），包括单独vDS和混用计算流量vDS两种情况。但是，WCP兼容集群必须至少配置了vSphere Distributed Switch 7.0 ，即CVDS。
注2:所有与VTEP相关的⽹络MTU必须⼤于等于1600
注3:所有组件同步NTP和统一DNS
注4:所有主机的ESXi管理端口使用单独千兆端口和单独标准交换机
注5:如果使用vSAN，其磁盘组版本要升级到11或以上。

安装过程

1.在主机上安装ESXi

2.安装vCenter

导入ova文件
开启虚机，登录https://hostname:5480对vcsa进行配置安装。
结束后页面：
再次登录https://hostname就可以进入vCenter管理界面了。配置好主机集群和存储。
WCP在菜单->工作负载管理提示需要先安装NSX-T。此处需要了解几个概念：
工作负载：由在vSphere Pods、常规vm或两者组成的应用程序集合。
Supervisor Cluster：为vSphere和Kubernetes启用的集群。
CRX：容器运行时执行程序(CRX)。从Hostd和vCenter服务器的角度来看，CRX类似于VM。CRX包括一个与hypervisor一起工作的半虚拟化Linux内核。CRX使用与VM相同的硬件虚拟化技术，并且有一个VM边界。这里使用了一种直接引导技术，它允许CRX的Linux客户端在不经过内核初始化的情况下初始化主init进程。这使得vSphere pod的启动速度几乎和容器一样快。在使用上，和原生POD的绝大多数命令一致。
对于需要使用原生Kubernetes集群的需求，WCP平台使用Tanzu Kubernetes集群实现。
Tanzu Kubernetes集群：是一个完整的开源Kubernetes软件的发行版，它由VMware打包、签名和支持。在Kubernetes的vSphere环境中，可以使用Tanzu Kubernetes网格服务在管理集群上提供Tanzu Kubernetes集群。通过使用kubectl和YAML定义，可以声明性地调用Tanzu Kubernetes网格服务API。
完整的vSphere with Kubernetes Architecture for Tanzu Kubernetes Clusters如下

3.安装NSX-T

按照上面对提示，安装并配置NSX-T。

导入OVA文件
运行NSX-T，登录。可以看到于2.5版本比较，首菜单去除了高级网络选项。
在NSX-T中注册VCSA，注意在此需要打开启用信任的按钮。
完成以后：
创建Transport Zones（不使用系统默认）
需要两个Transport Zones，分别是Overlay和VLAN的Transport Zones。
创建Host/Edge Uplink Profile，用于生成Host/Edge的Transport Node
创建VTEP使用的IP Pool
创建Transport Node Profile，注意选择vCenter建立vds作为Transport Node的交换机。
主机Transport Node准备
应用上一步创建的profile
添加Edge节点和Edge-Cluster，注意edge要创建两个交换机，分别用于Overlay和uplink vlan网络；由于edge是VM，所以要接在vCenter的vDS上，示例如下：
Name: nsxt-edge-01/2
Host name/FQDN: your edge fqdn
Form Factor: Large
Must provide CLI and Root Credentials
Enable SSH login for CLI and root to facilitate troubleshooting during beta
IP Assigment: Static
Management IP:
Default gateway:
Management Interface: vPG-management-10
Search domain names: optional, your DNS domain name
DNS Servers: your DNS server IP address
NTP Server: your NTP IP or fqdn
New Node Switch:
Edge Switch Name: overlay-switch
Transport Zone: nxs-overlay-tz
Uplink Profile: wcp-edge-uplinkprofile
IP Assignment: Use IP Pool
IP Pool: VTEP Pool
uplink1 - vPG-edge-overlay
New Node Switch:
Edge Switch Name: vlan-switch
Transport Zone: nsx-vlan-tz
Uplink Profile: wcp-t0-uplinkprofile
uplink1 - vPG-edge-vlan
Select “Finish”
建好的edge和cluster：
创建T0上联使用的分段（ls逻辑交换机）
创建T0路由器
配置好出端口的IP地址和全网段静态路由（T0也支持BGP）
在vcsa上面创建Storage Profiles
路径：Menu→ Policies and Profiles → VM Storage Policies, Create VM Storage Policy
其中使用的tag要提前分配好
在计算集群启用WCP

- Pod CIDR：将从中为 Pod 分配 IP 的内部 CIDR 块。它们不能与工作负载管理 组件 (VC、NSX、ESX、Management DNS、NTP) 的 IP 重叠，也不应与用来 与 Pod 通信的其他数据中心 IP 重叠。
- Service CIDR：将从中为 Kubernetes ClusterIP 服务分配 IP 的内部 CIDR 块。它们不能与工作负载管理 组件 (VC、NSX、ESX、Management DNS、NTP) 的 IP 重叠， 也不应与用来与 Pod 通信的其他数据中心 IP 重叠。
- Ingess CIDR：将从中为 Kubernetes Ingress 和 LoadBalancer 类型的服务 分配 IP 的外部 CIDR 块。这些 CIDR 将来自外部网络的 IP 空间。 Supervisor Kubernetes 控制层面将为每个命名空间分配 1 个公用 Kubernetes Ingress IP (同一命名空间中的所有 Ingress 共享一个公用 IP)， 为每个 LoadBalancer 类型的服务分配 1 个 IP (每个 Kubernetes LoadBalancer 类型的服务均分配有一个唯一 IP)。
- Egress CIDR：将用于通过 SNAT 规则将内部 Pod IP 转换为外部 IP 的外部 CIDR 块， 以允许 Pod 访问外部网络。这些 CIDR 应来自外部网络的 IP 空间。 Supervisor Kubernetes 控制层面将为每个命名空间 分配 1 个输出 IP。

网络拓扑如下

整个启用过程需要40-50分钟，成功以后在工作负载的界面可以看到

可以看到k8s的版本是v1.16.7.
在主机和虚机界面可以看到三台master节点

自此，WCP平台安装成功，系统可以创建Namespace了。