在阿里云国内搭建一个纯净的 kubernetes 环境

阿里云自己的 kubernetes 有好多闭源组件，而且更新慢。本文总结一下在阿里云建立一个仅用 kubernetes 官方组件的容易升级的环境。

环境规划：

一台出口代理（以下简称 proxy）：1 CPU 1G Memory
一台网关（以下简称 gateway）：1 CPU 1G Memory
一台独立 master（以下简称 master）: 2CPU 4G Memory
两台 Node（以下简称 node1、node2）: 2CPU 8G Memory，数量可调整
存储使用阿里云的 NAS（nfs）
入网请求使用阿里云的 SLB + Ingress

合计 5 台服务器，2 个阿里云服务。

编辑此区域

准备网络环境

主要是配置 NAT。让多台局域网内的服务器能访问外网。

另外 kubernetes 依赖一些在中国大陆需要代理才能访问的镜像源，因此也需要选择性代理。

代理使用 outline，管理方便一些。

第一步，安装 outline

租用一台阿里云海外的服务器，选 1 CPU 1G Memory 即可，需要公网。

在 proxy 上执行：

sudo bash -c "$(wget -qO- https://raw.githubusercontent.com/Jigsaw-Code/outline-server/master/src/server_manager/install_scripts/install_server.sh)"

之后在安全组中，把管理端口与连接端口开放 0.0.0.0 访问。

把生成的 token 贴到本机的 outline manager 中。获取连接信息。

第二步，配置 gateway

gateway 有三个作用

做局域网内部的 NAT
做海外的透明代理
做防污染的 DNS

租用一台阿里云中国大陆的服务器，选 1 CPU 1G Memory 即可，需要公网。ubuntu。

配置文件参考：https://www.evernote.com/shard/s35/client/snv?noteGuid=4324a379-ad27-45ce-8a98-35d77dfa06d4&noteKey=8097939ce5e18420ba6a29c7d4cb0d7c&sn=https%3A%2F%2Fwww.evernote.com%2Fshard%2Fs35%2Fsh%2F4324a379-ad27-45ce-8a98-35d77dfa06d4%2F8097939ce5e18420ba6a29c7d4cb0d7c&title=%25E9%2598%25BF%25E9%2587%258C%25E4%25BA%2591%25E4%25B8%258A%25E7%259A%2584%2Bshadowsocks%2B%25E7%25BD%2591%25E5%2585%25B3

编译安装 shadowsocks。参考：https://github.com/shadowsocks/shadowsocks-libev

根据 outline manager 的连接信息，配置 ss-redir 与 ss-nat

配置 ss-redir / ss-nat 开机自启动

安装 unbound。配置 tcp upstream

配置防火墙，打开 NAT。参考：https://gist.github.com/kimus/9315140

第三步，配置 VPC 路由表

将局域网内 0.0.0.0 的下一跳设置为 gateway 的地址

编辑此区域

安装 master 与 node

在 gateway 的局域网中，租用三台 ECS。ubuntu。不要外网。配置如前述。

另外还需要租用一套 SLB 用于外部访问集群。搭建前请提前租。

初始化服务器：

#!/bin/bashapt-get update && apt-get upgrade -y && apt-get install -y socat ebtables docker.io nfs-common# enable modules
echo ip_vs_rr >> /etc/modules-load.d/modules.conf
echo ip_vs_wrr >> /etc/modules-load.d/modules.conf
echo ip_vs_sh >> /etc/modules-load.d/modules.conf
echo ip_vs >> /etc/modules-load.d/modules.conf# override dhcp dnc client
echo 'supersede domain-name-servers 172.16.0.138;' >> /etc/dhcp/dhclient.conf
service networking restart# install kubeadm
apt-get update && apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update && apt-get install -y kubelet kubeadm kubectl
reboot

初始化完成后，使用下列命令安装 master：

kubeadm init

master 安装好后，在其他两台机器上执行：

kubeadm join

最后在 SLB 上把 6443 转到 master 上。把集群的配置文件拷贝出来，地址改成 SLB 的地址。放到 kubectl 的环境中即可连接集群。

编辑此区域

安装网络

本文选择 calico 作为网络。

执行下列命令即可：

curl https://docs.projectcalico.org/v3.5/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml | kubectl apply -f -

参考：https://docs.projectcalico.org/v3.5/getting-started/kubernetes/installation/calico

编辑此区域

安装 helm

之后的组件利用 helm 管理会比较方便，因此先装 helm

执行下列命令即可：

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:name: tillernamespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: tiller
roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-admin
subjects:- kind: ServiceAccountname: tillernamespace: kube-system
EOF
helm init --service-account tiller
helm repo update

参考：https://github.com/helm/helm/blob/master/docs/rbac.md

编辑此区域

配置 ingress

利用 nginx-ingress。利用 daemonset 安装，便于 SLB 转发。

执行下列命令即可：

cat << EOF | helm install stable/nginx-ingress --namespace kube-system -f -
controller:kind: DaemonSetdaemonset:useHostPort: trueservice:type: ClusterIP
EOF

最后在 SLB 中配置将 80 和 443 平均分到全部 node 上

编辑此区域

配置存储

使用 nfs 作为存储。不过老实说 nfs 不是特别适合，因为集群里偶尔会有需要锁文件的应用，比如 sqlite。使用 nfs 会导致整个 node 无法锁文件。

第一步，租用 NAS 服务。获取挂载地址

第二步，安装

执行下列命令即可：

cat << EOF | helm install stable/nfs-client-provisioner --namespace kube-system -f -
storageClass:defaultClass: truenfs:server: 6992e4b4f5-wst84.cn-qingdao.nas.aliyuncs.compath: /mountOptions:- nfsvers=4- noresvportnodeSelector:node-role.kubernetes.io/master: nulltolerations:
- key: node-role.kubernetes.io/mastereffect: NoScheduleoperator: Exists
EOF

注意 nfs.server 需要填写第一步获取的挂载地址

编辑此区域

配置 cert-manager

最后配置签发 https 证书的工具。

执行下列命令即可：

cat << EOF | helm install stable/cert-manager --namespace kube-system -f -
ingressShim:defaultIssuerName: letsencrypt-proddefaultIssuerKind: ClusterIssuernodeSelector:node-role.kubernetes.io/master: nulltolerations:
- key: node-role.kubernetes.io/mastereffect: NoScheduleoperator: Exists
EOF

最后加入 cluster issuer

cat << EOF | kubectl apply -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:name: letsencrypt-prod
spec:acme:# The ACME server URLserver: https://acme-v02.api.letsencrypt.org/directory# Email address used for ACME registrationemail: lg@e-teng.com.cn# Name of a secret used to store the ACME account private keyprivateKeySecretRef:name: letsencrypt-prod# Enable HTTP01 validationshttp01: {}
EOF