k8s部署环境

  • 公有云环境：AWS、腾讯云、阿里云等等
  • 私有云：OpenStack、vSphere等
  • Baremetal环境：物理服务器或独立虚拟机（底层没有云环境）。

  

k8s部署方式

  • Minikube：Kubernetes官网提供的微型分布式环境，适合学习、初次体验，不过应该需要梯子才能用。

  • Kubeadm：由于二进制部署方式过于复杂，所以后来出现了Kubeadm的部署方式，这种方式其实是将k8s的各组件容器化了。注意，使用容器方式部署Master节点各组件时，需要安装kubelet和docker组件去实例化容器。这种方式有些缺点：

    • 这些运行容器所需要的部分镜像在gcr.io（谷歌的镜像站）上，你懂得，架梯子才能访问。
    • k8s集群内部通信采用的是TLS认证机制，但是内部都内网通信，所以一般采用自建CA，此种方式部署，其中的证书不是自己签的，所以搞不好啥时候就过期了，所以生产环境不适用
    • 不支持Master节点高可用，一旦Master节点挂了，容器管理怎么办？监控、故障恢复谁处理？
  • 二进制部署：相对复杂，生产环境适用。将重要组件以守护进程的方式部署
  • 还有一些云厂商专有的部署方式，如kops，这里就不一一介绍了。

  • 二次封装的k8s发行版

    • Rancher：Rancher Labs基于k8s的二次封装发行版。
    • Tectonic：CoreOS公司基于k8s的二次封装发行版。
    • Openshift：Redhat基于k8s的二次封装发行版，只留下k8s的成熟功能，部署更加便捷，需要有ansible基础。相比较知名的发行版就是Rancher和Openshift

  

k8s部署要点

  • 测试环境

    • 单Master，单etcd
    • Node节点随意。
    • NFS存储

  • 生产环境

    • 高可用Master，高可用etcd，至少三个。

      • kube-apiserver是无状态的，可以配置多实例。利用nginx或者haproxy做反代，并借助keepalived实现冗余。
      • kube-scheduler和kube-controller-manager各自只能有一个活动实例（同时几个scheduler去掉都同一个Pod，听谁的。），但是可以建多个实例备用。他们自带leader选举功能，且默认开启此功能。
    • 多Node主机，数量越多，冗余能力越强。

    • ceph或glusterfs等分布式存储

  • 主机环境预设

    • 如果有条件，最好搭建一个内网ntp服务，用来同步时间
    • 配置好各节点间的hosts解析
    • 禁用防火墙和Selinux，防止混淆
    • 各节点禁用swap，使用swap虽然暂时能节省一些物理内存，但也会造成性能下降。安装时会自动检查此项，不禁用会导致安装出错，不过也有参数可以忽略。。。

  

kubeadm部署k8s

  • 主机规划
主机名 IP 角色 环境
k8s-m1 192.168.2.124 控住节点 Centos 7.6，配置最少2核CPU，2G内存
k8s-n1 192.168.2.244 数据节点 Centos 7.6

 

  • 准备工作（所有节点）

 1. 我没有搭建自己的ntp，就用个定时任务替代了吧。

[root@k8s-m1 ~]# crontab -l
# time sync
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null

 2. 配置主机名解析

[root@k8s-m1 ~]# tail -3 /etc/hosts
192.168.2.124 k8s-m1
192.168.2.244 k8s-n1

 3. 关闭防火墙和selinux

[root@k8s-m1 ~]# systemctl stop firewalld.service
[root@k8s-m1 ~]# systemctl disable firewalld.service
[root@k8s-m1 ~]# sed -i.bak 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
[root@k8s-m1 ~]# setenforce 0

 4. 禁用swap，默认情况下系统的swap都是打开的。

# 我在自己电脑上创建的虚拟机做的实验，资源有限，这里就不禁用swap了。emmmm....禁用命令如下：
[root@k8s-m1 ~]# swapoff -a
# 上面只是临时生效，永久生效把fstab文件中所有的swap条目注释掉。
[root@k8s-m1 ~]# cat /etc/fstab | grep swap
#UUID=0226cdc9-a352-4779-bffb-13e6b794e98b swap                    swap    defaults        0 0

 5. 设置开机自动启用ipvs内核模块
  Node节点中的kube-proxy支持iptables和ipvs两种模式。从v1.2版本开始，iptables就作为kube-proxy的默认操作模式，v1.8引入了ipvs模式，v1.11可以正式使用。iptables和ipvs都是基于netfilter安全框架，相比iptables来说，ipvs能够为大型集群提供了更好的扩展性和性能，并且可以支持更加复杂的负载均衡算法。ipvs依赖于iptables，咱先把准备工作做好，用不用再说。

vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bashipvs_dir='/usr/lib/modules/`uname -r`/kernel/net/netfilter/ipvs'
for m in `ls $ipvs_dir | grep -o ^[^.]*`
do/sbin/modinfo -F filename $m &>/dev/nullif [ $? -eq 0 ];then/sbin/modprobe $mfi
done
# 加载模块的脚本先写好，放在开机自动加载的modules目录中，但是先不要给执行权限，咱现在还用不到。

 6. 配置免密传输文件。此步骤可选，我为了拷贝东西方便。

[root@k8s-m1 ~]# cd /server/scripts/
[root@k8s-m1 scripts]# yum -y install sshpass
[root@k8s-m1 scripts]# vim batch.sh
#!/bin/bashrm -rf /root/.ssh/id_dsa*
ssh-keygen -t dsa -f /root/.ssh/id_dsa -P '' -qfor ip in $*
doecho -e "\n-----distribute public key to 10.0.0.$ip -----\n"sshpass -p 123456 ssh-copy-id -i /root/.ssh/id_dsa.pub -o StrictHostKeyChecking=no 10.0.0.$ip &>/dev/nullecho -e "\n----- distribution of complete -----\n"
done
[root@k8s-m1 scripts]# sh batch.sh 20 21 22
[root@k8s-m1 scripts]# cd
  • 安装程序（所有节点）

 1. 安装docker

[root@k8s-m1 ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@k8s-m1 ~]# yum -y install docker-ce
# docker自1.13版本起，启动后会默认会把防火墙的FORWARD策略改为DROP，这可能会影响k8s集群的报文转发功能，所以我们需要将FORWARD链的默认策略改为ACCEPT。
[root@k8s-m1 ~]# vim /usr/lib/systemd/system/docker.service。
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT  # 当docker启动后额外执行此条命令。此行加到ExecStart行下面。
[root@k8s-m1 ~]# systemctl daemon-reload
[root@k8s-m1 ~]# systemctl start docker
[root@k8s-m1 ~]# systemctl enable docker
# 使用docker info命令有报告警信息，这里如若放任不管，后面集群初始化和node节点加入集群都会报错。
[root@k8s-m1 ~]# docker info
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
# 使用下面命令可以看到这俩个参数我们确实没有开启
[root@k8s-m1 ~]# sysctl -a | grep bridge
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
[root@k8s-m1 ~]# vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@k8s-m1 ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

 2. 配置k8s的yum仓库，并安装相关程序。仓库的配置方法可以在阿里云镜像仓库上的kubernetes目录的帮助中查看。

# 阿里云镜像站的Kubernetes项目下el7目录中只有一个repodata，这种方式表明里面的程序包是按照当前状态构建生成的，不能够直接下载，只能本地配置yum仓库。
[root@k8s-m1 ~]# vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
[root@k8s-m1 ~]# yum makecache
[root@k8s-m1 ~]# yum -y install kubeadm-1.15.2 kubectl-1.15.2 kubelet-1.15.2
[root@k8s-m1 ~]# systemctl start kubelet.service
[root@k8s-m1 ~]# systemctl enable kubelet.service
  • 修改配置并初始化集群（master节点）

 1. 修改配置文件，即便检测到swap没有禁用，也不报错。

root@k8s-m1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"

 2. kubeadm命令使用

[root@k8s-m1 ~]# kubeadm --help
Usage:kubeadm [command]
Available Commands:alpha            # 处于测试中不太完善的命令config            # 显示当前配置init                 # 初始化集群join                # 各Node节点加入集群中时使用reset              # 每个节点都可以用，把配置还原到最初始的状态。upgrade         # 升级集群的版本。
# print参数也是有子命令的，使用下面命令可以查看集群初始化时的预设配置，其中一些与我们真实环境不匹配，可以在初始化时手动指定修改。
[root@k8s-m1 ~]# kubeadm config print init-defaults     # 下面只截取部分配置
imageRepository: k8s.gcr.io         # 默认加载镜像的仓库，需要梯子才能访问，如果知道国内别的仓库有需要的镜像，初始化时可以手动指定仓库地址。
kind: ClusterConfiguration
kubernetesVersion: v1.14.0          # k8s版本，这是初始化会加载的配置，如果与你预期的版本不符，自行修改。
networking:dnsDomain: cluster.localserviceSubnet: 10.96.0.0/12       # Service网络默认地址。
scheduler: {}
# 至于Pod网络，k8s只提供了CNI，真正实现网络通信，需要借助第三方插件，如flannel、calico，两者都蛮火的，不过它们的默认网络地址不同。flannel的默认地址是10.244.0.0/16，calico的默认地址是192.168.0.0/16。如果不使用默认地址，则在部署网路插件时指定的网络地址要与k8s部署时指定的Pod网络地址一致。

 3. 拉取镜像，并进行k8s集群初始化

# 使用命令行参数。指定kubernetes版本与前面下载kubeadm等程序版本一致；使用flannel插件，所以先指定网络地址；指定忽略Swap的错误检查，注意大小写；最后使用--dry-run参数测试能否执行成功
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap --dry-run
[root@k8s-m1 ~]# echo $?
0
# 测试是没有问题的，因为还么有开始拉镜像，如果去掉--dry-runde参数执行，就会报如下错误：访问不了gcr.io。
[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.15.2: output: Error response from daemon: Get https://k8s.gcr.io/v2/: proxyconnect tcp: dial tcp 218.255.73.143:80: connect: connection refused, error: exit status 1
# 前面说过，kubeadm部署的k8s需要用到的镜像有一部分在k8s.gcr.io上，因为某种不可描述的原因导致我们拉取不到，所以只能找找国内的资源，可以先看看kubeadm需要哪些镜像。
[root@k8s-m1 ~]# kubeadm config images list
W0812 14:25:08.711840    4589 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)   # 访问不到grc.io
W0812 14:25:08.711926    4589 version.go:99] falling back to the local client version: v1.15.2  # 本地客户端版本
k8s.gcr.io/kube-apiserver:v1.15.2
k8s.gcr.io/kube-controller-manager:v1.15.2
k8s.gcr.io/kube-scheduler:v1.15.2
k8s.gcr.io/kube-proxy:v1.15.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
# 手动下载镜像，然后修改tag
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/pause:3.1
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/etcd:3.3.10
[root@k8s-m1 ~]# docker pull coredns/coredns:1.3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-apiserver:v1.15.2 k8s.gcr.io/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2 k8s.gcr.io/kube-controller-manager:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2 k8s.gcr.io/kube-scheduler:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-proxy:v1.15.2 k8s.gcr.io/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/etcd:3.3.10  k8s.gcr.io/etcd:3.3.10
[root@k8s-m1 ~]# docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
# 删除掉不用的镜像，最终如下：
[root@k8s-m1 ~]# docker images
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-apiserver            v1.15.2             34a53be6c9a7        6 days ago          207MB
k8s.gcr.io/kube-proxy                v1.15.2             167bbf6c9338        6 days ago          82.4MB
k8s.gcr.io/kube-scheduler            v1.15.2             38d61dd6e105        3 weeks ago         81.1MB
k8s.gcr.io/kube-controller-manager   v1.15.2             575346c7506b        3 weeks ago         159MB
k8s.gcr.io/coredns                   1.3.1               eb516548c180        7 months ago        40.3MB
k8s.gcr.io/etcd                      3.3.10              2c4adeb21b4f        8 months ago        258MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca1        19 months ago       742kB
# 开始执行初始化操作
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap
Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:       # 以普通用户做如下操作mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configYou should now deploy a pod network to the cluster.         # 提示你该安装Pod网络插件了
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.2.124:6443 --token 2k3m1f.74e5cncv0ebarcuf \--discovery-token-ca-cert-hash sha256:7bd3c396064e35e4a12ca25c4a44725f102b01017a331f4f25d14ab09a6ea75a  # 初始化的结尾：注明Node加入集群的方式，注意保存此条命令。
# 此处为了方便就直接用root用户进行操作了。
[root@k8s-m1 ~]# mkdir -p $HOME/.kube
[root@k8s-m1 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-m1 ~]# chown $(id -u):$(id -g) $HOME/.kube/config     # 管理员下此步骤可省略
# config的配置文件是一定要有的，没有的话，kubectl get nodes命令就执行不了，注意配置文件一定不能泄露。node上也有此命令，但是不能执行get的操作，因为apiserver监听在master的6443的端口，除非你master节点的配置文件拷贝到node上，否则node执行kubectl get nodes就只会找本机的8080，这是没有结果的。
[root@k8s-m1 ~]# netstat -lntp | grep -i apiserve
tcp6       0      0 :::6443                 :::*                    LISTEN      16341/kube-apiserve
[root@k8s-m1 ~]# kubectl config view | grep serverserver: https://192.168.2.124:6443
[root@k8s-n1 ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
# 现在只有一个master节点，状态是未就绪，需要部署网络插件。
[root@k8s-m1 ~]# kubectl get nodes
NAME       STATUS     ROLES    AGE   VERSION
k8s-m1   NotReady   master   18m   v1.15.2

 4. 部署flannel网络插件，部署的命令在GitHub页面搜索"Deploying flannel manually"就可以找到。

[root@k8s-m1 ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 安装完看下Pod的运行状态
[root@k8s-m1 ~]# kubectl get pods
No resources found.
# 没有找到是因为集群本身是被划分为多个名称空间的， kubectl get pods命令默认查的是default名称空间
[root@k8s-m1 ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   22h
kube-node-lease   Active   22h
kube-public       Active   22h
kube-system       Active   22h
# 使用-n的参数指定查找名称空间下的Pod。flannel插件到running的状态取决于网速
[root@k8s-m1 ~]# kubectl get pods -n kube-system
NAME                               READY   STATUS    RESTARTS   AGE
coredns-5c98db65d4-p6btc           1/1     Running   0          41m
coredns-5c98db65d4-wbsgx           1/1     Running   0          41m
etcd-k8s-m1                      1/1     Running   0          40m
kube-apiserver-k8s-m1            1/1     Running   0          40m
kube-controller-manager-k8s-m1   1/1     Running   0          40m
kube-flannel-ds-amd64-jbnrd        1/1     Running   0          11m
kube-proxy-mh9sb                   1/1     Running   0          41m
kube-scheduler-k8s-m1            1/1     Running   0          40m
[root@k8s-m1 ~]# kubectl get nodes
NAME       STATUS   ROLES    AGE   VERSION
k8s-m1   Ready    master   41m   v1.15.2
# 这些组件都是以Pod的方式启动，可以查看本机启动的容器，名字都是以Pod开头的。
[root@k8s-m1 ~]# docker ps -a
  • 配置Node节点加入到k8s集群（所有Node节点）

 1. 修改配置文件。

root@k8s-n1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"

 2. node节点加入集群时，也是需要容器方式启动一些组件的，这里你就直接从k8s-m1导出再导入到node节点。

[root@k8s-m1 ~]# docker save -o node.gz k8s.gcr.io/pause:3.1 k8s.gcr.io/kube-proxy:v1.15.2 quay.io/coreos/flannel:v0.11.0-amd64
[root@k8s-m1 ~]# scp node.gz k8s-n1:/root/
[root@k8s-n1 ~]# docker load -i node.gz

 3. 执行上面kubeadm初始化结尾注明的命令。此过程会自动启动kubelet。

[root@k8s-n1 ~]# kubeadm join 192.168.2.124:6443 --token 2k3m1f.74e5cncv0ebarcuf --discovery-token-ca-cert-hash sha256:7bd3c396064e35e4a12ca25c4a44725f102b01017a331f4f25d14ab09a6ea75a --ignore-preflight-errors=Swap[WARNING SystemVerification]: this Docker version is not on the list of validated versions: 19.03.1. Latest validated version: 18.09    # 这个警告信息表明，用的docker版本太新了，还不在k8s已验证的列表里面，最新已验证的版本是18.09.生产环境还是要注意版本匹配。
[root@k8s-n1 ~]# systemctl enable kubelet.service

 4. 稍微等一会去master上看，就发现k8s-n1已经ready了。

[root@k8s-m1 ~]# kubectl get nodes
NAME       STATUS   ROLES    AGE    VERSION
k8s-m1   Ready    master   119m   v1.15.2
k8s-n1     Ready    <none>   30m    v1.15.2

 5. 资源时间有限，如果有更多的node节点操作方式也是一样。

 
 

写作不易，转载请注明出处，谢谢~~

转载于:https://www.cnblogs.com/ccbloom/p/11320407.html

Kubernetes（三）：k8s集群部署之kubeadm相关推荐

  1. k8s集群部署方式(kubeadm方式安装k8s)

    说明:部分操作请先看报错说明,在进行操作!! 环境准备(1. centos7.7操作系统配置) #--------------------------------------------------- ...

  2. Kubernetes(5)-K8s集群部署

    部署环境: IP 主机名 角色 192.168.100.142 kube-master1,kube-master1.suosuoli.cn K8s 集群主节点 1 192.168.100.144 ku ...

  3. 【kubernetes】k8s集群高可用部署安装和概念详细说明【含离线部署】，客户端连接haproxy访问高可用流程

    文章目录 说明 高可用原理 K8S多master节点架构图 测试环境说明 部署高可用 安装包准备[可选] 高可用架构说明 配置haproxy 说明[必看] 安装haproxy 编辑配置文件 配置etc ...

  4. Kubernetes(k8s)集群部署（k8s企业级Docker容器集群管理）系列目录

    0.目录 整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 一.感谢 在此感谢.net ...

  5. 【好文收藏】K8S集群部署CoreDNS服务

    K8S集群部署CoreDNS服务 k8s集群中的应用通常是通过ingress实现微服务发布的,前文介绍过在K8S集群中使用traefik实现服务的自动发布,其实现方式是traefik通过集群的DNS服 ...

  6. 【k8s系列001】K8s集群部署H2O

    一.k3s集群部署 https://docs.rancher.cn/docs/k3s/_index k3s官网 1.安装master curl -sfL http://rancher-mirror.c ...

  7. K8S集群部署kube-Prometheus监控Ceph（版本octopus）集群、并实现告警。

    K8S集群部署kube-Prometheus监控Ceph(版本octopus)集群.并实现告警. 一.背景描述 公司K8S集群后端存储采用的是cephfs,测试环境经常性出现存储故障,虽然最后都解决了 ...

  8. 利用k8s集群部署第一个容器化应用

    准备工作 按照这篇文章描述的流程搭建好k8s集群. 部署nginx Kubernetes 跟 Docker 等很多项目最大的不同,就在于它不推荐你使用命令行的方式直接运行容器(虽然 Kubernete ...

  9. k8s集群部署springboot项目

    一.前言 本篇,我们将基于k8s集群,模拟一个比较接近实际业务的使用场景,使用k8s集群部署一个springboot的项目,我们的需求是: 部署SpringBoot项目到阿里云服务器 : 基于容器打包 ...

最新文章

  1. C++ 复制构造函数或者拷贝构造函数
  2. 算法复习——bitset(bzoj3687简单题)
  3. C/C++中static关键字详解
  4. ZooKeeper：win7上安装单机及伪分布式安装
  5. 通过错误的sql来测试推理sql的解析过程
  6. 如何测试 ASP.NET Core Web API
  7. 不解析，使用解析对象
  8. python冒泡排序原理_如何实现python冒泡排序算法？
  9. html输出json对象属性值,用javascript中的HTML元素值构建JSON对象
  10. 微信小程序中相机api_微信拍照翻译， 使用小程序拍照翻译API功能
  11. 价值函数与贝尔曼方程
  12. 微信小程序 集成腾讯云IM做的聊天室
  13. 开源项目zheng运行环境
  14. 68个dlib的landmarks
  15. python sns画布大小设置
  16. Linux基础-线程
  17. 如何将XPS批量转换成PDF
  18. 计算机保研边缘er如何华丽逆袭？
  19. 【C语言】八道经典指针笔试题（详解）
  20. creator游戏《Protecive goddess》（五）--- 微信小游戏发布流程

热门文章

  1. OllyDbg使用教程
  2. 你头疼的ELK难题，本文几乎都解决了
  3. oracle utl inaddr,Oracle包utl_inaddr
  4. python接口自动化项目_python接口自动化（四十二）- 项目结构设计之大结局（超详解）...
  5. yyyymmddhhmmss时间格式12小时制24小时制区别
  6. 用 yo aspnet 生成.net项目
  7. 人的顶级能量从哪里获取？
  8. python按照号段生成手机号接收验证码,「 python 」 python 实现短信验证码
  9. C语言学习day1、2
  10. 【题解 海量集训 并查集】 银河英雄传说