文章目录

  • 1. 资源限制
  • 2. Pod 的两种使用方式
  • 3. Pod 资源共享
  • 4. 底层容器 Pause
    • 4.1 Pause共享资源
      • 4.1.1 网络
      • 4.1.2 存储
      • 4.1.3 总结
    • 4.2 Pause 主要功能
    • 4.3 Pod 与 Pause 结构的设计初衷
  • 5. Pod 容器的分类
    • 5.1 基础容器(infrastructure container)
    • 5.2 初始化容器(init container)
    • 5.3 应用容器(main container)
    • 5.4 官网示例
  • 6. 操作示例
    • 6.1 编写 myapp.yaml
    • 6.2 创建 myapp.yaml 配置资源
    • 6.3 查看 pod 创建过程
    • 6.4 查看 pod 日志
    • 6.5 编写 myservice.yaml
    • 6.6 创建 myservice.yaml 配置资源
    • 6.7 编写 mydb.yaml
    • 6.8 创建 mydb.yaml 配置资源
    • 6.9 查看 pod 以及 service 列表
    • 6.10 查看 myapp-pod 创建全过程
    • 6.11 特别说明
  • 7. 镜像拉取策略(Image PullPolicy)
    • 7.1 官方示例
    • 7.2 不指定版本号,查看默认拉取策略
      • 7.2.1 不指定版本号创建 pod
      • 7.2.2 查看默认拉取策略
      • 7.2.3 查看创建过程
    • 7.3 测试案例(非循环命令)
      • 7.3.1 创建测试案例 nginx-test1.yaml
      • 7.3.2 生成 nginx-test1 配置资源
      • 7.3.3 查看 pod 状态
      • 7.3.4 查看创建过程
      • 7.3.5 修改 nginx-test1.yaml
      • 7.3.6 生成新的 nginx-test1.yaml 配置资源
      • 7.3.7 查看 pod 状态
      • 7.3.8 查看 pod 的应用版本
    • 7.4 测试案例(循环命令)
      • 7.4.1 修改 nginx-test1.yaml
      • 7.4.2 生成新的 nginx-test1.yaml 配置资源
      • 7.4.2 查看 pod 状态
      • 7.4.3 查看创建过程
      • 7.4.4 查看 pod 日志
      • 7.4.5 再次修改 nginx-test1.yaml
      • 7.4.6 再次生成新的 nginx-test1.yaml 配置资源
      • 7.4.7 再次查看 pod 状态
      • 7.4.8 查看创建过程
      • 7.4.9 查看 pod 日志
  • 8. harbor 登录凭据操作
    • 8.1 部署 harbor
    • 8.2 查看登录凭证
    • 8.3 创建 harbor 登录凭据资源清单
    • 8.4 创建 secret 资源
    • 8.5 查看 secret 资源
    • 8.6 创建资源从 harbor 中下载镜像
    • 8.7 删除之前在 node 节点下载的 nginx 镜像
    • 8.8 创建资源
    • 8.9 查看 pod 信息
    • 8.10 查看 pod 描述信息
    • 8.11 刷新 harbor 页面,可以看到镜像的下载次数增加了
  • 9. 总结
    • 9.1 pod 的种类
    • 9.2 pod 有几种容器
    • 9.3 镜像拉取策略(ImagePullPolicy)
    • 9.4 重启策略(restartPolicy)
    • 9.5 仓库

1. 资源限制

  Pod 是 kubernetes 中最小的资源管理组件,Pod 也是最小化运行容器化应用的资源对象。一个 Pod 代表着集群中运行的一个进程。kubernetes 中其他大多数组件都是围绕着 Pod 来进行支撑和扩展 Pod 功能的,例如用于管理 Pod 运行的 StatefulSet 和 Deployment 等控制器对象,用于暴露 Pod 应用的 Service 和 Ingress 对象,为 Pod 提供存储的 PersistentVolume 存储资源对象等。

2. Pod 的两种使用方式

  • 一个 Pod 中运行一个容器。每个 Pod 中一个容器的模式是最常见的用法,在这种使用方式中,你可以把 Pod 想象成是单个容器的封装,kubernetes 管理的是 Pod 而不是直接管理容器。
  • 在一个 Pod 中同时运行多个容器。一个 Pod 中也可以同时封装几个需要紧密耦合互相协作的容器,它们之间共享资源。这些在同一个 Pod 中的容器可以互相协作成为一个 service 单位,比如一个容器共享文件,另一个 sidecar 容器来更新这些文件。Pod 将这些容器的存储资源作为一个实体来管理。

3. Pod 资源共享

  一个 Pod 下的容器必须运行于同一节点上。现代容器技术建议一个容器只运行一个进程,该进程在容器中 PID 命令空间中的进程号为 1,可直接接收并处理信号,进程终止时容器生命周期也就结束了。
  若想在容器内运行多个进程,需要有一个类似 Linux 操作系统 init 进程的管控类进程,以树状结构完成多进程的生命周期管理。运行于各自容器内的进程无法直接完成网络通信,这是由于容器间的隔离机制导致,k8s 中的 Pod 资源抽象正是解决此类问题,Pod 对象是一组容器的集合,这些容器共享 Network、UTS 及 IPC 命令空间,因此具有相同的域名、主机名和网络接口,并可通过 IPC 直接通信。

namespace 功能说明
MNT Namespace 提供磁盘挂载点和文件系统的隔离能力
IPC Namespace 提供进程间通信的隔离能力
NET Namespace 提供网络隔离能力
UTS Namespace 提供主机名隔离能力
PID Namespace 提供进程隔离能力
User Namespace 提供用户隔离能力

4. 底层容器 Pause

  Pod 资源中针对各容器提供网络命令空间等共享机制的是底层基础容器 pause,基础容器(也可称为父容器)pause 就是为了管理 Pod 容器间的共享操作,这个父容器需要能够准确地知道如何去创建共享运行环境的容器,还能管理这些容器的生命周期。为了实现这个父容器的构想,kubernetes 中,用 pause 容器来作为一个 Pod 中所有容器的父容器。这个 pause 容器有两个核心的功能,一是它提供整个 Pod 的 Linux 命名空间的基础。二来启用 PID 命名空间,它在每个 Pod 中都作为 PID 为 1 进程(init 进程),并回收僵尸进程。

4.1 Pause共享资源

4.1.1 网络

  每个 Pod 都会被分配一个唯一的 IP 地址。Pod 中的所有容器共享网络空间,包括 IP 地址和端口。Pod 内部的容器可以使用 localhost 互相通信。Pod 中的容器与外界通信时,必须分配共享网络资源(例如使用宿主机的端口映射)。

4.1.2 存储

  可以 Pod 指定多个共享的 Volume。Pod 中的所有容器都可以访问共享的 Volume。Volume 也可以用来持久化 Pod 中的存储资源,以防容器重启后文件丢失。

4.1.3 总结

  每个 Pod 都有一个特殊的被称为 “基础容器” 的 Pause 容器。Pause 容器对应的镜像属于 Kubernetes 平台的一部分,除了 Pause 容器,每个 Pod 还包含一个或者多个紧密相关的用户应用容器。

4.2 Pause 主要功能

kubernetes 中的 pause 容器主要为每个容器提供以下功能:

  • 在 pod 中担任 Linux 命名空间(如网络命令空间)共享的基础
  • 启用 PID 命名空间,开启 init 进程

4.3 Pod 与 Pause 结构的设计初衷

  • 原因一:在一组容器作为一个单元的情况下,难以对整体的容器简单地进行判断及有效地进行行动。比如,一个容器死亡了,此时是算整体挂了么?那么引入与业务无关的 Pause 容器作为 Pod 的基础容器,以它的状态代表着整个容器组的状态,这样就可以解决该问题。
  • 原因二:Pod 里的多个应用容器共享 Pause 容器的 IP,共享 Pause 容器挂载的 Volume,这样简化了应用容器之间的通信问题,也解决了容器之间的文件共享问题。

5. Pod 容器的分类

5.1 基础容器(infrastructure container)

  • 维护整个 Pod 网络和存储空间
  • node 节点中操作
  • 启动一个容器时,k8s会自动启动一个基础容器
cat /opt/kubernetes/cfg/kubelet
......
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"//每次创建 Pod 时候就会创建,运行的每一个容器都有一个 pause-amd64 的基础容器自动会运行,对于用户是透明的
docker ps -a
registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 "/pause"

5.2 初始化容器(init container)

  Init 容器必须在应用程序容器启动之前运行完成,而应用程序容器是并行运行的,所以 Init 容器能够提供了一种简单的阻塞或延迟应用容器的启动的方法。Init 容器与普通的容器非常像,除了以下两点:

  • Init 容器总是运行到成功完成为止
  • 每个 Init 容器都必须在下一个 Init 容器启动之前成功完成启动和退出

  如果 Pod 的 Init 容器失败,k8s 会不断地重启该 Pod,直到 Init 容器成功为止。然而,如果 Pod 对应的重启策略(restartPolicy)为 Never,它不会重新启动。

Init 的容器作用:

因为 init 容器具有与应用容器分离的单独镜像,其启动相关代码具有如下优势:

  • Init 容器可以包含一些安装过程中应用容器中不存在的实用工具或个性化代码。例如,没有必要仅为了在安装过程中使用类似 sed、 awk、 python 或 dig 这样的工具而去 FROM 一个镜像来生成一个新的镜像。
  • Init 容器可以安全地运行这些工具,避免这些工具导致应用镜像的安全性降低。
  • 应用镜像的创建者和部署者可以各自独立工作,而没有必要联合构建一个单独的应用镜像。
  • Init 容器能以不同于 Pod 内应用容器的文件系统视图运行。因此,Init 容器可具有访问 Secrets 的权限,而应用容器不能够访问。
  • 由于 Init 容器必须在应用容器启动之前运行完成,因此 Init 容器提供了一种机制来阻塞或延迟应用容器的启动,直到满足了一组先决条件。一旦前置条件满足,Pod 内的所有的应用容器会并行启动。

5.3 应用容器(main container)

应用容器会在 init 容器完成并退出后并行启动。

5.4 官网示例

https://kubernetes.io/docs/concepts/workloads/pods/init-containers/

6. 操作示例

6.1 编写 myapp.yaml

[root@master ~]# cat myapp.yaml
apiVersion: v1
kind: Pod
metadata:name: myapp-podlabels:app: myapp
spec:containers:- name: myapp-containerimage: busybox:1.28command: ['sh','-c','echo The app is running! && sleep 3600']initContainers:- name: init-myserviceimage: busybox:1.28command: ['sh','-c','until nslookup myservice;do echo waiting for myservice; sleep2; done;']- name: init-mydbimage: busybox:1.28command: ['sh','-c','until nslookup mydb; do echo waiting for mydb; sleep 2; done;']

这个例子是定义了一个具有 2 个 Init 容器的简单 Pod。 第一个等待 myservice 启动, 第二个等待 mydb 启动。一旦这两个 Init 容器都启动完成,Pod 将启动 spec 中的应用容器。

6.2 创建 myapp.yaml 配置资源

[root@master ~]# kubectl apply -f myapp.yaml
pod/myapp-pod created
[root@master ~]# kubectl get pod
NAME                         READY   STATUS     RESTARTS   AGE
myapp-pod                    0/1     Init:0/2   0          8s
nginx-554b9c67f9-295wt       1/1     Running    0          2d9h
nginx-test-9b644dcd5-75qbq   1/1     Running    0          10h
nginx-test-9b644dcd5-wr6v5   1/1     Running    0          10h
nginx-test-9b644dcd5-z8hjp   1/1     Running    0          10h

发现该 pod 会一直处于 Init:0/2 的状态。

6.3 查看 pod 创建过程

[root@master ~]# kubectl describe pod myapp-pod
Name:         myapp-pod
Namespace:    default
Priority:     0
Node:         node02/192.168.10.102
Start Time:   Sat, 18 Dec 2021 08:57:06 +0800
Labels:       app=myapp
Annotations:  kubectl.kubernetes.io/last-applied-configuration:{"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"app":"myapp"},"name":"myapp-pod","namespace":"default"},"spec":{"c...
Status:       Pending
IP:           10.244.2.5
Init Containers:init-myservice:Container ID:  docker://9825887a0871fea917449562206e835aa3c0f39d4ea9992102fb81bde097a4b3Image:         busybox:1.28Image ID:      docker-pullable://busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47Port:          <none>Host Port:     <none>Command:sh-cuntil nslookup myservice;do echo waiting for myservice; sleep2; done;State:          RunningStarted:      Sat, 18 Dec 2021 08:57:24 +0800Ready:          FalseRestart Count:  0Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)init-mydb:Container ID:  Image:         busybox:1.28Image ID:      Port:          <none>Host Port:     <none>Command:sh-cuntil nslookup mydb; do echo waiting for mydb; sleep 2; done;State:          WaitingReason:       PodInitializingReady:          FalseRestart Count:  0Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)
Containers:myapp-container:Container ID:  Image:         busybox:1.28Image ID:      Port:          <none>Host Port:     <none>Command:sh-cecho The app is running! && sleep 3600State:          WaitingReason:       PodInitializingReady:          FalseRestart Count:  0Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)
Conditions:Type              StatusInitialized       False Ready             False ContainersReady   False PodScheduled      True
Volumes:default-token-vczdg:Type:        Secret (a volume populated by a Secret)SecretName:  default-token-vczdgOptional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300snode.kubernetes.io/unreachable:NoExecute for 300s
Events:Type    Reason     Age   From               Message----    ------     ----  ----               -------Normal  Scheduled  119s  default-scheduler  Successfully assigned default/myapp-pod to node02Normal  Pulling    118s  kubelet, node02    Pulling image "busybox:1.28"Normal  Pulled     101s  kubelet, node02    Successfully pulled image "busybox:1.28"Normal  Created    101s  kubelet, node02    Created container init-myserviceNormal  Started    101s  kubelet, node02    Started container init-myservice

发现开启 init-myservice 容器后,创建步骤停滞,查看 init-myservice 日志进一步查明原因。

6.4 查看 pod 日志

[root@master ~]# kubectl logs myapp-pod -c init-myservice
......
......
nslookup: can't resolve 'myservice'
waiting for myservice
sh: sleep2: not found
nslookup: can't resolve 'myservice'
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.localsh: sleep2: not found
waiting for myservice

发现问题,服务器未能找到 myservice 域名,所以无法跳出循环。

6.5 编写 myservice.yaml

[root@master ~]# cat myservice.yaml
apiVersion: v1
kind: Service
metadata:name: myservice
spec:ports:- protocol: TCPport: 80targetPort: 1111

6.6 创建 myservice.yaml 配置资源

[root@master ~]# kubectl create -f myservice.yaml
service/myservice created
[root@master ~]# kubectl get pod,svc
NAME                             READY   STATUS     RESTARTS   AGE
pod/myapp-pod                    0/1     Init:0/2   0          9m59s
pod/nginx-554b9c67f9-295wt       1/1     Running    0          2d9h
pod/nginx-test-9b644dcd5-75qbq   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-wr6v5   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-z8hjp   1/1     Running    0          11hNAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        2d10h
service/myservice    ClusterIP   10.106.138.135   <none>        80/TCP         6s
service/nginx        NodePort    10.106.243.55    <none>        80:32141/TCP   2d9h
service/nginx-svc    NodePort    10.106.107.102   <none>        80:30348/TCP   10h
[root@master ~]# kubectl get pod,svc
NAME                             READY   STATUS     RESTARTS   AGE
pod/myapp-pod                    0/1     Init:1/2   1          10m
pod/nginx-554b9c67f9-295wt       1/1     Running    0          2d9h
pod/nginx-test-9b644dcd5-75qbq   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-wr6v5   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-z8hjp   1/1     Running    0          11hNAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        2d10h
service/myservice    ClusterIP   10.106.138.135   <none>        80/TCP         45s
service/nginx        NodePort    10.106.243.55    <none>        80:32141/TCP   2d9h
service/nginx-svc    NodePort    10.106.107.102   <none>        80:30348/TCP   10h

myservice 生成后,发现 myapp-pod 状态变为 Init:1/2 且再次停滞,停滞原因与上述相同。

6.7 编写 mydb.yaml

[root@master ~]# cat mydb.yaml
apiVersion: v1
kind: Service
metadata:name: mydb
spec:ports:- protocol: TCPport: 80targetPort: 2222

6.8 创建 mydb.yaml 配置资源

[root@master ~]# kubectl create -f mydb.yaml
service/mydb created

6.9 查看 pod 以及 service 列表

[root@master ~]# kubectl get pod,svc
NAME                             READY   STATUS     RESTARTS   AGE
pod/myapp-pod                    0/1     Init:1/2   1          15m
pod/nginx-554b9c67f9-295wt       1/1     Running    0          2d9h
pod/nginx-test-9b644dcd5-75qbq   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-wr6v5   1/1     Running    0          11h
pod/nginx-test-9b644dcd5-z8hjp   1/1     Running    0          11hNAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        2d10h
service/mydb         ClusterIP   10.107.171.12    <none>        80/TCP         2s
service/myservice    ClusterIP   10.106.138.135   <none>        80/TCP         5m28s
service/nginx        NodePort    10.106.243.55    <none>        80:32141/TCP   2d9h
service/nginx-svc    NodePort    10.106.107.102   <none>        80:30348/TCP   11h
[root@master ~]# kubectl get pod,svc
NAME                             READY   STATUS    RESTARTS   AGE
pod/myapp-pod                    1/1     Running   0          15m
pod/nginx-554b9c67f9-295wt       1/1     Running   0          2d9h
pod/nginx-test-9b644dcd5-75qbq   1/1     Running   0          11h
pod/nginx-test-9b644dcd5-wr6v5   1/1     Running   0          11h
pod/nginx-test-9b644dcd5-z8hjp   1/1     Running   0          11hNAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        2d10h
service/mydb         ClusterIP   10.107.171.12    <none>        80/TCP         8s
service/myservice    ClusterIP   10.106.138.135   <none>        80/TCP         5m34s
service/nginx        NodePort    10.106.243.55    <none>        80:32141/TCP   2d9h
service/nginx-svc    NodePort    10.106.107.102   <none>        80:30348/TCP   11h

在生成 mydb-service 后,myapp-pod 成功创建。

6.10 查看 myapp-pod 创建全过程

[root@master ~]# kubectl describe pod myapp-pod
Name:         myapp-pod
Namespace:    default
Priority:     0
Node:         node02/192.168.10.102
Start Time:   Sat, 18 Dec 2021 08:57:06 +0800
Labels:       app=myapp
Annotations:  kubectl.kubernetes.io/last-applied-configuration:{"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"app":"myapp"},"name":"myapp-pod","namespace":"default"},"spec":{"c...
Status:       Running
IP:           10.244.2.5
Init Containers:init-myservice:Container ID:  docker://8cf2cdb5e29576cece52d4f3b5e35a916db732e4fb878ec6f81e9f09e9d904e9Image:         busybox:1.28Image ID:      docker-pullable://busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47Port:          <none>Host Port:     <none>Command:sh-cuntil nslookup myservice;do echo waiting for myservice; sleep2; done;State:          TerminatedReason:       CompletedExit Code:    0Started:      Sat, 18 Dec 2021 09:07:25 +0800Finished:     Sat, 18 Dec 2021 09:07:25 +0800Ready:          TrueRestart Count:  1Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)init-mydb:Container ID:  docker://a43df2af767c3df6a599b72f765e0fe4107209d8092a66d1f7119017bafd318cImage:         busybox:1.28Image ID:      docker-pullable://busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47Port:          <none>Host Port:     <none>Command:sh-cuntil nslookup mydb; do echo waiting for mydb; sleep 2; done;State:          TerminatedReason:       CompletedExit Code:    0Started:      Sat, 18 Dec 2021 09:07:26 +0800Finished:     Sat, 18 Dec 2021 09:12:29 +0800Ready:          TrueRestart Count:  0Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)
Containers:myapp-container:Container ID:  docker://c1ad1f83647ce2595682c32a1273f375b3fd9e998c3aa83311772064c8a697beImage:         busybox:1.28Image ID:      docker-pullable://busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47Port:          <none>Host Port:     <none>Command:sh-cecho The app is running! && sleep 3600State:          RunningStarted:      Sat, 18 Dec 2021 09:12:30 +0800Ready:          TrueRestart Count:  0Environment:    <none>Mounts:/var/run/secrets/kubernetes.io/serviceaccount from default-token-vczdg (ro)
Conditions:Type              StatusInitialized       True Ready             True ContainersReady   True PodScheduled      True
Volumes:default-token-vczdg:Type:        Secret (a volume populated by a Secret)SecretName:  default-token-vczdgOptional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300snode.kubernetes.io/unreachable:NoExecute for 300s
Events:Type    Reason     Age                  From               Message----    ------     ----                 ----               -------Normal  Scheduled  18m                  default-scheduler  Successfully assigned default/myapp-pod to node02Normal  Pulling    18m                  kubelet, node02    Pulling image "busybox:1.28"Normal  Pulled     17m                  kubelet, node02    Successfully pulled image "busybox:1.28"Normal  Created    7m53s (x2 over 17m)  kubelet, node02    Created container init-myserviceNormal  Started    7m53s (x2 over 17m)  kubelet, node02    Started container init-myserviceNormal  Pulled     7m53s                kubelet, node02    Container image "busybox:1.28" already present on machineNormal  Pulled     7m52s                kubelet, node02    Container image "busybox:1.28" already present on machineNormal  Created    7m52s                kubelet, node02    Created container init-mydbNormal  Started    7m52s                kubelet, node02    Started container init-mydbNormal  Pulled     2m49s                kubelet, node02    Container image "busybox:1.28" already present on machineNormal  Created    2m49s                kubelet, node02    Created container myapp-containerNormal  Started    2m48s                kubelet, node02    Started container myapp-container
  • 创建过程中第一次停滞,是 init-myservice 容器启动后,未能发现 myservice 域名,无法得到解析,因此陷入循环。
  • 第二次停滞,是 init-mydb 容器启动后,未能发现 mydb 域名,无法得到解析,因此再次陷入循环中。
  • 在上述两个 init 容器成功并退出后,myapp-pod 才开始创建,否则 pod 无法创建。

6.11 特别说明

  • 在 Pod 启动过程中,Init 容器会按顺序在网络和数据卷初始化之后启动。每个容器必须在下一个容器启动之前成功退出。
  • 如果由于运行时或失败退出,将导致容器启动失败,它会根据 Pod 的 restartPolicy 指定的策略进行重试。然而,如果 Pod 的 restartPolicy 设置为 Always,Init 容器失败时会使用 RestartPolicy 策略。
  • 在所有的 Init 容器没有成功之前,Pod 将不会变成 Ready 状态。Init 容器的端口将不会在 Service 中进行聚集。正在初始化中的 Pod 处于 Pending 状态,但应该会将 Initializing 状态设置为 true。
  • 如果 Pod 重启,所有 Init 容器必须重新执行。
  • 对 Init 容器 spec 的修改被限制在容器 image 字段,修改其他字段都不会生效。更改 Init 容器的 image 字段,等价于重启该 Pod。
  • Init 容器具有应用容器的所有字段。除了 readinessProbe,因为 Init 容器无法定义不同于完成(completion)的就绪(readiness)之外的其他状态。这会在验证过程中强制执行。
  • 在 Pod 中的每个 app 和 Init 容器的名称必须唯一;与任何其它容器共享同一个名称,会在验证时抛出错误。

7. 镜像拉取策略(Image PullPolicy)

  Pod 的核心是运行容器,必须指定容器引擎,比如 Docker,启动容器时需要拉取镜像,k8s 的镜像拉取策略可以由用户指定:

  • IfNotPresent:在镜像已经存在的情况下,kubelet 将不再去拉取镜像,仅当本地缺失时才从仓库中拉取,默认的镜像拉取策略
  • Always:每次创建 Pod 都会重新拉取一次镜像
  • Never:Pod 不会主动拉取这个镜像,仅使用本地镜像

注意:对于标签为 ":latest" 的镜像文件,其默认的镜像获取策略即为 "Always";而对于其他标签的镜像,其默认策略则为 "IfNotPresent"。

7.1 官方示例

https://kubernetes.io/docs/concepts/containers/images

创建使用私有镜像的 Pod 来验证

kubectl apply -f - <<EOF
apiVersion: v1
kind: Pod
metadata:name: private-image-test-1
spec:containers:- name: uses-private-imageimage: $PRIVATE_IMAGE_NAMEimagePullPolicy: Alwayscommand: [ "echo", "SUCCESS" ]
EOF

输出类似于

pod/private-image-test-1 created

如果一切顺利,那么一段时间后你可以执行

kubectl logs private-image-test-1

然后可以看到 SUCCESS,如果你怀疑命令失败了,可以运行

kubectl describe pods/private-image-test-1 | grep 'Failed'

如果命令确实失败了,输出类似于

Fri, 26 Jun 2015 15:36:13 -0700    Fri, 26 Jun 2015 15:39:13 -0700    19    {kubelet node-i2hq}    spec.containers{uses-private-image}    failed        Failed to pull image "user/privaterepo:v1": Error: image user/privaterepo:v1 not found
  • 必须确保集群中所有节点的 .docker/config.json 文件内容相同。 否则 Pod 会能在一些节点上正常运行而无法在另一些节点上启动。 例如,如果使用节点自动扩缩,那么每个实例模板都需要包含 .docker/config.json,或者挂载一个包含该文件的驱动器。

  • .docker/config.json 中配置了私有仓库密钥后,所有 Pod 都将能读取私有仓库中的镜像。

7.2 不指定版本号,查看默认拉取策略

7.2.1 不指定版本号创建 pod

kubectl run nginx-test1 --image=nginx

[root@master test]# kubectl run nginx-test1 --image=nginx
kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.
deployment.apps/nginx-test1 created

7.2.2 查看默认拉取策略

kubectl edit pod nginx-test1-7c4c56845c-hndnk

[root@master test]# kubectl get pod
NAME                           READY   STATUS    RESTARTS   AGE
nginx-test1-7c4c56845c-hndnk   1/1     Running   0          75s
[root@master test]# kubectl edit pod nginx-test1-7c4c56845c-hndnk
......
spec:containers:- image: nginximagePullPolicy: Always
#不指定版本号,即使用缺省值latest最新版本,默认拉取策略为Alwaysname: nginx-test1
......

7.2.3 查看创建过程

kubectl describe pod nginx-test1

[root@master test]# kubectl describe pod nginx-test1
......
Events:Type    Reason     Age    From               Message----    ------     ----   ----               -------Normal  Scheduled  5m35s  default-scheduler  Successfully assigned default/nginx-test1-7c4c56845c-hndnk to node01Normal  Pulling    5m34s  kubelet, node01    Pulling image "nginx"Normal  Pulled     5m19s  kubelet, node01    Successfully pulled image "nginx"Normal  Created    5m19s  kubelet, node01    Created container nginx-test1Normal  Started    5m19s  kubelet, node01    Started container nginx-test1

由于拉取策略为 Always,因此不管本地有没有对应镜像,kubelet 都会前往公有仓库下载最新版本应用。

7.3 测试案例(非循环命令)

7.3.1 创建测试案例 nginx-test1.yaml

[root@master test]# vim nginx-test1.yamlapiVersion: v1
kind: Pod
metadata:name: nginx-test1
spec:containers:- name: nginximage: nginximagePullPolicy: Alwayscommand: [ "echo","SUCCESS" ]

7.3.2 生成 nginx-test1 配置资源

kubectl apply -f nginx-test1.yaml

[root@master test]# kubectl apply -f nginx-test1.yaml
pod/nginx-test1 created

7.3.3 查看 pod 状态

kubectl get pod -o wide

[root@master test]# kubectl get pod -o wide
NAME          READY   STATUS             RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
nginx-test1   0/1     CrashLoopBackOff   1          51s   10.244.1.48   node01   <none>           <none>

该 pod 状态为 CrashLoopBackOff,说明 pod 进入了异常循环状态。原因是 echo 执行完进程终止,容器生命周期也就结束了。

7.3.4 查看创建过程

kubectl describe pod nginx-test1

[root@master test]# kubectl describe pod nginx-test1
......
Events:Type     Reason     Age                   From               Message----     ------     ----                  ----               -------Normal   Scheduled  3m54s                 default-scheduler  Successfully assigned default/nginx-test1 to node01Normal   Created    2m8s (x4 over 3m38s)  kubelet, node01    Created container nginxNormal   Started    2m8s (x4 over 3m38s)  kubelet, node01    Started container nginxWarning  BackOff    100s (x7 over 3m21s)  kubelet, node01    Back-off restarting failed containerNormal   Pulling    86s (x5 over 3m53s)   kubelet, node01    Pulling image "nginx"Normal   Pulled     71s (x5 over 3m38s)   kubelet, node01    Successfully pulled image "nginx"

可以发现 Pod 中的容器在生命周期结束后,由于 Pod 的重启策略为 Always,容器再次重启了,并且又重新开始拉取镜像。

7.3.5 修改 nginx-test1.yaml

[root@master test]# vim nginx-test1.yaml apiVersion: v1
kind: Pod
metadata:name: nginx-test1
spec:containers:- name: nginx
##指定nginx版本为1.14image: nginx:1.14imagePullPolicy: Always
##注释掉命令#command: [ "echo","SUCCESS" ]

7.3.6 生成新的 nginx-test1.yaml 配置资源

删除原有的资源
kubectl delete -f nginx-test1.yaml

[root@master test]# kubectl delete -f nginx-test1.yaml
pod "nginx-test1" deleted

生成新的资源
kubectl apply -f nginx-test1.yaml

[root@master test]# kubectl apply -f nginx-test1.yaml
pod/nginx-test1 created

7.3.7 查看 pod 状态

kubectl get pod -o wide

[root@master test]# kubectl get pod -o wide
NAME          READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
nginx-test1   1/1     Running   0          50s   10.244.1.49   node01   <none>           <none>

pod 创建成功

7.3.8 查看 pod 的应用版本

curl -I 10.244.1.49

[root@master test]# curl -I 10.244.1.49
HTTP/1.1 200 OK
Server: nginx/1.14.2
#版本重设为1.14.2
Date: Thu, 04 Nov 2021 15:04:43 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 04 Dec 2018 14:44:49 GMT
Connection: keep-alive
ETag: "5c0692e1-264"
Accept-Ranges: bytes

7.4 测试案例(循环命令)

7.4.1 修改 nginx-test1.yaml

[root@master test]# vim nginx-test1.yaml apiVersion: v1
kind: Pod
metadata:name: nginx-test1
spec:containers:- name: nginx
#修改镜像版本为最新版本image: nginx
#设置镜像拉取策略为IfNotPresentimagePullPolicy: IfNotPresent
#设置循环命令,使得pod不会自动关闭command: [ "sh","while true;do echo SUCCESS;done;" ]

7.4.2 生成新的 nginx-test1.yaml 配置资源

删除原有的资源
kubectl delete -f nginx-test1.yaml

[root@master test]# kubectl delete -f nginx-test1.yaml
pod "nginx-test1" deleted

生成新的资源
kubectl apply -f nginx-test1.yaml

[root@master test]# kubectl apply -f nginx-test1.yamlpod/nginx-test1 created

7.4.2 查看 pod 状态

kubectl get pod -o wide

[root@master test]# kubectl get pod -o wide
NAME          READY   STATUS             RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
nginx-test1   0/1     CrashLoopBackOff   3          67s   10.244.1.50   node01   <none>           <none>

再次进入异常循环状态

7.4.3 查看创建过程

kubectl describe pod nginx-test1

[root@master test]# kubectl describe pod nginx-test1
......
Events:Type     Reason     Age                   From               Message----     ------     ----                  ----               -------Normal   Scheduled  2m59s                 default-scheduler  Successfully assigned default/nginx-test1 to node01Normal   Pulled     95s (x5 over 2m59s)   kubelet, node01    Container image "nginx" already present on machineNormal   Created    95s (x5 over 2m59s)   kubelet, node01    Created container nginxNormal   Started    95s (x5 over 2m59s)   kubelet, node01    Started container nginxWarning  BackOff    70s (x10 over 2m57s)  kubelet, node01    Back-off restarting failed container

发现错误发生在 command 步骤

7.4.4 查看 pod 日志

kubectl logs nginx-test1

[root@master test]# kubectl logs nginx-test1
sh: 0: Can't open while true;do echo SUCCESS;done;

发现是命令错误

7.4.5 再次修改 nginx-test1.yaml

[root@master test]# vim nginx-test1.yaml apiVersion: v1
kind: Pod
metadata:name: nginx-test1
spec:containers:- name: nginximage: nginximagePullPolicy: IfNotPresent
#发现缺少了“-c”选项,添加后保存退出command: [ "sh","-c","while true;do echo SUCCESS;done;" ]

7.4.6 再次生成新的 nginx-test1.yaml 配置资源

删除原有的资源
kubectl delete -f nginx-test1.yaml

[root@master test]# kubectl delete -f nginx-test1.yaml
pod "nginx-test1" deleted

生成新的资源
kubectl apply -f nginx-test1.yaml

[root@master test]# kubectl apply -f nginx-test1.yaml
pod/nginx-test1 created

7.4.7 再次查看 pod 状态

kubectl get pod -o wide

[root@master test]# kubectl get pod -o wide
NAME          READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
nginx-test1   1/1     Running   0          7s    10.244.1.51   node01   <none>           <none>

pod 运行成功

7.4.8 查看创建过程

kubectl describe pod nginx-test1

[root@master test]# kubectl describe pod nginx-test1
......
Events:Type    Reason     Age   From               Message----    ------     ----  ----               -------Normal  Scheduled  108s  default-scheduler  Successfully assigned default/nginx-test1 to node01Normal  Pulled     107s  kubelet, node01    Container image "nginx" already present on machineNormal  Created    107s  kubelet, node01    Created container nginxNormal  Started    107s  kubelet, node01    Started container nginx

由于镜像拉取策略设定的是 IfNotPresent,因此 kubelet 会先检查本地镜像仓库,如果有对应版本镜像就直接使用,没有的话才会前往镜像仓库拉取。

7.4.9 查看 pod 日志

kubectl describe pod nginx-test1 | grep "Image"

[root@master test]# kubectl describe pod nginx-test1 | grep "Image"Image:         nginxImage ID:      docker-pullable://nginx@sha256:644a70516a26004c97d0d85c7fe1d0c3a67ea8ab7ddf4aff193d9f301670cf36

8. harbor 登录凭据操作

8.1 部署 harbor

部署步骤详见 往期博客

8.2 查看登录凭证

cat /root/.docker/config.json | base64 -w 0
node01

[root@node01 ~]# cat /root/.docker/config.json | base64 -w 0
#base64 -w 0:进行 base64 加密并禁止自动换行
ewoJImF1dGhzIjogewoJCSJodWIudGVzdC5jb20iOiB7CgkJCSJhdXRoIjogIllXUnRhVzQ2U0dGeVltOXlNVEl6TkRVPSIKCQl9Cgl9Cn0=

8.3 创建 harbor 登录凭据资源清单

master

[root@master ~]# vim harbor-pull-secret.yamlapiVersion: v1
kind: Secret
metadata:name: harbor-pull-secret
data:.dockerconfigjson: ewoJImF1dGhzIjogewoJCSJodWIudGVzdC5jb20iOiB7CgkJCSJhdXRoIjogIllXUnRhVzQ2U0dGeVltOXlNVEl6TkRVPSIKCQl9Cgl9Cn0=
#复制粘贴上述查看的登陆凭据
type: kubernetes.io/dockerconfigjson

8.4 创建 secret 资源

kubectl create -f harbor-pull-secret.yaml
master

[root@master test]# kubectl create -f harbor-pull-secret.yaml
secret/harbor-pull-secret created

8.5 查看 secret 资源

kubectl get secret
master

[root@master test]# kubectl get secret
NAME                  TYPE                                  DATA   AGE
default-token-7lsdx   kubernetes.io/service-account-token   3      3d5h
harbor-pull-secret    kubernetes.io/dockerconfigjson        1      2m3s

8.6 创建资源从 harbor 中下载镜像

master

[root@master test]# vim nginx-deployment.yamlapiVersion: extensions/v1beta1
kind: Deployment
metadata:name: my-nginx
spec:replicas: 2template:metadata:labels:app: my-nginxspec:
#添加拉取secret资源选项imagePullSecrets:
#指定secret资源名称- name: harbor-pull-secretcontainers:- name: my-nginx
#指定harbor中的镜像名image: hub.test.com/library/nginx:v1ports:- containerPort: 80
---
apiVersion: v1
kind: Service
metadata:name: my-nginx
spec:type: NodePortports:- port: 8080targetPort: 8080nodePort: 11111selector:app: my-nginx

8.7 删除之前在 node 节点下载的 nginx 镜像

node01
docker rmi -f hub.test.com/library/nginx:v1

[root@node01 ~]# docker images
REPOSITORY                                           TAG             IMAGE ID       CREATED       SIZE
nginx                                                latest          87a94228f133   3 weeks ago   133MB
hub.test.com/library/nginx                           v1              87a94228f133   3 weeks ago   133MB
k8s.gcr.io/kube-apiserver                            v1.15.1         68c3eb07bfc3   2 years ago   207MB
k8s.gcr.io/kube-proxy                                v1.15.1         89a062da739d   2 years ago   82.4MB
registry.aliyuncs.com/google_containers/kube-proxy   v1.15.1         89a062da739d   2 years ago   82.4MB
k8s.gcr.io/kube-controller-manager                   v1.15.1         d75082f1d121   2 years ago   159MB
k8s.gcr.io/kube-scheduler                            v1.15.1         b0b3c4c404da   2 years ago   81.1MB
nginx                                                1.15            53f3fd8007f7   2 years ago   109MB
nginx                                                1.14            295c7be07902   2 years ago   109MB
wl/flannel                                           v0.11.0-amd64   ff281650a721   2 years ago   52.6MB
k8s.gcr.io/coredns                                   1.3.1           eb516548c180   2 years ago   40.3MB
registry.aliyuncs.com/google_containers/coredns      1.3.1           eb516548c180   2 years ago   40.3MB
wl/kubernetes-dashboard-amd64                        v1.10.1         f9aed6605b81   2 years ago   122MB
k8s.gcr.io/etcd                                      3.3.10          2c4adeb21b4f   2 years ago   258MB
nginx                                                1.15.4          bc26f1ed35cf   3 years ago   109MB
busybox                                              1.28            8c811b4aec35   3 years ago   1.15MB
k8s.gcr.io/pause                                     3.1             da86e6ba6ca1   3 years ago   742kB
registry.aliyuncs.com/google_containers/pause        3.1             da86e6ba6ca1   3 years ago   742kB
[root@node01 ~]# docker rmi -f hub.test.com/library/nginx:v1
Untagged: hub.test.com/library/nginx:v1
Untagged: hub.test.com/library/nginx@sha256:7250923ba3543110040462388756ef099331822c6172a050b12c7a38361ea46f

8.8 创建资源

master
kubectl apply -f nginx-deployment.yaml

[root@master test]# kubectl apply -f nginx-deployment.yaml
deployment.extensions/my-nginx created
service/my-nginx created

8.9 查看 pod 信息

master
kubectl get pods -o wide

[root@master test]# kubectl get pods -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
my-nginx-74f9bccc8c-5z9nv   1/1     Running   0          49s   10.244.2.30   node02   <none>           <none>
my-nginx-74f9bccc8c-txkg9   1/1     Running   0          49s   10.244.1.52   node01   <none>           <none>

8.10 查看 pod 描述信息

kubectl describe pod my-nginx-74f9bccc8c-txkg9

[root@master test]# kubectl describe pod my-nginx-74f9bccc8c-txkg9
......
Events:Type    Reason     Age    From               Message----    ------     ----   ----               -------Normal  Scheduled  4m38s  default-scheduler  Successfully assigned default/my-nginx-74f9bccc8c-txkg9 to node01
#镜像从harbor仓库中拉取而来Normal  Pulling    4m37s  kubelet, node01    Pulling image "hub.test.com/library/nginx:v1"Normal  Pulled     4m37s  kubelet, node01    Successfully pulled image "hub.test.com/library/nginx:v1"Normal  Created    4m37s  kubelet, node01    Created container my-nginxNormal  Started    4m37s  kubelet, node01    Started container my-nginx

kubectl describe pod my-nginx-74f9bccc8c-txkg9 | grep "Image:"

[root@master test]# kubectl describe pod my-nginx-74f9bccc8c-txkg9 | grep "Image:"Image:          hub.test.com/library/nginx:v1

8.11 刷新 harbor 页面,可以看到镜像的下载次数增加了

9. 总结

9.1 pod 的种类

pod 通过运行方式来分类,可分为 2 种:

  • 自主式 pod:没有自愈能力
  • 控制器管理的 pod:有自愈能力(pod 被删除后会重新拉起新的 pod)

9.2 pod 有几种容器

  • 基础容器(pause):初始化容器环境,开启 pid=1 的 init 进程来管理其他容器的生命周期;提供网络和存储空间的共享环境基础。
  • init 容器:是在基础容器之后,应用容器之前运行的容器,多个 init 容器时串行运行的,init 容器必须在上一个 init 容器成功运行和退出后才会运行。
  • 应用容器(main c):运行业务的容器,在 init 容器都运行成功和退出后运行,多个应用容器是并行运行的。
    注意:在一个 pod 中,init 容器和应用容器的名称都是唯一的。

9.3 镜像拉取策略(ImagePullPolicy)

yaml 资源配置清单中,配置在 containers 字段下面一层。

  • IfNotPresent:是带有指定标签的镜像的默认拉取策略。本地有则用本地镜像,本地没有则从仓库拉取镜像。
  • Always:是没有标签的镜像或者使用 latest 标签的镜像的默认拉取策略,创建 pod 总是从仓库拉取镜像。
  • Never:不从仓库拉取镜像,仅使用本地镜像。

9.4 重启策略(restartPolicy)

  • Always:默认的重启策略,容器退出时,总是重启容器。
  • Never:容器退出,从不重启容器。
  • Onfailure:只有容器异常退出(非 0 状态码退出)时,才会重启容器。

9.5 仓库

仓库分为公有仓库和私有仓库

  • 公有仓库使用【仓库名/镜像名:标签】定义
  • 私有仓库使用【私有仓库主机名/项目名/镜像名:标签】定义

私有仓库的访问方式有三种:

  • 用户名以及密码访问
  • 证书访问
  • token 令牌访问
    ~/.docker/config | base64 -w 0 --> secret 资源 --> yaml 文件中 imagePullSecrets

K8S --- Pod 基础概念相关推荐

  1. k8s pod基础概念

    k8s pod基础概念 Pod基础概念: Pod是kubernetes中最小的资源管理组件,Pod也是最小化运行容器化应用的资源对象.一个Pod代表着集群中运行的一个进程.kubernetes中其他大 ...

  2. 【云原生|K8s系列第1篇】:K8s的基础概念、组件架构及实战安装

    云原生|K8s系列第1篇目录 1.先从K8s不是什么讲起 2.K8s是什么及核心基础概念 2.1 Container容器 2.2 Pod 2.3 Node 2.4 Label 2.5 Annotati ...

  3. 【云原生之K8s】 Pod基础概念

    文章目录 一.资源限制 二.Pod的两种使用方式 三.Pod资源共享 四.底层容器Pause 1.Pause共享资源 1.1 网络 1.2 存储 1.3 小结 2.Pause主要功能 3.Pod与Pa ...

  4. K8S - Pod 的概念和简介

    1. POD的基本概念 Pod 是K8s 系统中可以创建(部署)和管理的最小单元. Pod 里面可以包含多个容器(多实例),是一组容器的集合. 也就是讲K8S 不会直接管理容器 1个POD中的容器共享 ...

  5. k8s pod里访问不到外部ip_K8S中的Service的存在理由

    前言 上篇文章中老顾介绍了相关pod.容器.node之间的通信,通过pod的ip进行通信,存在一定的问题. Kubernetes Pod是有生命周期的,它们可以被创建,也可以被销毁,然而一旦被销毁生命 ...

  6. Kubernetes 进阶训练营 Pod基础

    Pod基础 K8s架构图 组件 kube-apiserver kube-controller-manager kube-controller-manageer kube-scheduler kubel ...

  7. 混沌工程之ChaosToolkit使用之一删除K8s POD

    混沌工程之ChaosToolkit使用之一删除K8s POD 1.概述 今天我们来玩一下混沌工程的开源工具chaostoolkit . 它的目标是提供一个免费,开放,社区驱动的工具集以及api. 2. ...

  8. K8S实战基础篇:一文带你深入了解K8S实战部署SpringBoot项目

    K8S实战基础篇:一文带你深入了解K8S实战部署SpringBoot项目 1.前言 2.简介 2.1.为什么写这篇文章 2.2.需求描述 2.3.需求分析 3. 部署实战 3.1 环境准备 3.2 i ...

  9. k8s零基础入门 (学习笔记)

    夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远. 夫学须静也,才须学也,非学无以广才,非志无以成学.淫慢则不能励精,险躁则不能冶性. 年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐, ...

最新文章

  1. 2021年你不能错过的DevOps趋势
  2. 我的公众号 - Old Artist
  3. matlab中删除照片_如何使用matlab从图像中删除划痕
  4. java B2B2C Springboot电子商城系统 (六) 分布式配置中心(Spring Cloud Config)
  5. 路由器上的lookback是什么?有什么作用?
  6. 计蒜客 挑战难题 整数转换成罗马数字
  7. 计算机设置u盘启动,③、设置U盘启动教程
  8. 去中心化产品从趋势上的“确定性”到产品设计思路
  9. input限制上传数量,规定图片上传数量
  10. 播布客教学视频_C学习笔记_8.1_统计1到100中9的个数(分治)
  11. 网站托管收费是否有标准
  12. iPhone销量下降,这两种方法可以把Android和iPhone手机投屏到电脑上!
  13. 霍兰德职业规划测试软件,发现你的职业兴趣——霍兰德职业兴趣测试
  14. 编程珠玑之第三章习题8
  15. 阻止checkbox选中态
  16. ServU:无法访问servu服务器
  17. 单片机原理及应用学习笔记(一)
  18. 老二牛车Axure夜话:程序员眼中的原型设计视频教程之书到用时方恨少
  19. 人以善感,天以福应,人以恶感,天以灾应,原来天就是自己的镜子呀!
  20. jsencrypt加密解密

热门文章

  1. 世纪佳缘 java_Java API —— Pattern类
  2. 用计算机丧失了大脑,进化之超级大脑
  3. 概率密度变换公式 雅可比矩阵_看懂蒙特卡洛积分(一) 概率分布变换与随机采样...
  4. JS Arguments对象详解
  5. linux 拷贝覆盖文件,Linux取消cp命令覆盖文件提示的方法
  6. 1119 Pre- and Post-order Traversals
  7. 渡虎谷SEO大赛第一阶段总结(转)
  8. 主板、中小板、创业板、新三板的区别是什么?企业选择上市板块时的参考依据是什么?...
  9. python列表怎么表示_详解Python列表
  10. 校园云盘硬件搭建,及建设之超融合技术