云原生CI/CD：Tekton/pipelin之pipeline概念篇

本节介绍下tekton中pipeline概念。作为云原生的CI/CD神器在之前介绍的task和taskrun之后，还有什么强大的功能呢？

Pipeline

用于定义一系列完成特定构建或交付目标的任务。pipeline的运行是由事件触发或从PipelineRun调用。pipeline和task的区别在于，task只能执行一个task，而pipeline中可以编排多个task，注意是编排，并不只是简单运行。pipeline的spec.tasks定义了需要编排的task，是个数组，而这个数组中的task的顺序并不一定是执行顺序，pipeline中task的执行顺序是可以指定的。下面讲下pipeline的使用：

1.1 Declared resources

为了使pipeline能与外界互动，可能需要PipelineResources，PipelineResources作为输入和输出提供给Tasks。下面就是pipeline中使用pipelineResource:

spec:resources:- name: my-repotype: git- name: my-imagetype: image

1.2 Workspaces

工作空间是一种为执行中的管道及其任务提供可用的共享卷的方法。在pipeline中定义worksapce作为共享卷传递个相关的task。在tekton中定义workspace的用途有以下几点：

存储输入和/或输出
在task之间共享数据
secret认证的挂载点
ConfigMap中保存的配置的挂载点
组织共享的常用工具的挂载点
高速缓存的构建工件可加快工作速度，简而言之，用于缓存构建时的包,例如作为Maven仓库存储
使用方式如下：

spec:workspaces:- name: pipeline-ws1 # workspace的名称tasks:- name: use-ws-from-pipelinetaskRef:name: gen-code # 使用的Taskworkspaces:- name: outputworkspace: pipeline-ws1- name: use-ws-againtaskRef:name: commit # 使用的taskrunAfter:- use-ws-from-pipeline # 定义任务的执行顺序，该task在use-ws-from-pipeline之后执行workspaces:- name: srcworkspace: pipeline-ws1

1.3 使用task和pipelineresource

pipeline中使用已经定义好的task和pipelineResource:

spec:tasks:- name: build-the-imagetaskRef:name: build-push # 使用定义好的taskresources:inputs:#输入资源 代码- name: workspaceresource: my-repooutputs:#输出资源 镜像- name: imageresource: my-image

1.4 from

你可能需要将先前任务的输出作为输入，举个例子：

- name: build-apptaskRef:name: build-pushresources:outputs: #定义任务输出- name: imageresource: my-image
- name: deploy-apptaskRef:name: deploy-kubectlresources:inputs:#定义任务输入- name: imageresource: my-imagefrom:- build-app #任务输入源，也意味着任务deploy-kubectl要在任务build-app之后执行

resource my-image将会从build-app的输出作为deploy-app的输入，所以my-image必须是build-app任务的输出结果，当然这也意味着build-app必须先于deloy-app运行完，无论它们在定义中出现的顺序如何。

1.5 runAfter

有时，您需要具有按特定顺序运行的pipeline task，但它们没有明确的输出来输入依赖项（通过from表示）。在这种情况下，可以使用runAfter指示应在一个或多个先前的管道任务之后执行管道任务。

- name: test-apptaskRef:name: make-testresources:inputs:- name: workspaceresource: my-repo
- name: build-apptaskRef:name: kaniko-buildrunAfter:- test-app #build-app任务在test-app任务之后执行resources:inputs:- name: workspaceresource: my-repo

build-app任务会在test-app之后执行

1.6 retries

有时，你需要一项重试策略以应对可能会遇到的网络错误、缺少依赖或者上传问题等.
默认retries确省值为0，不会重试,自定义重试策略如下：

tasks:- name: build-the-imageretries: 1taskRef:name: build-push

build-the-image任务在第一次失败后，马上就会启动第二个。当前设置只能重试1次。

1.7 conditions

有时你需要在某些条件为true的情况下才去执行task，condition字段允许您列出对在任务运行之前运行的条件的一系列引用。如果所有条件都为真，则运行任务。要是有一个条件不满足，那任务就不会运行，同时任务的status标志位会被置为ConditionCheckFailed。注意正常来讲，一个task不能运行，不会影响整个pipelinerun。pipeline中使用condition:

tasks:- name: conditional-tasktaskRef:name: build-pushconditions:- conditionRef: my-condition #使用已有condition params:- name: my-paramvalue: my-valueresources:- name: workspaceresource: source-repo

关于如何定义condition，后面找个机会详细找下。

1.8 Timeout

Pipeline Task的Timeout属性允许为PipelineRun的一部分TaskRun定义超时。如果TaskRun超过指定的时间，则TaskRun将失败，并且与Pipeline关联的PipelineRun也将失败。Pipeline的Tasks没有默认超时设置,因此在定义pipeline时必须使用pipeline task指定超时。带有超时的管道任务示例如下所示：

spec:tasks:- name: build-the-imagetaskRef:name: build-pushTimeout: "0h1m30s"

timeout的完整例子：

apiVersion: tekton.dev/v1alpha1
kind: Task
metadata:name: task-echo-message
spec:inputs:params:- name: MESSAGEtype: stringdefault: "Hello World"steps:- name: echoimage: ubuntucommand:- sleep 90sargs:- "$(inputs.params.MESSAGE)"
---apiVersion: tekton.dev/v1alpha1
kind: PipelineRun
metadata:name: pipelinerun-timeout
spec:# 1 hour and half timeouttimeout: 1h30mpipelineSpec:params:- name: MORNING_GREETINGSdescription: "morning greetings, default is Good Morning!"type: stringdefault: "Good Morning!"- name: NIGHT_GREETINGSdescription: "Night greetings, default is Good Night!"type: stringdefault: "Good Night!"tasks:# Task to display morning greetings- name: echo-good-morningtaskRef:name: task-echo-messageparams:- name: MESSAGEvalue: $(params.MORNING_GREETINGS)# Task to display night greetings- name: echo-good-nighttaskRef:name: task-echo-messageparams:- name: MESSAGEvalue: $(params.NIGHT_GREETINGS)params:- name: MORNING_GREETINGSvalue: "Good Morning, Bob!"- name: NIGHT_GREETINGSvalue: "Good Night, Bob!"

注意：设置超时时间是很有必要的，不然task 的pod会一直运行不完，浪费k8s集群资源，对于超时的任务确实应该kill掉。我之前构建Java项目时，使用的maven仓库没有配置阿里云的源，拉包很慢，跑了一个小时，最后到了默认的超时时间才强制关掉任务。

1.8 Results

piple中可以使用task的运行结果作为其他Task的输入，即task可在执行过程中生成一些result,这些result可用作pipeline后续task中的参数值,此外Tekton将根据输入参数来推断tasks的执行顺序，以确保生成result的task在那些消耗其结果的task之前运行。
通过变量替换将Task结果用作另一个Task参数的值:

params:- name: foovalue: "$(tasks.previous-task-name.results.bar-result)"

"previous-task-name"产生的result被用于参数值。完整的例子如下:

apiVersion: tekton.dev/v1beta1
kind: Pipeline
metadata:name: sum-and-multiply-pipeline
spec:params:- name: atype: stringdefault: "1"- name: btype: stringdefault: "1"tasks:- name: sum-inputstaskRef:name: sumparams:- name: avalue: "$(params.a)"- name: bvalue: "$(params.b)"- name: multiply-inputstaskRef:name: multiplyparams:- name: avalue: "$(params.a)"- name: bvalue: "$(params.b)"- name: sum-and-multiplytaskRef:name: sumparams:- name: avalue: "$(tasks.multiply-inputs.results.product)$(tasks.sum-inputs.results.sum)" #该任务在multiply-inputs之后执行- name: bvalue: "$(tasks.multiply-inputs.results.product)$(tasks.sum-inputs.results.sum)"
---
apiVersion: tekton.dev/v1beta1
kind: Task
metadata:name: sumannotations:description: |A simple task that sums the two provided integers
spec:params:- name: atype: stringdefault: "1"description: The first integer- name: btype: stringdefault: "1"description: The second integerresults:- name: sumdescription: The sum of the two provided integerssteps:- name: sumimage: bash:latestscript: |#!/usr/bin/env bashecho -n $(( "$(params.a)" + "$(params.b)" )) | tee $(results.sum.path)
---
apiVersion: tekton.dev/v1beta1
kind: Task
metadata:name: multiplyannotations:description: |A simple task that multiplies the two provided integers
spec:params:- name: atype: stringdefault: "1"description: The first integer- name: btype: stringdefault: "1"description: The second integerresults:- name: productdescription: The product of the two provided integerssteps:- name: productimage: bash:latestscript: |#!/usr/bin/env bashecho -n $(( "$(params.a)" * "$(params.b)" )) | tee $(results.product.path)
---
apiVersion: tekton.dev/v1beta1
kind: PipelineRun
metadata:generateName: sum-and-multiply-pipeline-run-
spec:pipelineRef:name: sum-and-multiply-pipelineparams:- name: avalue: "2"- name: bvalue: "10"

1.9 Ordering

前面有讲过单独使用from和runAfter这边讲下，这两者联合使用能到达指定顺序执行任务：

- name: lint-repotaskRef:name: pylintresources:inputs:- name: workspaceresource: my-repo
- name: test-apptaskRef:name: make-testresources:inputs:- name: workspaceresource: my-repo
- name: build-apptaskRef:name: kaniko-build-apprunAfter:- test-app #build-app在test-app之后执行resources:inputs:- name: workspaceresource: my-repooutputs:- name: imageresource: my-app-image
- name: build-frontendtaskRef:name: kaniko-build-frontendrunAfter:- test-app #build-frontend在test-app之后执行resources:inputs:- name: workspaceresource: my-repooutputs:- name: imageresource: my-frontend-image
- name: deploy-alltaskRef:name: deploy-kubectlresources:inputs:- name: my-app-imageresource: my-app-imagefrom:- build-app # 在build-app之后执行- name: my-frontend-imageresource: my-frontend-imagefrom:- build-frontend #在build-frontend之后执行

执行过程图：

        |            |v            vtest-app    lint-repo/        \v          v
build-app  build-frontend\          /v        vdeploy-all

总结

对于比较复杂的CI/CD任务或者需要指定执行顺序时，可以选择使用pipeline来运行，pipeline定义好了就创建，然后不用管了。在运行pipelineRun时指定必要的参数，每次运行构建任务时，只要运行pipelineRun就行，pipelineRun的使用我们下一次再讲。总体来说，pipeline的功能相对于task来说还比较全，之后我会找一些场景进行演示。
欢迎关注“南君手记”公众号，欢迎评论指正。技术之路，我们一起成长！