作者| 阿里云技术专家 郑云龙(砧木)

目前越来越多的开发者开始采纳 Kubernetes 管理基础设施环境,并通过 Kubernetes 完成日常的开发,测试以及生产发布活动,为了能够有效的帮助开发者提升在 Kubernetes 场景下的本地开发测试效率,阿里巴巴研发效能云效团队面向原生 Kubernetes 开源了一款轻量级的开发者工具 KT Connect。

1. KT Connect 是什么

KT Connect(Kubernetes Developer Tool) 是轻量级的面向 Kubernetes 用户的开发测试环境治理辅助工具。其核心是通过建立本地到集群以及集群到本地的双向通道,从而提升在持续交付生命周期中开发环节的效率问题以及开发测试环境的复用问题:

KT Connect 包含一组用于快速实现本地与集群联调的 Cli 命令集: connect, exchange, mesh 以及一个集中式的可视化 Dashboard

  • connect: 在 kubectl 的基础上基于 SSH 协议构建本地到 Kubernetes 集群的 VPN 网络,使得用户本地能够直接访问 Kubernetes 集群的内部网络如 PodIP, ClusterIP。同时基于内置的 DNS 服务,开发者本地可以直接访问集群内的 Service DNS 地址。
  • exchange: 通过部署代理容器接管集群内对特定应用的全部流量并转发到开发者本地端口,从而帮助开发者将本地服务加入到集群中从而实现联调测试。
  • mesh: 与 exchange 类似,区别在于 mesh 不会完全接管所有流量,而是在 Service 后部署一个带有特定版本号的 Pod 实例,配合 Istio 的流量管理规则,从而可以将特定流量转发到开发者本地。

通过 KT Connect 提供的上述能力,开发者可以从传统的“开发-构建-部署”的场景中解脱,直接实现本地开发本地联调,从而可以极大的提升开发效率。同时通过 Mesh 提供混合能力,通过复用测试环境减少在基础设施层面的资源投入。

2. KT Connect 的优势

KT Connect 源于阿里巴巴研发效能在测试规模化环境治理上的丰富经验,同时受启发于像 Azure Dev Spaces 和 Telepresence 这样的开发者工具,而形成的一套面向原生 Kubernetes 用户的测试环境治理以及本地联调解决方案:

  • 原生 Kubernetes 支持:兼容任意 Kubernetes 集群,同时支持以 kubectl 插件的方式运行;
  • 轻量级:基于 Go 实现,且只在 connect 的 VPN 网络能力方面主要依赖 SSHUttle 工具,无其它任何第三方依赖;用户可以在任意能正常运行 kubectl 的环境中使用 KT Connect;
  • 多种应用场景:通过与原生 Istio 的集成,支持用户独占式或者共享开发测试环境;
  • 可视化:基于同一的 Dashboard 以及可视化能力,让用户更直观的了解测试环境的使用情况。
  • 可扩展性: KT Connect 中提供了详细的元数据信息,用户可以快速基于 Kubernetes API 扩展 Dashboard 以及功能;

3. KT Connect 的由来

经过这么些年持续交付理念不断的深入人心以及相关实践的不断完善,发布已经成了一键可以完成的事情。整个持续交付过程越来越自动化,质量以及基础设施定义等活动不断左移,研发最大时间投入回归到代码本身。

时至今日在团队协作的模式下,无论软件研发模式或者架构这么些年来发生了多大的变化,影响软件开发效率最大的问题依然是集成的问题。

3.1 阿里巴巴解决之道

一般来说在DevOps中我们会通过持续交付流水线的方式不断的对软件进行集成,越到后面的阶段越接近生产环境,集成的验证结果也越让研发人员有信心,代码能够在生产环境上正常运行:

在理想情况下,我们希望通过自动化流水线来完成持续集成验证,各阶段环境部署。并且在这些环节上完成各角色的协作:

  • “谁又把日常搞挂了!!!”
  • “改一行代码部署十分钟……”

这些都是研发团队实践持续交付流水线后的真实心声。我们都知道本地开发本地联调是效率最高的,但是持续交付流水线本身并不解决这些问题。而幸好集团有 Aone 以及强大的中间件能力。基于中间件的隔离能力以及集团大环境下办公网络与日常环境网络是直接连通的。在真正提交集成之前,开发者可以在本地使用独立的测试环境进行联调测试:

除了独立使用的项目环境以外,为了提升日常环境的问题性,阿里 Aone 中还引入了主干环境的模式来提升集成环境的稳定性。在前面已经介绍过在集团内集成联调测试能够如此高效,是有一些前置条件的:

  • 第一是集团能够有多余的基础设施来给开发人员独占式的使用
  • 第二是集团网络环境办公网络与日常环境是直接打通的
  • 第三是强大的中间件隔离能力,从而能够让流量能够按照开发者的规划流转

3.2 KT Connect 的解决方案

3.2.1 Connect 连接:

快速建立本地到集群的 VPN 网络,同时将 Kubernetes 集群的 DNS 解析能力整合到本地,让用户可以直接通过 PodIP, ClusterIP 以及 DNS 域名访问到集群内的服务:

通过建立本地到集群的通道,让开发者可以快速的与集群内的其它服务进行联调测试。同时由于兼容了 Kubernetes 的 DNS 能力,因此可以使得本地的代码仿佛是直接运行在集群中一样。

3.2.2 Exchange 交换:

那集群内的流量如何打到开发者的本地进程? Exchange 提供了这样的能力,Exhange 命令通过在集群内部署代理容器,替换集群内的原有应用,并将所有对代理容器的请求直接转发到本地端口:

通过 Connect 和 Exchange 两个命令分别负责:本地到集群,以及集群到本地的通路。通过组合使用配合 Kubernetes 的 Namespace 隔离, Kubernetes 原生开发者可以在独占的测试环境上完成本地到集群以及集群到本地的联调与集成需求。

3.2.3 Mesh 混合:

那我们再思考一个问题:我们真的需要独占的"项目测试环境吗"?

项目环境在集团内之所以有存在的意义,归根结低还是因为环境不稳定。导致开发集成效率被直接拉低。那在 Kubernetes 下有没有办法解决呢?既然说到了这,那就证明肯定是有的。接下来就是要介绍了 KT Connect 的第三个能力: Mesh

Mesh 与 Exchange 的能力其实非常类似,在调用之后都会在集群内启动一个代理容器,并且继承原应用的标签。 但是最大的差异在于 Exhange 会将原应用的 Replicas 直接降到 0,完全结果集群内所有对原应用的流量。 而 Mesh 则是在保持原有应用 Pod 不变的前提下,创建一个新的代理容器并且继承原应用的所有标签,但是会新增加一个随机的 version 标签。

说到这里,读者可能在想就增加了一个 version 而已,好像并没有太大的变化。但是当配合 Service Mesh 之后就可以产生新的化学反应。由于原应用存在依然存在,Mesh 是以应用新版本的形式部署到 Kubernetes 集群内,配合 Istio 的流量规则,可以让所有正常流量依然保持对原应用的访问,而只对一些有特殊标记的的请求转发到本地。从而可以实现在一套公用测试环境的基础上各自独立的完成本地的集成联调。

3.2.4 Dashboard 可视化:

Cli 工具从客户端的角度为研发人员提供了相对便捷的方式能够让研发能够在本地快速完成联调测试,而站在测试环境管理的维度上,我们需要了解测试环境的状态,例如,当前有多少服务是被 Exchange 到了开发人员本地,服务一共 Mesh 了多少个本地版本? 这部分内容在 KT Connect 中通过一个集中式的 Dashboard 提供相关的能力支撑,我们可以清楚的了解当前服务下运行了容器实例,同时是否有本地环境接入,从而可以更好的支撑多人协作的场景。

4. KT Connect 的应用场景

4.1 本地联调测试

在阿里内部,开发人员可以为每一个变更单独创建一个开发测试环境并且与本地程序进行联调,在 Kubernetes 环境中通过分配单独的命名空间,并配合 connect 和 exchange 命令的组合,可以让开发人员在独占的开发测试环境中进行联调测试。

4.2 共享开发测试环境

除了独占式的开发测试环境以外,结合 Istio 并组合 connext 和 mesh 命令,一组开发人员可以同时在一个共享的开发测试环境中完成本地的联调测试。从而可以大大节省基础设施资源的投入。

4.3 持续交付流水线

在阿里内部,我们通常会有一个单独的主干环境,每一次变更发布到正式并合并到主干代码之后,都会走动触发主干环境的部署,那意味着主干环境是默认稳定的一个环境。那在基于 Kubernetes 的持续交付流水线中,我们也可以非常方便的模拟一个主干环境,并且默认通过主干环境来进行本地的联调测试,从而避免日常环境不稳定导致无法有效的开展本地联调测试的任务。

5. RoadMap

我们计划平均一个月一个 Release 版本,当前规划:

可视化与测试环境管理

  • 提供测试环境模板和基线管理帮助用户一键拉起测试环境;
  • Namespace 保护机制,集群中即包含测试环境又包含生产环境的集群提供 Namespace 保护机制,避免客户端接管生产环境流量;
  • 可视化能力增强集群整体可视化拓扑;
  • Istio 可视化管理,通过 Dashboard 可视化或者自动化生成流量规则;

性能和稳定性优化

  • 优化代理容器大小以及启动速度,提升启动效率;
  • Cli 优化进程管理能力;
  • Cli 中 Istio 能力增强,在 Cli 中定义流量转发规则

6. 更多资料

  • 项目地址: https://github.com/alibaba/kt-connect
  • 帮助和使用文档: https://alibaba.github.io/kt-connect/#/
  • 问题和反馈: https://github.com/alibaba/kt-connect/issues

联调测试是什么意思_阿里开源 KT Connnect,轻量级云原生测试环境治理平台来啦!...相关推荐

  1. KT Connnect 轻量级云原生测试环境治理工具

    简介 KT Connect ( Kubernetes Developer Tool ) 是轻量级的面向 Kubernetes 用户的开发测试环境治理辅助工具.其核心是通过建立本地到集群以及集群到本地的 ...

  2. linux history 看更多历史记录_每周开源点评:定义云原生、拓展生态系统,以及更多的行业趋势 | Linux 中国...

    导读:每周关注开源社区和行业趋势. 本文字数:1527,阅读时长大约:2分钟https://linux.cn/article-12473-1.html作者:Tim Hildred译者:Xingyu.W ...

  3. 云原生时代一站式DevOps平台--阿里云效

    云原生 以原生开源技术构建的云环境是当前互联网行业的根基命脉 DevOps以云原生为根基,则可快速成长为参天大树 主流DevOps技术栈 目前互联网行业甚至传统行业都有自己的DevOps技术栈选型 不 ...

  4. 开源引领创新,云原生主题论坛资料呈现 | 长沙1024程序员节

    ​云原生,即集成微服务.DevOps .持续交付.容器化为一体的架构体系. 蓬勃发展的云原生生态,开源成为主流创新平台 云原生是一场技术的全面升级.云原生生态的蓬勃发展,带来了容器.Kubernete ...

  5. CSDN:《新程序员003》正式上市,华为、阿里等 30+ 公司的云原生及数字化实战经验

    CSDN:<新程序员003>正式上市,华为.阿里等 30+ 公司的云原生及数字化实战经验 目录 <新程序员003>正式上市,华为.阿里等 30+ 公司的云原生及数字化实战经验 ...

  6. 腾讯开源业界首个云原生标准的一站式微服务管理框架Femas

    作者 | Femas开源技术团队 责编 | 梦依丹 企业数字化向云原生演进过程面临诸多痛点,微服务框架不统一.协议多样化.语言异构,纷繁复杂的微服务技术栈,基础组件之间像一座座孤岛,各个基础组件的控制 ...

  7. 干货 | 基于开源体系的云原生微服务治理实践与探索

    作者简介 CH3CHO,携程高级研发经理,负责微服务.网关等中间件产品的研发工作,关注云原生.微服务等技术领域. 一.携程微服务产品的发展历程 携程微服务产品起步于2013年.最初,公司基于开源项目S ...

  8. 基于开源体系的云原生微服务治理实践与探索

    作者:董艺荃|携程服务框架负责人 携程微服务产品的发展历程 携程微服务产品起步于 2013 年.最初,公司基于开源项目 ServiceStack 进行二次开发,推出 .Net 平台下的微服务框架 CS ...

  9. easyexcel 在 设置标题_阿里开源(EasyExcel)

    阿里开源(EasyExcel)---导出EXCEL - 请叫我猿叔叔的博客 - CSDN博客 https://blog.csdn.net/qq_35206261/article/details/885 ...

  10. seata xid是什么_阿里开源的分布式事务框架 Seata

    1. Seata 概述 Seata 是 Simple Extensible Autonomous Transaction Architecture 的简写,由 feascar 改名而来. Seata ...

最新文章

  1. 案例:用JS实现放大镜特效
  2. python统计单词出现次数_用python统计单词出现频率
  3. MSSQL数据库全库批量替换
  4. 2020 操作系统第二天复习(习题总结)
  5. 什么是ActiveMQ?
  6. expected initializer before
  7. 只有对经过自己努力才得到的东西,我才会高兴。
  8. linux ftp用户指定多个目录,linux ftp服务器下用户限制目录的方法
  9. php将简单的数据从数据库,php将session保存到数据库的简单示例
  10. Fiddler-半自动构造少量数据
  11. devstack mysql_devstack 安装openstack newton版
  12. oracle 10g rac 停止,Oracle10g RAC 关闭及启动
  13. 关于Fragment 不响应onActivityResult的情况分析
  14. Java开发工具 IntelliJ IDEA(idea使用教程,手把手教学)内容很全,一篇管够!!!
  15. wifi微信连不到服务器,微信连不上wifi怎么办?
  16. 【Unity Shader】 Alpha测试
  17. 【Ant】win 10 / win 11: Ant 下载、安装和部署
  18. STM32CubeMX+Proteus仿真DS18B20
  19. 试用Riya-带有人脸识别功能的在线照片服务
  20. 不可能!我的内网服务器怎么会被黑客入侵?

热门文章

  1. 1032 挖掘技术哪家强
  2. 前端复习笔记(一)——HTML
  3. Single-Shot Calibration:基于全景基础设施的多相机和多激光雷达之间的外参标定(ICRA2021)...
  4. 与用户交互、格式化输出、基本运算符
  5. JavaScript中atEnd函数
  6. Opencv之获取边缘和画轮廓
  7. 【从C到C++学习笔记】内敛函数/内敛函数与带参数宏的区别/新的类型转换运算符
  8. VC++ 求绝对值函数
  9. python图像exif信息复制
  10. 《剑指offer》面试题23——从上往下打印二叉树