基于eBPF的云原生可观测性开源工具Kindling之Kindling-agent 性能测试评估

背景

Kindling-agent是基于eBPF的云原生可观测性开源工具Kindling中采集端的组件，能够通过采集和分析内核事件，获取运行于同一宿主机上的其他服务的业务、网络等指标。其工作模式是在主机上以独立进程的方式收集所需数据，所以只需要我们在应用所在主机部署Kindling-agent即可启动相应能力，随后可以通过prometheus和grafana套件对不同机器上探针采集的数据进行整合分析和查看，当然也可以用其他工具获取数据并进行分析展示。尽管Kindling-agent基于eBPF的方式进行的监控方式减少了对被监控应用的侵入，但始终还是和用户应用共享同一台宿主机的CPU、内存、磁盘、网络等资源。这使得所有想要使用Kindling-agent的用户都想知道该工具在真实环境中的性能表现以及预期资源使用情况。Kindling项目进行了一系列的测试来验证该采集工具的性能表现，这些测试反应了Kindling-agent在不同压力下良好的性能表现和可靠性。

测试目标

检验高负载(5000 TPS)场景下，Kindling-agent对应用的性能影响和agent本身的资源使用情况。
检验常规负载(1000 TPS)场景下，Kindling-agent对应用的性能影响和agent本身的资源使用情况。

测试环境

内核版本	3.10.0-1160.53.1
CPU	Intel(R) Xeon(R) Platinum 8269CY CPU @ 2.50GHz，8C
内存	16G

Jmeter和Kindling-agent以K8S工作负载的方式进行部署，测试应用和Jmeter分别运行在两台CentOS7(fedora)上。

结果说明

1. 基线指测试应用在无探针安装时的进行压力测试获得的指标，包括以下信息:

machine-cpu: 机器总CPU使用总体百分比
machine-mem: 机器总内存使用总体百分比
application-cpu: 测试应用CPU使用核数
application-memory: 测试应用内存使用
application-latency: 测试应用请求延迟
application-tps：测试应用每秒事务数

2. 安装探针后的测试应用在压力测试时的性能指标。

3. 探针自身的性能损耗，包括CPU和内存使用，在一些较低内核版本的机器中，Kindling使用内核模块代替eBPF实现了相同的功能，你将会在测试中看到两种实现下不同的性能表现。

测试用例

用例1

为了验证Kindling-agent在高负载下的性能表现，用例1使用了Skywalking的benchmark1程序。该程序为一个常规的Springboot应用，对外提供HTTP服务，其预期TPS为5000，预期延时为85ms。Kindling会捕获该程序的异常/慢的请求数据(即Trace)，并统计程序运行时间段内的关键性指标(Metric)，如平均响应时间、错误率、请求字节数和请求数等。这些Trace和Metric能够有效的保障程序的可观测性。下面的测试结果中是待测程序在5000TPS下的性能表现，baseline表示未启用agent下的资源开销和性能表现。

在资源使用上，Kindling-agent 一共消耗了约0.64C来处理并统计 5000 TPS下的关键性能指标，并通过Prometheus暴露在HTTP接口上。对于应用程序的资源使用，在基线测试中，应用程序需要花费2.5C处理现有的业务请求，在部署了探针后，程序需要使用2.6C处理现有的业务请求，即相对于基线增加了4%的额外开销，内存方面则几乎没有影响。对于应用程序的服务表现，可以看到，在5000TPS的负载下，Kindling-agent对应用程序的响应时间和TPS的影响都非常小。大多数正常的业务都包含一定的处理逻辑，单节点吞吐量很少能够达到5000TPS。因此，对于大多数的业务应用来说，不需要担心Kindling-agent对应用本身的处理能力造成影响。

用例2

如之前所述，用例1中的TPS明显高于正常的用户应用。为此，测试用例2增加了处理每个请求时的CPU使用，并下调了请求压力，使该场景更接近于生产环境下的常规压力。

在资源使用上，Kindling-agent 一共消耗了 0.12C 用于数据处理和统计。

对于应用的资源使用，在1000TPS下，基线使用1.37C 处理现有的请求，安装agent后相较于基线几乎没有额外开销。服务表现方面，在1000TPS下，基线的响应时间为272ms , TPS为 1044 ; 安装agent后相较于基线几乎不变。总的来说，在常规负载下，Kindling-agent对用户应用几乎没有影响。

总结

上述用例说明Kindling可以在较低的资源开销下支持轻量化部署，且易于管理；能够深入分析请求到协议栈在内核执行情况；能够提供语言无关，应用无侵入的监控体验，为您的应用带来新一代的可观测能力。

测试原始数据详见：原始数据

Kindling项目地址：Kindling

在云可观测性方面有任何疑问欢迎与我们联系：Kindling官网