卡夫卡编年史队列基准

总览

最近，我被要求比较《卡夫卡》和《编年史》的性能。没有两个产品是完全一样的，要进行公平的比较并不容易。我们可以尝试运行类似的测试，看看会得到什么结果。

该测试基于Apache Kafka性能结果。

测试使用了什么？

卡夫卡测试的一个方面是多线程性能。在我们已经完成的测试中，使用更多的线程（取决于您拥有的CPU数量）并不好坏。我们没有在这里进行基准测试。所有测试都使用一个生产者。

另一个区别是，我们按时间而不是按计数定期刷新到磁盘。能够说自己永远不会落后X毫秒通常比说600条消息更有用，因为您不知道这些消息可能在那里等待了多长时间。对于我们的测试，我们看一下1 ms到10 ms之间的刷新周期。在Kafka的测试中，它们似乎大约每3毫秒一次。

在每种情况下，使用的消息大小均为200字节，我们探讨了一次写入1、2、5和10条消息的区别。我们还分批尝试了200条消息，其性能类似于10条消息。

我们仅测试了写入SSD磁盘的持久性。注意：编年史是没有经纪人的。

结果

该测试的结果显示了以MB / s为单位的消息速率。这是描述性能的合理方法，因为消息大小可能会有所不同，但是您将获得类似的带宽，尤其是消息大小超过1 KB时。

设备	冲洗周期（毫秒）	1个	2	5	10
ssd.ext4	1个	236 MB /秒	300 MB /秒	340 MB /秒	363 MB /秒
ssd.ext4	3	378 MB /秒	483 MB /秒	556 MB /秒	583 MB /秒
ssd.ext4	10	495 MB /秒	595 MB /秒	687 MB /秒	705 MB /秒
tmpfs	呐	988 MB /秒	1317 MB /秒	1680 MB /秒	1847 MB /秒

我们还测试了“写入” tmpfs文件系统。由于没有执行对设备的实际写入，因此速度更快。

结论

无法与Kafka进行直接比较，因为它是基于代理的系统，因为必须通过TCP发送任何消息。编年史可以通过TCP复制，但是不是必须的，如果要最大化性能，您将使用高速网络，最快的是服务器的内存总线。

您可以运行类似的测试并获得出色的结果。如果您需要处理数百MB / s的突发数据，则Chronicle可能是更好的解决方案。

翻译自: https://www.javacodegeeks.com/2014/10/kafka-benchmark-on-chronicle-queue.html

卡夫卡编年史队列基准相关推荐

卡夫卡队列_卡夫卡编年史队列基准
卡夫卡队列总览最近,我被要求比较<卡夫卡>和<编年史>的性能. 没有两个产品是完全一样的,要进行公平的比较并不容易. 我们可以尝试运行类似的测试,看看我们得到了什么结果. ...
卡夫卡如何分区_通过分区在卡夫卡实现订单担保人
卡夫卡如何分区 Kafka最重要的功能之一是实现消息的负载平衡,并保证分布式集群中的排序,否则在传统队列中是不可能的. 首先让我们尝试了解问题陈述让我们假设我们有一个主题,其中发送消息,并且有一个消 ...
Kafka卡夫卡详解
Kafka卡夫卡详解 Kafka设计方式 Topics Producers Consumers 参考:https://www.cnblogs.com/shijiaoyun/p/4860734.html ...
卡夫卡 it_解决我怪异的卡夫卡再平衡问题
卡夫卡 it Imagine working on your Kafka Streams application. You deploy it to Kubernetes, wait a few ho ...
flink 卡夫卡_卡夫卡–一次语义学
flink 卡夫卡在分布式环境中,故障是很常见的情况,可以随时发生. 在Kafka环境中,代理可能崩溃,网络故障,处理故障,发布消息时失败或无法使用消息等.这些不同的场景引入了不同类型的数据丢失和重 ...
理解卡夫卡的初学者指南
目录介绍数据系统组成卡夫卡体系结构关键组件和相关术语 Zookeeper 卡夫卡内部构件 Windows上的Kafka设置先决条件安装文件执行参考资料这是数字时代.到处都是数据,这段 ...
【卡夫卡的岛上书店】：一个利用 vuepress 的主题 vuepress-theme-reco 以及 vuepress-theme-vdoing 搭建自己的静态博客
说明主题是用了vuepress-theme-reco@1.6.1 以及vuepress-theme-vdoing@1.7.2,自己在此基础上进行了两款主题的融合,以及部分功能的改造.个性化的功能开发 ...
卡夫卡详解_卡夫卡概念
卡夫卡详解 Apache Kafka is an open-source distributed event streaming platform used by thousands of compa ...
卡夫卡的基础知识以及概念
卡夫卡配置 https://www.cnblogs.com/shijiaoyun/p/4860734.html 卡夫卡配置说明 https://www.cnblogs.com/rilley/p/539 ...

卡夫卡编年史队列基准

总览

测试使用了什么？

结果

结论

卡夫卡编年史队列基准相关推荐

最新文章

热门文章