kafka性能高的影响因素

1.使用操作系统的页缓存
kafka的性能非常依赖于操作系统的页缓存，页缓存提供了比kafka进程内存更好的缓存方式。

2.零拷贝(linux的sendfile函数，对应FileChannel.transferto函数)
正常的从磁盘发送数据到网络要经过一下几个步骤:
a.把数据从磁盘读取到内核的read buffer内存中
b.把内核read buffer内存的数据读取到应用程序的用户内存uer buffer中
c.把用户user buffer内存中的数据写到socket buffer内核内存中
d.dma把socket buffer内存内存的数据写到网卡设备中

而使用了sendfile函数后流程变成了：
a.把数据从磁盘读取到内核的read buffer内存中
b.把read buffer的位置和长度标志成一个fd描述符对象,并把这个描述符放到socket buffer中
c.dma 把socket buffer中的fd指向的read buffer内存内容写到网卡设备中
整个过程少了两个步骤：从read buffer拷贝数据到应用程序内存以及从应用程序内存拷贝数据到socket buffer

kafka性能高的影响因素相关推荐

大白话聊聊 Kafka 的架构原理和网络设计，它的性能高在什么地方？
一.Kafka基础消息系统的作用应该大部分小伙伴都清楚,用机油装箱举个例子所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用. 引入一个场景,我们知道中国移动,中国 ...
Kafka学习之路（三）Kafka的高可用
一.高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费, ...
Kafka性能强于RabbitMQ的原因
目录一.Kafka VS RabbitMQ 1.衡量指标 2.结论二.Kafak的高吞吐和低延迟是怎么实现的? 1.页缓存技术+磁盘顺序写 2.零拷贝技术三.关于页缓存.磁盘顺序写.Socket ...
Kafka 性能调优实战：同等资源配置性能提升 20 几倍的秘诀
作者 | 丁威责编 | 欧阳姝黎抛出问题笔者最近在折腾数据异构体系,在实现MySQL增量数据同步到MQ(Kafka.RocketMQ),本文的故事就从这里开始. 众所周知,为了提高写 ...
Kafka——性能逆天的存在
Kafka--性能逆天的存在 _飞翔的企鹅_ 本文链接:https://blog.csdn.net/gdutliuyun827/article/details/53761108 (by 刘延允,201 ...
kafka性能优化入门
当我们谈论 Kafka 性能调优时,需要考虑很少的配置参数.因此,为了提高性能,最重要的配置是控制磁盘刷新速率的配置. 此外,我们可以根据组件划分这些配置.因此,让我们先谈谈Producer.因此,在 ...
Kafka性能篇：为何Kafka这么快？
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 --<Redis 核心篇:唯快不破的秘密>.深入地从 IO.线程.数据结构.编码等方面剖析了 Redis " ...
多线程高并发底层锁机制与优化的最佳实践——各种锁的分类 || synchronized 关键字倒底锁的是什么东西？|| CAS与ABA问题||锁优化||轻量级锁一定比重量级锁的性能高吗
多线程高并发底层锁机制与优化的最佳实践各种锁的分类加上synchronized 关键字,共享资源就不会出错 synchronized 关键字倒底锁的是什么东西? synchronized 锁的 ...
imageNamed和imageWithContextOfFile的区别？哪个性能高
imageNamed性能高 1.用imageNamed的方式加载时,图片使用完毕后缓存到内存中,内存消耗多,加载速度快.即使生成的对象被 autoReleasePool释放了,这份缓存也不释放,如果图 ...

kafka性能高的影响因素

kafka性能高的影响因素相关推荐

最新文章

热门文章