1.概述

Apache Kafka是大量使用磁盘和页缓存(page cache)的，特别是对page cache的应用被视为是Kafka实现高吞吐量的重要因素之一。实际场景中用户调整page cache的手段并不太多，更多的还是通过管理好broker端的IO来间接影响page cache从而实现高吞吐量。我们今天就来讨论一下broker端的各种IO操作。

2. page cache

开始之前，还是简单介绍一下page cache：page cache是内核使用的最主要的磁盘缓存(disk cache)之一——实际上Linux中还有其他类型的磁盘缓存，如dentry cache、inode cache等。通常情况下Linux内核在读写磁盘时都会访问page cache。当用户进程打算读取磁盘上文件的数据时，内核会首先查看待读取数据所在的page是否在page cache中，如果存在自然命中page cache，直接返回数据即可，避免了物理磁盘读操作；反之内核会向page cache添加一个新的page并发起物理磁盘读操作将数据从磁盘读取到新加page中，之后再返回给用户进程。Linux内核总是会将系统中所有的空闲内存全部当做page cache来用，而page cache中的所有page数据将一直保存在page cache中直到内核根据特定的算法替换掉它们中的某些page——一个

10-20-030-简介-Kafka Briker IO相关推荐

（转自http://www.blogjava.net/moxie/archive/2006/10/20/76375.html）WebWork深入浅出
(转自http://www.blogjava.net/moxie/archive/2006/10/20/76375.html) WebWork深入浅出本文发表于<开源大本营> 作者:钱安 ...
ACMNO.3 有三个整数a b c,由键盘输入，输出其中的最大的数。输入一行数组，分别为a b c 输出 a b c其中最大的数样例输入 10 20 30 样例输出 30
基于平台Dev-C++ 5.11 题目描述有三个整数a b c,由键盘输入,输出其中的最大的数. 输入一行数组,分别为a b c 输出 a b c其中最大的数样例输入 10 20 30 样例输出 ...
循环队列，定义循环队列长度为10，编写初始化队列、入队、出队、求队长，实现10,20,30,40,50,60,70,80入队，10,20,30出队，56,67入队的算法功能。
循环队列,定义循环队列长度为10,编写初始化队列.入队.出队.求队长,实现10,20,30,40,50,60,70,80入队,10,20,30出队,56,67入队的算法功能. #include< ...
UA MATH ECE636 信息论10 Group Testing简介
UA MATH ECE636 信息论10 Group Testing简介 Group Testing AGT Dworfman算法 Binary Search Generalized Binary S ...
Java黑皮书课后题第10章：*10.20（近似e）编程练习题5.26使用下面数列近似计算e(略)，为了得到更好的精度，在计算中使用25位精度的BigDecimal
10.20(近似e)编程练习题5.26使用下面数列近似计算e(略),为了得到更好的精度,在计算中使用25位精度的BigDecimal 题目首次尝试代码运行关于揪bug 第二次尝试代码运行结 ...
背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换...
背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换原文:背水一战 Windows 10 ...
深度学习之循环神经网络（10）GRU简介
深度学习之循环神经网络(10)GRU简介 1. 复位门 2. 更新门 3. GRU使用方法 LSTM具有更长的记忆能力,在大部分序列任务上面都取得了比基础RNN模型更好的性能表现,更重要的是,LST ...
发布一个jquery插件--在Web下输入密码时提示大写锁定键(2012-05-03 10:20最后修改)...
功能介绍: 在Web下输入密码时提示大写锁定键,封装成jq插件方便有需要的同学! 使用: $("#txtPWD").capsLockTip(); 截图预览: 代码(2012-05- ...
刘强东：京东高管降薪10%-20% 拿百亿投向基层员工
为投资者提供专业资时隔两年,刘强东再次发布全员信. 11月22日,京东创始人刘强东在给全体员工的邮件中表示,要对员工和高管待遇推行"一升一降"措施. 高管待遇方面,为提高基层 ...

10-20-030-简介-Kafka Briker IO

1.概述

2. page cache

10-20-030-简介-Kafka Briker IO相关推荐

最新文章

热门文章