为什么kafka使用磁盘而不是内存

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wl6965307/article/details/51392905
Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读写速度和内存持平。

而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁盘缓存等。如果在内存做这些操作的时候，一个是JAVA对象的内存开销很大，另一个是随着堆内存数据的增多，JAVA的GC时间会变得很长，使用磁盘操作有以下几个好处：

磁盘缓存由Linux系统维护，减少了程序员的不少工作。
磁盘顺序读写速度超过内存随机读写。
JVM的GC效率低，内存占用大。使用磁盘可以避免这一问题。
系统冷启动后，磁盘缓存依然可用。
---------------------
作者：end
来源：CSDN
原文：https://blog.csdn.net/endlu/article/details/51392905
版权声明：本文为博主原创文章，转载请附上博文链接！

为什么kafka使用磁盘而不是内存相关推荐

磁盘不足导致内存溢出问题
工作时候测试环境出现大面积服务挂掉,当重启服务后(脚本判断服务挂了之后会定时重启),一段时间后服务又挂掉了,这时候查看测试环境内存使用情况, 从图片可以看到内存只剩下200多M,buff缓存中的数据居 ...
C#-获取磁盘，cpu,内存信息
获取磁盘信息zongdaxiao = GetHardDiskSpace("C") * 1.0 / 1024; user = GetHardDiskFreeSpace("C ...
linux系统状态（磁盘大小、内存、进程、cpu使用率、网络连接）
分享一下自己做的一个获取Linux系统状态的类(c++)(代码整理后的,在物理机上测试可以,在vm虚拟机上测试,磁盘计算有问题) 头文件 #ifndef LINUXSERVERSTATE_H #def ...
Linux统计进程网络,查看磁盘io、内存free、系统进程ps、网络状态netstat、Linux抓包tcpdump...
查看磁盘io性能状态 iostat -x 查看磁盘使用(安装包与sar的安装包一起) 主要查看%util [root@shu-test ~]# iostat -x Linux 3.10.0-693.e ...
磁盘不足导致内存 linux,为什么 Linux 需要 Swapping，仅仅是内存不够用？
对 Linux 稍有了解的人都知道,Linux 会将物理的随机读取内存(Random Access Memory.RAM)按页分割成 4KB 大小的内存块,而今天要介绍的 Swapping 机制就与内 ...
Ubuntu磁盘分区和内存查看
适用问题: 一.对于磁盘分区,首先可以查看磁盘的现有容量: 1. sudo fdisk -l :查看原始磁盘分区上图loop表示:我们可以将镜像文件通过mount挂载在我们的系统上,使得我们可以像访 ...
内存缓存、磁盘缓存、内存傻傻分不清
内存缓存高速缓存(英语:cache,英语发音:/kæʃ/ kash [1][2][3],简称缓存),其原始意义是指访问速度比一般随机存取存储器(RAM)快的一种RAM,通常它不像系统主存那样使用DR ...
磁盘缓冲区和内存缓冲区
一般编程所说的缓冲区指的是内存缓冲区,这是程序所设置的一块内存空间,用来暂存从其他设备读入的数据或者是即将写入其他设备的数据: 而磁盘缓冲区有两种: 意是上面说的内存缓冲区,只是它是专 ...
centos 清理磁盘空间及内存占用，docker容器优化清理
一.磁盘空间 1.使用df -l 命令查看本地文件系统可以看到大量磁盘空间被docker容器的日志占用使用docker system df命令,类似于Linux上的df命令,用于查看Docker的 ...

为什么kafka使用磁盘而不是内存

为什么kafka使用磁盘而不是内存相关推荐

最新文章

热门文章