Linux日志文件系统(EXT4、XFS、JFS)及性能分析
Ext4 ReiserFS Btrfs 等七种文件系统性能比拼
reclen | write | rewrite | read | reread | random read | random write | bkwd read | record rewrite | stride read | fwrite | frewrite | fread | freread | |
Ext2
real 27m23.545s |
4 | 218,554 | 218,662 | 668,245 | 245,208 | 85,235 | 175,284 | 101,864 | 1,911,579 | 74,368 | 215,014 | 217,680 | 583,169 | 244,831 |
8 | 216,064 | 220,489 | 618,661 | 243,444 | 146,695 | 215,002 | 176,908 | 2,314,305 | 129,333 | 215,772 | 218,571 | 605,436 | 241,144 | |
16 | 218,874 | 219,173 | 609,563 | 242,592 | 246,442 | 220,306 | 292,114 | 2,438,520 | 218,357 | 216,497 | 219,774 | 596,211 | 244,652 | |
32 | 219,584 | 217,859 | 611,712 | 244,445 | 372,023 | 224,151 | 442,629 | 2,423,574 | 334,999 | 218,829 | 219,553 | 606,186 | 244,346 | |
64 | 216,320 | 219,400 | 622,218 | 243,761 | 478,747 | 227,018 | 580,960 | 2,633,117 | 439,129 | 215,956 | 220,166 | 608,210 | 243,950 | |
128 | 219,286 | 218,318 | 614,559 | 243,862 | 579,724 | 224,346 | 690,945 | 2,467,787 | 537,440 | 219,420 | 218,330 | 607,326 | 244,337 | |
256 | 216,027 | 220,509 | 635,633 | 245,385 | 614,120 | 227,099 | 842,220 | 2,567,169 | 614,753 | 217,744 | 219,897 | 617,728 | 243,780 | |
Ext3
real 27m26.675s |
4 | 215,478 | 218,294 | 604,858 | 246,148 | 86,758 | 151,858 | 102,113 | 1,618,769 | 74,979 | 214,446 | 218,569 | 568,659 | 242,772 |
8 | 217,695 | 218,777 | 609,377 | 244,520 | 148,608 | 190,313 | 171,903 | 1,830,365 | 128,957 | 218,752 | 217,501 | 603,465 | 246,861 | |
16 | 215,683 | 219,822 | 643,396 | 248,815 | 252,255 | 202,374 | 290,681 | 1,915,488 | 219,805 | 216,519 | 219,033 | 568,086 | 243,985 | |
32 | 219,341 | 217,364 | 603,462 | 245,273 | 379,512 | 208,740 | 435,756 | 2,069,791 | 335,303 | 218,578 | 219,086 | 604,572 | 245,578 | |
64 | 216,192 | 220,186 | 665,646 | 244,234 | 481,101 | 212,185 | 567,750 | 2,106,710 | 442,926 | 217,075 | 220,042 | 618,134 | 244,870 | |
128 | 218,503 | 219,151 | 616,479 | 244,711 | 589,927 | 212,355 | 683,943 | 2,080,136 | 541,597 | 219,271 | 218,514 | 600,308 | 244,782 | |
256 | 217,255 | 219,213 | 637,417 | 248,555 | 636,309 | 211,793 | 839,907 | 2,125,314 | 618,958 | 218,424 | 218,954 | 600,894 | 245,523 | |
Ext4
real 26m15.771s |
4 | 225,586 | 224,616 | 532,721 | 270,174 | 82,398 | 180,231 | 102,935 | 1,683,476 | 74,990 | 224,893 | 224,186 | 277,025 | 584,868 |
8 | 226,896 | 221,965 | 274,314 | 629,603 | 239,913 | 219,223 | 156,964 | 2,026,184 | 127,553 | 226,382 | 227,019 | 292,566 | 593,154 | |
16 | 222,929 | 229,392 | 272,022 | 599,360 | 390,533 | 223,951 | 256,831 | 2,114,002 | 212,773 | 227,728 | 225,332 | 602,317 | 269,289 | |
32 | 223,703 | 221,025 | 566,981 | 262,980 | 380,787 | 227,198 | 435,774 | 2,157,610 | 338,629 | 226,208 | 225,816 | 591,102 | 268,725 | |
64 | 222,236 | 223,813 | 593,481 | 268,002 | 522,365 | 227,268 | 582,830 | 2,216,225 | 457,252 | 228,294 | 223,269 | 614,376 | 269,657 | |
128 | 221,681 | 222,859 | 285,304 | 623,990 | 915,430 | 231,380 | 663,383 | 2,276,039 | 573,624 | 226,616 | 224,477 | 583,965 | 271,159 | |
256 | 220,129 | 221,608 | 279,101 | 657,815 | 889,963 | 232,256 | 770,220 | 2,212,083 | 610,074 | 225,877 | 224,642 | 288,852 | 603,933 | |
XFS
real 28m43.957s |
4 | 217,459 | 214,348 | 244,600 | 239,647 | 78,424 | 161,673 | 107,643 | 1,711,976 | 74,828 | 218,638 | 216,903 | 227,675 | 240,492 |
8 | 220,514 | 219,994 | 241,854 | 951,125 | 248,623 | 207,750 | 161,175 | 2,214,681 | 127,363 | 218,892 | 211,613 | 219,749 | 240,286 | |
16 | 220,776 | 220,740 | 226,186 | 242,746 | 224,486 | 219,963 | 318,503 | 2,480,826 | 223,664 | 221,106 | 221,694 | 669,693 | 262,346 | |
32 | 218,481 | 216,919 | 255,232 | 799,715 | 593,083 | 225,213 | 408,816 | 2,278,034 | 337,026 | 222,153 | 213,330 | 226,093 | 241,351 | |
64 | 216,921 | 210,031 | 228,877 | 244,161 | 430,479 | 225,432 | 612,872 | 2,568,460 | 448,155 | 224,650 | 209,745 | 221,768 | 239,888 | |
128 | 216,341 | 218,284 | 232,550 | 242,283 | 559,400 | 227,915 | 768,251 | 2,545,859 | 568,945 | 222,605 | 216,060 | 714,911 | 258,397 | |
256 | 221,444 | 220,462 | 469,309 | 321,275 | 757,895 | 225,641 | 806,251 | 2,689,152 | 609,077 | 219,703 | 219,815 | 226,021 | 240,108 | |
JFS
real 26m53.990s |
4 | 196,819 | 218,121 | 455,194 | 258,062 | 85,910 | 169,163 | 142,814 | 1,949,282 | 92,246 | 212,270 | 217,272 | 450,996 | 258,928 |
8 | 211,794 | 215,030 | 445,452 | 258,082 | 147,556 | 208,623 | 236,197 | 2,214,516 | 159,402 | 213,076 | 218,146 | 451,013 | 258,767 | |
16 | 209,028 | 214,714 | 455,795 | 257,989 | 248,145 | 218,747 | 399,935 | 2,587,176 | 269,527 | 214,271 | 215,626 | 439,736 | 258,830 | |
32 | 210,454 | 218,204 | 448,067 | 258,568 | 380,325 | 220,682 | 591,781 | 2,379,845 | 409,061 | 213,292 | 217,683 | 439,114 | 259,160 | |
64 | 214,862 | 215,636 | 450,430 | 258,413 | 487,982 | 222,660 | 750,139 | 2,613,574 | 522,050 | 216,365 | 217,830 | 444,546 | 259,553 | |
128 | 213,152 | 218,084 | 449,185 | 258,775 | 592,912 | 148,064 | 933,583 | 2,728,229 | 667,878 | 219,155 | 213,461 | 466,396 | 262,608 | |
256 | 213,119 | 213,514 | 477,804 | 258,508 | 631,376 | 129,060 | 1,055,205 | 2,727,762 | 717,814 | 213,771 | 217,569 | 463,931 | 258,291 | |
ReiserFS
real 28m16.075s |
4 | 208,422 | 217,932 | 190,459 | 223,684 | 72,142 | 175,210 | 99,820 | 1,726,654 | 74,081 | 211,433 | 216,255 | 540,847 | 239,091 |
8 | 214,840 | 218,917 | 610,592 | 240,376 | 146,908 | 210,703 | 176,295 | 2,180,046 | 128,114 | 215,368 | 218,950 | 580,334 | 240,261 | |
16 | 216,886 | 217,827 | 651,240 | 243,800 | 249,478 | 219,967 | 288,457 | 2,444,958 | 213,780 | 217,438 | 219,510 | 592,932 | 239,510 | |
32 | 214,217 | 219,178 | 645,366 | 240,227 | 369,030 | 224,795 | 434,556 | 2,372,823 | 329,006 | 217,055 | 217,110 | 554,072 | 240,046 | |
64 | 217,160 | 219,013 | 623,512 | 239,875 | 470,435 | 224,619 | 560,790 | 2,429,552 | 421,615 | 218,043 | 218,734 | 587,074 | 239,802 | |
128 | 215,163 | 219,348 | 624,117 | 240,364 | 572,926 | 226,463 | 683,686 | 2,530,721 | 530,024 | 215,932 | 218,157 | 577,617 | 240,975 | |
256 | 217,058 | 218,839 | 643,857 | 240,141 | 615,875 | 224,530 | 825,364 | 2,631,201 | 590,909 | 217,256 | 218,942 | 567,422 | 240,061 | |
Btrfs
real 59m41.974s |
4 | 214,203 | 215,879 | 265,389 | 280,244 | 65,367 | 10,520 | 16,032 | 773,644 | 34,260 | 94,105 | 194,357 | 269,380 | 268,254 |
8 | 218,318 | 215,978 | 270,100 | 275,160 | 109,687 | 26,015 | 40,447 | 1,366,911 | 89,489 | 141,760 | 214,990 | 273,446 | 271,531 | |
16 | 219,477 | 215,738 | 284,876 | 282,111 | 178,662 | 47,881 | 72,623 | 1,864,106 | 150,255 | 177,508 | 219,348 | 264,935 | 273,140 | |
32 | 218,835 | 220,886 | 281,550 | 277,054 | 246,933 | 130,288 | 181,774 | 2,573,279 | 250,936 | 204,491 | 219,736 | 281,894 | 268,989 | |
64 | 216,758 | 218,890 | 282,026 | 275,127 | 312,803 | 195,963 | 299,685 | 3,270,521 | 354,200 | 202,362 | 220,928 | 281,331 | 271,676 | |
128 | 216,509 | 220,235 | 279,353 | 274,813 | 368,053 | 215,445 | 343,696 | 3,739,759 | 414,950 | 216,029 | 219,711 | 276,973 | 272,569 | |
256 | 220,333 | 216,113 | 277,920 | 273,271 | 405,215 | 215,495 | 393,731 | 4,015,851 | 474,052 | 213,849 | 220,372 | 283,035 | 277,594 | |
Kbytes/sec |
本次测试所使用的 Linux kernel 版本为 2.6.29-rc3,文件系统性能测试工具为 IOzone 3.318。
从 测试结果可以看出,Ext4 的综合性能位居现有文件系统之首,JFS、ReiserFS 在读性能方面亦有不俗表现。Btrfs 的小块数据读写性能与平均水平相差甚远,是导致其本次测试总时间超出平均时间两倍的主要原因。较之其它成熟的文件系统,Btrfs 投入生产系统运作可能尚需时日。
至于一小撮不明真相别有用心的群众提出还要测 NTFS、 Vfat、MSDOS 等“文件系统”,恕时间有限,不予受理。
http://www.360doc.com/content/11/1226/12/16531_175056567.shtml
-----------------------------------------------------------
http://www.360doc.com/showWeb/0/0/175056758.aspx
Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版,修改了 Ext3 中部分重要的数据结构,而不仅仅像 Ext3 对 Ext2 那样,只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性,还有更为丰富的功能:
1. 与 Ext3 兼容。
执行若干条命令,就能从 Ext3 在线迁移到 Ext4,而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留,Ext4 作用于新数据,当然,整个文件系统因此也就获得了 Ext4 所支持的更大容量。
2. 更大的文件系统和更大的文件。
较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件,Ext4 分别支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系统,以及 16TB 的文件。
3. 无限数量的子目录。
Ext3 目前只支持 32,000 个子目录,而 Ext4 支持无限数量的子目录。
4. Extents。
Ext3 采用间接块映射,当操作大文件时,效率极其低下。比如一个 100MB 大小的文件,在 Ext3 中要建立 25,600 个数据块(每个数据块大小为 4KB)的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念,每个 extent 为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”,提高了不少效率。
5. 多块分配。
当写入数据到 Ext3 文件系统中时,Ext3 的数据块分配器每次只能分配一个 4KB 的块,写一个 100MB 文件就要调用 25,600 次数据块分配器,而 Ext4 的多块分配器“multiblock allocator”(mballoc) 支持一次调用分配多个数据块。
6. 延迟分配。
Ext3 的数据块分配策略是尽快分配,而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在 cache 中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7. 快速 fsck。
以前执行 fsck 第一步就会很慢,因为它要检查所有的 inode,现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
8. 日志校验。
日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏,而且它将 Ext3 的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9. “无日志”(No Journaling)模式。
日志总归有一些开销,Ext4 允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10. 在线碎片整理。
尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4 支持在线碎片整理,并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。
11. inode 相关特性。
Ext4 支持更大的 inode,较之 Ext3 默认的 inode 大小 128 字节,Ext4 为了在 inode 中容纳更多的扩展属性(如纳秒时间戳或 inode 版本),默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久预分配(Persistent preallocation)。
P2P 软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4 在文件系统层面实现了持久预分配并提供相应的 API(libc 中的 posix_fallocate()),比应用软件自己实现更有效率。
13. 默认启用 barrier。
磁盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录,若 commit 记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4 默认启用 barrier,只有当 barrier 之前的数据全部写入磁盘,才能写 barrier 之后的数据。(可通过 "mount -o barrier=0" 命令禁用该特性。)
------------------------------------------------------------
http://www.360doc.com/content/11/1226/12/16531_175055973.shtml
北京时间1月15日消息,据国外媒体报道,谷歌正在将EXT2文件系统转到新的EXT4(the fourth extended file system)文件系统。
来自谷歌的麦克-罗宾(Michael Rubin)透露消息说,谷歌正考虑将EXT2系统升级,最终确定为EXT4系统。
他表示,他们还考虑过XFS和JFS。结果显示,EXT4和XFS的表现类似,不过从EXT2升级到EXT4比升级到XFS容易。
而Btrfs太具实验性,谷歌目前不会考虑。
分析称,EXT4最初的表现非常好,但是在某些内核条件下表现力降低。比如在Linux2.6.32内核条件下,EXT4的表现力降低,而Btrfs的表现力提高。
同时,谷歌雇佣了知名的Linux内核开发者Ted Ts'o,他对EXT4文件系统的开发起到了主要作用。
EXT4介绍:http://baike.baidu.com/view/2220807.htm
XFS介绍:http://baike.baidu.com/view/1222157.htm
JFS介绍:http://baike.baidu.com/view/1494218.htm
--------------------------------------------------------------------------
http://q.sohu.com/forum/5/topic/5453380
在Microsoft Winsows的世界,硬盘可以格式化成NTFS、FAT32、FATl6等等不同的格式。同樣地,在GNU/Linux底下也是有很多不同的文件系统格 式可供选择。当前在GNU/Linux底下,比较常用的有这几种格式:Ext2/Ext3、ReiserFS、XFS和JFS等数种。
除了Ext2以外,其它几种都是日誌型文件系统。那什麼是日誌型文件系统呢? 就是系统会多用一些额外的空间纪錄硬盘的数据状态,因而在不正常开关机后,不需整个硬盘重新扫描来恢复正常的系统状态。
● Ext2:此为一非常老旧且不支持日誌系统的文件系统格式,早期的Linux玩家应该还记得吧,在每次不正常关机后,重新开机时错误检查会需要很久,而且在不正常关机下,常常会让你一次不见很多文件,现在已经很少人使用这类文件系统了。
● Ext3:为Ext2个改良版,所以Ext2可以直接升级成为Ext3而不必重新格式化,这也可以让旧的Ext2系统更加稳定。而主要和Ext2的差別是 增加了日誌系统(metadata),所以在不正常开关机后,可以迅速使系统恢复。而因为它与旧有的文件系统兼容,因此很多发行版都缺省使用Ext3。但 是在实际测试上,它的硬盘使用率其实不佳,大概只有真正空间的93%会被使用到,至於其它性能测试表现则为中等。在格式化与创建文件系统的时间也是其它文 件系统的数十倍。
● ReiserFS::採用日誌型的文件系统,为Hans Reiser所创,因此以他的名字来命名。技术上使用的是B*-tree为基础的文件系统,其特色为从处理大型文件到眾多小文件都可以用很高的效率处理。 实务上ReiserFS 在处理文件小於1k的小文件时,效率甚至可以比Ext3快約10倍,所以ReiserFS专长是在处理很多小文件。而在一般操作上,它的性能表现也有中上 的程度。
● XFS: />不错的表现。
● JFS::为全球最大计算机供应商IBM为AIX系列设计的日誌型文件系统,技术上使用的是B+-tree为基础的文件系统和ReiserFS使用 B*-tree不同。IBM AIX服务器在很多金融机构上使用,所以稳定性是沒话說的。而它最重要的特色是在处理文件I/O的时候是所有文件系统里面最不佔CPU资源的,也就是 CPU使用率最低。而且在这樣节省使用CPU的情況下,它的效率表现还有中上以上的程度。
虽然Ext3性能不好(在日誌型文件系统中 效率上算是最糟糕的) ,那为何还有那麼多人使用?那是因为当时Ext3可以直接从Ext2升级,而不需要先备份数据,然后格式化后再把文件复制回去,所以使用人数最多。但这也 不能全然怪它,因为它为了和Ext2兼容,所以背负了很多的历史包袱。若是以性能为考虑,则可以选择ReiserFS或XFS。若是系统资源不多,要使用 最低的CPU使用率,那麼可以选择JFS,因为它有著最好的性能资源比。
ext4:https://ext4.wiki.kernel.org/index.php/Ext4_Howto
filesystem:http://www.ibm.com/developerworks/cn/linux/filesystem/
From:http://blog.sina.com.cn/s/blog_573860a90101032h.html
Linux日志文件系统(EXT4、XFS、JFS)及性能分析相关推荐
- Linux各种文件系统(ext3,ReiserFS,jfs,xfs)的性能
下面是原文: 以下文章是我自己翻译的,后面有英文的原文.不当之处,敬请指教. 应该不是太新的文章,但是我我是2006-07-12的上午才看到的.哎........ 2006-07-12 15:00 翻 ...
- linux c 编程 pdf_C/C++编程笔记:Linux 日志文件系统未解之谜,你知道吗?
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata) ...
- mysql 性能日志_Mysql系列(十一)—— 性能分析慢查询日志
慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志 ...
- 红帽linux系统文件系统,Redhat XFS文件系统
XFS是一种高度可扩展和高性能文件系统,它支持创建16 exabytes超大文件系统,8 exabytes的文件和10亿个目录结构. 1) 主要功能:XFS支持元数据日志功能(metadata jou ...
- Linux日志文件系统
目录 一.inode与block 1.1inode和block概述 1.2inode的内容 1.3inode的号码 1.4inode的大小 1.5inode特点 1.6软连接与硬链接 1.7恢复误删除 ...
- 选择一个日志文件系统
通俗的说,计算机的文件系统就是一个像磁盘这样的存储设备如何存储.检索以及管理文件的方式.文件系统需要记录的不仅是文件本身每一个字节,及其在存储设备上的位置,还要存储文件相关的信息.比如,也要存储每个文 ...
- Linux 性能分析的前 60 秒
Linux 性能分析的前 60 秒 为了解决性能问题,你登入了一台 Linux 服务器,在最开始的一分钟内需要查看什么? 在 Netflix 我们有一个庞大的 EC2 Linux 集群,还有非常多的性 ...
- Linux 性能分析
当你登陆一台 Linux 服务器之后,因为一个问题要做性能分析时:你会在第 1 分钟内做哪些检测呢? 在 Netflix,我们有很多 EC2 的 Linux 机器,并且也需要很多性能分析工具来监控和检 ...
- Linux系统下常见性能分析工具的使用
在前面的文章中,我简单介绍了影响linux性能的几个方面以及如何解决这些方面的问题,但是如何才能从系统上发现是某个方面或某几个方面出现问题了呢,这就需要使用linux系统提供的几个常用性能分析工具,下 ...
最新文章
- 算法时间复杂度分析基础
- 小米air耳机重新配对_横比小米 Air 2s 和 OPPO Enco W31:同一颗芯玩出的大不同
- R 学习 - 图形设置中英字体
- 容器搭建Hadoop步骤
- webapi 路由限制命名控件_什么是命名数据网络NDN?
- [Python] pdb 调试
- delphi 获取操作系统版本_Ubuntu 20.04 LTS已可通过Windows 10应用商店获取
- Project Aposs
- VMWaer克隆centos后网络的问题解决
- 制作微软引导盘实现装系统0失败uefi启动MediaCreationTool
- 小米8对一加6打开软件速度测试,小米 8 对决一加 6,谁更值得买?
- 曲奇云盘资源搜索引擎_曲奇云盘资源共享群组
- Eclipse PHPEclipse 配置
- 成语接龙Java代码实现
- url在html中的作用,所谓的URL到底是什么意思,URL有什么作用
- CDR2018软件插件补丁简体中文版免费下载安装教程
- 远程计算机或许不支持所需的,WIN10远程计算机不支持所需的FIPS安全级别解决
- 阿里云的认证多少分通过?没通过可以补考吗?
- unity 环境光、模型、材质发绿,绿的发光
- 关于自己搭建的邮件被微软反垃圾邮件标记为垃圾邮件