断电时文件系统发生了什么?硬盘又发生了什么?下一次开机时写到一半的文件在系统层面还在吗?在底层还在吗?

更进一步的, 文件系统如何保证事务性, 会不会存在某种极端情况导致例如最后几个bit还没写完, 文件系统却认为它成功了的情况?

回答不限任何文件系统,谢谢!

下面是「北极」的回复分享

断电的一瞬间,很多事情是无法确定的:

1. 你无法确定你试图向设备驱动发送的写指令是否成功,驱动程序本身一般都有缓存;

2. 即使写指令正常返回,你也无法确定设备实际上是否写成功,因为设备本身可能也有缓存。目前没有设备能保证写指令返回的情况下,所有数据一定成功的保存在介质上(但部分厂商能保证少量数据一定能成功写入),对存储设备的flush操作并非绝对可靠;

3. 哪些成功哪些失败可能是乱序的,换句话说,如果先发送写请求A,再发送写请求B,并且都成功返回,掉电时请求A可能丢失,但B成功(NCQ功能);

4. 机械式磁盘可能会出现丢失半截数据的情况(比如,一个512字节扇区只写入了100字节,也就是题主说的bit级错误),但这种一般都会通过校验位检测出来。

因为有以上这么多的限制,实际上文件系统一般没办法保证数据一定不丢失,甚至哪些丢失哪些能恢复也是不确定的。

一般来说,文件系统有以下的几种策略:

1. 完全不管错误的事情,错了就错了;

2. 打标记位的方式,如果怀疑有错,通过磁盘检测功能恢复;

3. 在设计上保证文件系统结构上可恢复,但不保证用户数据可恢复;

4. 能在用户数据层面上保证数据的绝对正确。

第一种和第二种策略现在比较少见,FAT文件系统算是属于这类;主流文件系统基本上都能保证第三种,比如NTFS之类的;第四种比较难,一般都要配合存储驱动一起,多见于Flash介质的专属文件系统。

保证数据不损坏,具体的方案一般有:

方案1:Copy-On-Write,写数据的时候不在原来的位置写,而是先读一份,然后写到另外一个位置,当确认写成功时,把文件系统的指针指向新的位置。如下图:

实际应用中,比这个情况复杂,因为Data2写入的过程中,File1本身的一些信息(修改时间等)也发生了变化,所以CopyOnWrite产生的影响不止这一个块,而是很多。

方案2:日志(Journal)技术。使用日志记录meta-data甚至是数据块的变化情况(NTFS就是这种策略),一旦出现掉电情况,在日志中反推到一个正确的状态上,就可以保证meta-data不损坏。

常见的方案就这两种,当然还有别的更复杂的技术,可以参考这个链接(Comparison of file systems),但不管用什么方案,本质上都是以牺牲性能为代价换取结构上的稳定。

最后回到题主的问题,文件系统如何保证数据的正确性?如果是指文件的数据部分,是无法保证的,因为文件系统无法确定数据到底写没写进去,绝大多数文件系统只能保证自身结构是正确的,但这个正确可能是回滚之后的状态,具体回滚多少内容,文件系统自己也不能保证。

这事说起来挺复杂的,不同文件系统,不同设备,不同介质,效果都是有区别的。

下面是「马涛」的回答分享

文件系统的设计一般是性能和数据完整性的妥协,如果你想要最高完整性,那么性能会差一些,如果你想要最高性能,那么数据完整性会差一些,仅此而已。当然这些都是针对数据而言的,对于文件系统自身的元数据,一般设计者为了自身数据完整性的考虑都会有日志系统(比如ext4使用jbd2),从而尽量保证文件系统在断电时没有问题或者问题很少(需要使用fsck来解决),但是用户数据是否完备是由用户选择和配置的,而文件系统会根据不同配置选择不同的策略。

我们以Linux最通用的ext4为例,他有三种模式供用户选择data=writeback/ordered/journal,对应的是数据落盘的三种方式,writeback是指元数据更新的时候数据不考虑是否落盘,所以掉电以后可能会看到一些乱七八糟的数据,ordered的意思是元数据更新在数据更新之后(如果你没有更改元数据那就没有办法保证数据了),还有一种是journal意思是数据也先写journal再写文件(double write),这种数据安全性最高,当然性能也最差。详细的介绍可以参加mount(8)。

说完文件系统,我们再说硬盘,硬盘在文件系统下面,所以文件系统是重度依赖硬盘来实现数据完整性的,而硬盘也提供了一些命令来保障文件系统数据完整性的语义。比如硬盘会提供flush命令,保证只要上层文件系统调用了这个命令,那么文件系统之前写到硬盘里面的内容必须落盘了(一般的硬盘有内存cache,为了提高写入性能会缓存一部分数据,flush会命令硬盘将cache内容落盘。当然如果硬盘如果有电容可以保证cache即使掉电也会落盘,那么他也可以欺骗上层的文件系统 :) ),这样文件系统在写入一些关键数据以后必须调用flush,在得到硬盘的flush反馈以后再进行后面的工作。当然现代硬盘还有一些FUA(Force Unit Access)之类的操作,这些是为了加速某类磁盘落盘的操作,本质上即使硬盘不提供文件系统可以改成write+flush来实现(只是性能差一些),如果感兴趣大家可以自行google之。

说完底层,还有一层要说一下,就是你的应用是怎么写文件和硬盘的,如果是buffer write(应用只写到操作系统的内存,由操作系统延迟回写到硬盘),那么很大可能你在掉电之前一段时间写入的数据都会不见了(操作系统还没有回写),如果应用是direct IO(应用绕过操作系统内存,直接写硬盘),那么可能只有掉电时刻正在写入的数据不见了,当然这里可能还涉及到direct IO的语义以及不同文件系统的具体实现,和文件系统相关,就需要具体问题具体分析了。

关注→翻滚吧工程师  搜索:zbomPV每天更新小技巧

觉得内容不错的话,点个在看呗

文件系统类型是ntfs无法确定卷版本和状态_硬盘写到一半时断电,文件系统里会发什么?...相关推荐

  1. Linux写文件断电保存,硬盘写到一半时断电,文件系统里会发生什么?

    原标题:硬盘写到一半时断电,文件系统里会发生什么? 转载自 Linux爱好者 来源:知乎 https://www.zhihu.com/question/55711728 [伯乐在线转注:]本文源自知乎 ...

  2. ubuntu内核和驱动版本不兼容_让Ubuntu更新内核时自动编译官方版Nvidia驱动模块

    用nv显卡的兄弟们估计都经历过升级新内核后,显卡驱动又得手动安装一次.虽然不怎么难,但是也挺麻烦的.今天在Ubuntuforums.org上看到一篇文章介绍用脚本自动安装nv驱动的.试了一下可以.把原 ...

  3. 硬盘分区丢失不能识别,文件系统损坏,不能读取第一个/第二个NTFS引导扇区的解决方法

    硬盘分区丢失或则文件系统损坏,运行chkdsk 检查提示不能读取第一个/第二个NTFS引导扇区. 目录 一.切忌慌乱,保持冷静(引用某网友,赞同!) 二.弄清数据丢失原因 三.操作系统如何删除文件的 ...

  4. mount: /n_home: 未知的文件系统类型“LVM2_member”. 问题解决

    mount挂载硬盘设备时,提示 mount: unknown filesystem type 'LVM2_member' [root@localhost /]# mount /dev/sda3 /n_ ...

  5. Linux 中 7 个判断文件系统类型的方法

    文件通过文件系统在磁盘及分区上命名.存储.检索以及更新,文件系统是在磁盘上组织文件的方式. 文件系统分为两个部分:用户数据和元数据(文件名.创建时间.修改时间.大小以及目录层次结构中的位置等). 在本 ...

  6. linux 识别文件类型,技术|Linux 中 7 个判断文件系统类型的方法

    文件通过文件系统在磁盘及分区上命名.存储.检索以及更新,文件系统是在磁盘上组织文件的方式. 文件系统分为两个部分:用户数据和元数据(文件名.创建时间.修改时间.大小以及目录层次结构中的位置等). 在本 ...

  7. 在Linux中查找文件系统类型的7种方法(ext2,ext3或ext4)

    文件系统是在存储磁盘或分区上命名,存储,检索和更新文件的方式.文件在磁盘上的组织方式. 文件系统分为两个部分:用户数据和元数据(文件名,创建时间,修改时间,大小和在目录层次结构中的位置等). 在本指南 ...

  8. 磁盘结构简单介绍,硬盘工作原理,接口种类IDE,SATA,SCSI,FC接口,主引导技术MBR,文件系统类型

    磁盘的结构 物理结构: 盘片:硬盘有多个盘片,每个盘片2面 磁头:磁盘里最贵的一个,非接触式,读写合一分离式 数据结构: 扇区:盘片被平均分割成多个扇形区域,每个存放512字节 磁道:同一个盘片不同半 ...

  9. accessibility-service 高版本无法编译_今天我把APP的编译速度缩短了近5倍

    原文作者:炸鸡叔 博客:https://juejin.im/post/5cd133af6fb9a0323a01ca84 前言 团队使用kotlin挺长时间了,一直以来都不太满意kotlin的编译速度, ...

最新文章

  1. myeclipse jsp和java字体设置
  2. linux可执行文件bad interpreter解决方法
  3. C#创建Windows窗体应用程序实例8【通用对话框】
  4. matlab 矩阵位移法编程 结构力学,matlab-矩阵位移法编程-结构力学.doc
  5. win10添加新硬盘
  6. Ubuntu学习NO5.高效工作方式
  7. 普通人创业,不开实体店或者网上店铺,你能干啥?
  8. amCharts 报表(转)
  9. 算法系列——寻找峰值 (Find Peak Element)
  10. 分布式事务解决方案汇总:2PC、消息中间件、TCC、状态机+重试+幂等(转)
  11. .mat文件转TIF图片文件,python代码
  12. 关于合著《区块链实战》的 3 组关键词 | ArcBlock 博客
  13. 宿舍管理系统之登录功能
  14. node的卸载和安装
  15. [LeetCode] Sqrt(int x)解题报告之无限逼近(牛顿法)
  16. 编辑审稿时不会从头看到尾!所以论文应该这样写……
  17. Mockoon代理模式
  18. Affinity Photo for Mac(修图软件)
  19. Python --- 笑脸检测+口罩人脸识别
  20. 旗鱼云梯和宝塔面板对比

热门文章

  1. Educational Round 66 题解
  2. linux下时区设置和时间同步
  3. C++ 笔记(04)— 数据类型(各类型占用内存 sizeof、typedef 声明)
  4. Go 学习笔记(18)— 函数(04)[闭包定义、闭包修改变量、闭包记忆效应、闭包实现生成器、闭包复制原对象指针]
  5. c#属性中的get和set属性
  6. linux(以ubuntu为例)下Android利用ant自动编译、修改配置文件、批量多渠道,打包生成apk文件...
  7. javascript小数相减会出现一长串的小数位数的原因
  8. 梦想的地方!地球上最值得去的20个地方【组图】
  9. vs2008与IIS 7.0使用在vista上时出现的问题及解决方法(Internet Explorer 无法显示该页面)(VS2008: IE Cannot Display Web Page)...
  10. ASP.NET DEMO 14: 如何在 GridView/DataGrid 模板列中使用自动回发的 CheckBox/DropDownList