Linux 是否保证在 close() 之后将文件内容刷新到磁盘?

2024-10-24 08:51:00
admin
原创
208
摘要:问题描述:close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?系统调用fsync()确实提供了这个保证。关闭文件也足够吗?目前我找不到任何可以证明这一点或那一点的证据...

问题描述:

close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?

我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?

系统调用fsync()确实提供了这个保证。关闭文件也足够吗?

目前我找不到任何可以证明这一点或那一点的证据。


问题 2:

如果close()隐式地执行了fsync(),有没有办法告诉它不要这样做?


解决方案 1:

从 ” man 2 close”:

由于内核推迟了写入,成功关闭并不能保证数据已成功保存到磁盘。

手册页说如果您想确保数据在磁盘上,您必须自己使用 fsync()。

解决方案 2:

不,close不会执行fsync(2),如果执行 fsync(2),许多机器会崩溃。许多中间文件由创建者打开和关闭,然后由消费者打开和关闭,然后删除,如果close(2)执行自动fsync(2) ,则这种非常常见的序列需要接触磁盘。相反,通常不会接触磁盘,磁盘永远不知道文件在那里。

解决方案 3:

还需要注意的是,fsync 并不保证文件在磁盘上;它只是保证操作系统已要求文件系统将更改刷新到磁盘。文件系统不必将任何内容写入磁盘

来自man 3 fsync

如果_POSIX_SYNCHRONIZED_IO没有定义,措辞在很大程度上依赖于一致性文档来告诉用户系统可以期待什么。明确地,允许使用空实现。

幸运的是,Linux 的所有常见文件系统确实会将更改写入磁盘;不幸的是,这仍然不能保证文件在磁盘上。许多硬盘驱动器都启用了写入缓冲(因此有自己的缓冲区,fsync 不会刷新)。有些驱动器/raid 控制器甚至会欺骗您,说它们已经刷新了缓冲区。

解决方案 4:

不。fclose() 并不意味着 fsync()。许多 Linux 文件系统会延迟写入并进行批处理,这可以提高整体性能,大概可以减少磁盘驱动器的磨损,并延长笔记本电脑的电池寿命。如果操作系统必须在文件关闭时写入磁盘,那么许多这些好处就会消失。

Paul Tomblin 在他的回答中提到了一个争议,而解释我看到的争议并不适合在评论中。以下是我听到的:

最近的争议是关于 ext4 的顺序(ext4 是流行的 ext3 Linux 文件系统的拟议继任者)。在 Linux 和 Unix 系统中,通常通过读取旧文件、用不同名称写出新文件并将新文件重命名为旧文件来更改重要文件。这样做的目的是确保即使系统在某个时候出现故障,新文件或旧文件都会存在。不幸的是,ext4 似乎很乐意读取旧文件、将新文件重命名为旧文件并写入新文件,如果系统在步骤 2 和步骤 3 之间出现故障,这可能会成为一个真正的问题。

处理这个问题的标准方法当然是 fsync(),但这会降低性能。真正的解决方案是修改 ext4 以保持 ext3 的顺序,即在完成写入之前不会重命名文件。显然标准没有涵盖这一点,所以这是一个实施质量问题,而 ext4 的 QoI 在这里确实很糟糕,没有办法可靠地编写新版本的配置文件,除非不断调用 fsync(),否则将导致所有问题,或者冒着丢失两个版本的风险。

解决方案 5:

不,这不能保证。操作系统有自己的缓存。close 真正保证的是程序缓冲区被刷新到操作系统,但操作系统可能仍保留着它。我相信在 Linux 内核世界中存在一些争议,因为即使 fsync 也不能保证它被刷新到磁盘,至少在 ext3 中是这样。

解决方案 6:

open的手册页上写道:

为了保证同步 I/O,除了O_DIRECT之外,还必须使用O_SYNC

而且

一般来说,这(O_DIRECT)会降低性能。

可以使用带有F_SETFL 的fcntl来切换此标志,以尽量减少此后每次读写的 I/O 缓存效应。

解决方案 7:

您可能还对来自 firebird sql 数据库的有关 fcntl( O_SYNC ) 在 linux 上不起作用的错误报告感兴趣。

此外,您提出的问题暗示了一个潜在的问题。写入磁盘是什么意思?这有什么关系?您是否担心电源断电导致驱动器中的文件丢失?为什么不在系统或 SAN 上使用 UPS?

在这种情况下,您需要一个日志文件系统 - 不仅仅是一个元数据日志文件系统,而是一个包含所有数据的完整日志。

即使在这种情况下,您也必须了解,除了操作系统的参与之外,大多数硬盘都会对您撒谎说会执行 fsync。- fsync 只是将数据发送到驱动器,而由各个操作系统来了解如何等待驱动器刷新其自己的缓存。

--杰夫克++

解决方案 8:

我不认为 Linux 可以保证这一点,因为驱动器本身也可以缓存数据。

解决方案 9:

如果计算机/操作系统具有容错文件系统,可以保证写入至少我们施加此限制的文件,这些文件在电源循环后仍能继续存在,我们就不必关心这一点。如果有一些非易失性 RAM 或等效物,它不一定是磁盘。我依稀记得,一些过去时代的大型机确实有这样的机制,据说也做出了这样的保证。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   2593  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1555  
  IPD(Integrated Product Development)流程作为一种先进的产品开发管理模式,在众多企业中得到了广泛应用。其中,技术评审与决策评审是IPD流程中至关重要的环节,它们既有明显的区别,又存在紧密的协同关系。深入理解这两者的区别与协同,对于企业有效实施IPD流程,提升产品开发效率与质量具有重要意义...
IPD管理流程   32  
  本文介绍了以下10款项目管理软件工具:禅道项目管理软件、ClickUp、Freshdesk、GanttPRO、Planview、Smartsheet、Asana、Nifty、HubPlanner、Teamwork。在当今快速变化的商业环境中,项目管理软件已成为企业提升效率、优化资源分配和确保项目按时交付的关键工具。然而...
项目管理系统   28  
  建设工程项目质量关乎社会公众的生命财产安全,也影响着企业的声誉和可持续发展。高质量的建设工程不仅能为使用者提供舒适、安全的环境,还能提升城市形象,推动经济的健康发展。在实际的项目操作中,诸多因素会对工程质量产生影响,从规划设计到施工建设,再到后期的验收维护,每一个环节都至关重要。因此,探寻并运用有效的方法来提升建设工程...
工程项目管理制度   24  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用