推荐视频:
手把手带你实现一个Linux内核文件系统:「链接」
c/c++ linux服务器开发学习地址:C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂
在多进程共享的应用程序中,通过“锁”来对同一个计算资源进行协同是非常常见的做法,无论在单机或多机的系统、数据库、文件系统中,都需要依赖“锁”机制来避免并发访问导致的不确定结果,今天我们就来讲讲文件系统中的“锁”。
首先,文件锁也是一种互斥机制,可确保多个进程以安全的方式读取/写入同一个文件。之所以要对这些多进程业务进行控制,就是因为这些进程的调度是不可预期的,这种时序上的不可预期会对同一个文件资源产生竞争性访问,从而带来预期外的结果。
我们可以看一个例子,以便更好地理解这个问题。
假设我们有一个 account.dat 文件,用于存储帐户余额,其初始值为“200”。并发系统有两个进程来更新这个文件上的余额值:
- 进程 A:读取当前值,减去 20,然后将结果保存回文件中。
- 进程 B:读取当前值,加 80,然后将结果写回到文件中。
显然,在顺序执行完这两个进程后,我们期望文件具有以下值:200-20 + 80 = 260。
但是,如果进程的执行不是按预期的顺序直径,在以下这种情况下,可能会出现不一样的结果:
- 进程 A 读取文件的当前值(200),并准备进行进一步的计算。
- 这时,进程 B 读取相同的文件并获得当前余额(200)。
- 进程 A 计算 200-20 并将结果 180 保存回文件。
- 进程 B 不知道余额已更新。因此,它仍将使用过时的值 200 计算 200 + 80,并将结果 280 写入文件。
结果,account.dat 文件中保存的余额就是 280 而不是预期值 260。
Linux 中的文件锁
像前面提到的,文件锁是一种在多个进程之间限制文件并发访问的机制。它仅允许一个进程在特定时间内访问文件,从而避免更新问题。
我们都知道 rm -rf /在 Linux 中是非常危险的命令。如果我们以 root 用户身份执行该命令,它甚至可以删除正在运行的系统中的所有文件。这是因为 Linux 通常不会自动给打开的文件加锁,所以即使是正在运行的文件,仍然有可能被 rm 命令删除。Linux 支持两种文件锁:协同锁(Advisory lock)和强制锁(Mandatory lock)。
协同锁(Advisory lock)
协同锁定不是强制性锁方案,仅当参与的进程通过显式获取锁进行协作时,它才有效。否则,如果某个进程根本不知道锁,则这个协同锁会被忽略掉(意味着各个进程间必须协商并遵守这个协同锁的机制,才能发挥锁的作用)。
下面这个例子可以帮助我们更容易地理解协同锁机制。让我们先回顾一下我们之前提到的账户文件的例子。
首先,我们假设文件 account.dat 仍包含初始值 “200”。
进程 A 获取 account.dat 文件的排他锁,然后打开并读取该文件以获取当前值:200。
我们必须了解,协同锁不是由操作系统或文件系统设置的。因此,即使进程 A 锁定了文件,进程 B 仍然可以通过系统调用自由读取、写入或删除文件。
如果进程 B 不尝试在获取锁的情况下,就执行文件操作,则可以说进程 B 与进程 A 没有使用协同锁机制进行合作,仍然会带来不可预期的结果。
现在,让我们看一下锁如何在协作流程中发挥作用:
- 进程 B 尝试在读取文件之前(与进程 A 协作)获得对 account.dat 文件的锁。
- 由于进程 A 已获得文件锁,因此进程 B 必须等待进程 A 释放锁。
- 进程 A 计算 100-20 并将 80 写回到文件中。
- 进程 A 释放锁。
- 进程 B 现在获取一个锁并读取文件,并获取更新的值:180。
- 进程 B 开始其逻辑,并将结果 260(180 + 80)写回到文件中。
- 进程 B 释放锁,以便其他协作进程可以继续读写该文件。
强制锁(Mandatory Lock)
与协作锁不同,强制锁不需要参与进程之间的任何合作。一旦在文件上激活了强制锁,操作系统便会阻止其他进程读取或写入文件。
要在 Linux 中启用强制性文件锁定,必须满足两个要求:
- 我们必须使用 mand 选项挂载文件系统(挂载-o mand FILESYSTEM MOUNT_POINT)。
- 我们必须为要锁定的文件(chmod g + s,g-x FILE)打开 set-group-ID 位,并关闭组执行位。
使用强制锁之后,这个锁会在操作系统级别进行管理和控制。
检查系统中的所有锁
slocks 命令
lslocks 命令是 util-linux 软件包的一个组件,在所有 Linux 发行版中都可用,通过这个命令可以列出系统中所有当前持有的文件锁。
在以下列表中,我们可以看到系统中所有当前锁定的文件,还可以看到每个锁的详细信息,例如锁的类型以及哪个进程持有该锁。
/ proc /locks
/ proc / locks 不是命令,它是 procfs 虚拟文件系统中的文件。该文件包含所有当前文件锁,lslocks 命令也依赖于此文件来生成列表。
要获取 / proc / locks 的信息,我们执行“ cat / proc / locks”:
我们从第一行开始,了解/ proc / locks 文件系统中锁信息的组织方式:
- 第一列是序列号。
- 第二个字段指示使用的锁类别,例如 FLOCK(来自 flock 系统调用)或 POSIX(来自 lockf,fcntl 系统调用)。
- 此列用于说明锁类型。它可以有两个值:ADVISORY 或 MANDATORY。
- 第四个字段显示该锁是 WRITE 还是 READ 锁。
- 第五个字段是锁的进程 ID。
- 该字段包含一个冒号分隔的字符串,以“ major-device:minor-device:inode”的格式显示锁定文件的 ID。
- 此列以及最后一列显示了被锁定文件的锁定区域的开始和结束。在此示例行中,整个文件被锁定(0-EOF)。
由于分布式文件系统主要用于多个客户端中共享文件,客户端的应用程序并发访问文件是很常见的操作,在实际应用中,渲染、HPC 等业务都需要使用到文件锁,锁的支持对分布式文件系统而言至关重要。YRCloudFile 支持 POSIX 语义中的协同锁和共享锁,用户可以通过 flock 或 fcntl 等系统调用来对文件进行锁操作,锁的粒度可以支持到文件级别或文件内的指定区间。