搜索

[26274] 2020-10-12_从lsof开始，深入理解Linux虚拟文件系统

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2020-10-12_从lsof开始，深入理解Linux虚拟文件系统 从   l s o f   开 始 ， 深 入 理 解   L i n u x   虚 拟 文 件 系 统 c y n i n g s u n   L i n u x 学 习   2 0 2 0 - 1 0 - 1 2 作 者 ： 作 者 ： c y n i n g s u n 链 接 ： 链 接 ： h t t p s : / / w w w . c y n i n g s u n . c o m / 0 9 - 1 8 - 2 0 2 0 / l e a r n - v i r t u a l - f i l e s y s t e m - f r o m - l s o f . h t m l 背 景 背 景 有 时 会 出 现 这 样 的 情 况 ， 磁 盘 空 间 显 示 已 经 被 占 满 ， 但 是 在 查 看 磁 盘 的 具 体 文 件 占 用 情 况 时 ， 发 现 磁 盘 仍 然 有 很 大 的 空 余 空 间 。 1 . 执 行 命 令 查 看 磁 盘 使 用 情 况 ， 发 现 磁 盘 已 经 满 了 。 2 . 执 行   d u   命 令 查 看 各 个 目 录 的 磁 盘 占 用 情 况 ， 把 各 个 目 录 文 件 的 大 小 相 加 ， 发 现 并 没 有 占 满 磁 盘 ， 有 1 0 多 G 空 间 莫 名 失 踪 。 3 . 为 何 会 出 现 这 样 的 情 况 呢 ？ 因 为 虽 然 文 件 已 被 删 除 ， 但 是 一 些 进 程 仍 然 打 开 这 些 文 件 ， 因 此 其 占 用 的 磁 盘 空 间 并 没 有 被 释 放 。 执 行   命 令 显 示 打 开 已 删 除 的 文 件 。 将 有 问 题 的 进 程 重 启 （ 或 ， 清 空 ） ， 磁 盘 空 间 就 会 得 到 释 放 。 那 么 ， L i n u x   的 文 件 系 统 ， 到 底 为 什 么 这 么 设 计 呢 ？ 要 了 解 这 些 ， 就 要 先 弄 清 楚 并 不 容 易 ， 下 面 将 从 一 些 基 本 概 念 入 手 ， 一 步 步 将 这 些 梳 理 清 楚 ： 什 么 是 虚 拟 文 件 系 统 （ V F S ： v i r t u a l   f i l e s y s t e m ） ？ 什 么 是 通 用 文 件 模 型 ？ 超 级 块 对 象 （ s u p e r b l o c k   o b j e c t ） d f - b a s h - 4 . 2 $   d f   - T h F i l e s y s t e m           T y p e             S i z e     U s e d   A v a i l   U s e %   M o u n t e d   o n / d e v / v d a 1             e x t 4               3 0 G         3 0 G   0                   1 0 0 %   / d e v t m p f s               d e v t m p f s     4 8 9 M           0     4 8 9 M       0 %   / d e v t m p f s                     t m p f s           4 9 7 M           0     4 9 7 M       0 %   / d e v / s h m t m p f s                     t m p f s           4 9 7 M       5 0 M     4 4 7 M     1 1 %   / r u n t m p f s                     t m p f s           4 9 7 M           0     4 9 7 M       0 %   / s y s / f s / c g r o u p - b a s h - 4 . 2 $   d u   - h   - - m a x - d e p t h = 1   / h o m e 1 6 M         / h o m e / l o g s 1 1 G         / h o m e / s e r v e r d o g 1 1 G         / h o m e l s o f - b a s h - 4 . 2 #   l s o f   |   g r e p   d e l e t e m y s q l d           2 4 7 0                   m y s q l         4 u             R E G                             2 5 3 , 1                       0           5 2 3 5 7 7   / v a r / t m p / i b f T e Q F n   ( d e l e t e d ) m y s q l d           2 4 7 0                   m y s q l         5 u             R E G                             2 5 3 , 1                       0           5 2 3 5 7 9   / v a r / t m p / i b a H c I d W   ( d e l e t e d ) m y s q l d           2 4 7 0                   m y s q l         6 u             R E G                             2 5 3 , 1                       0           5 2 3 5 8 1   / v a r / t m p / i b L j i A L u   ( d e l e t e d ) m y s q l d           2 4 7 0                   m y s q l         7 u             R E G                             2 5 3 , 1                       0           5 2 3 5 8 5   / v a r / t m p / i b C F n z T B   ( d e l e t e d ) m y s q l d           2 4 7 0                   m y s q l       1 1 u             R E G                             2 5 3 , 1                       0           5 2 3 5 8 7   / v a r / t m p / i b C j u q v a   ( d e l e t e d )
索 引 节 点 对 象 （ i n o d e   o b j e c t ） 文 件 对 象 （ f i l e   o b j e c t ） 目 录 项 对 象 （ d e n t r y   o b j e c t ） 文 件 的 概 念 文 件 的 表 达 内 存 表 达 磁 盘 表 达 目 录 树 的 构 建 软 链 接   v s   硬 链 接 文 件   &   磁 盘 管 理 索 引 节 点 状 态 文 件   &   进 程 管 理 操 作 ： 打 开 & 删 除 虚 拟 文 件 系 统 （ 虚 拟 文 件 系 统 （ v i r t u a l   f i l e s y s t e m ） ） 下 图 显 示 了   L i n u x   操 作 系 统 中 负 责 文 件 管 理 的 基 本 组 件 。 上 半 区 域 为 用 户 模 式 ， 下 半 区 域 为 内 核 模 式 。 应 用 程 序 使 用 标 准 库 l i b c 来 访 问 文 件 ， 库 将 请 求 映 射 到 系 统 调 用 ， 以 便 进 入 内 核 模 式 。 所 有 与 文 件 相 关 的 操 作 的 入 口 都 是 虚 拟 文 件 系 统 （ V F S ） ， 而 非 特 定 的 额 文 件 系 统 （ 如 E x t 3 、 R e i s e r F S 和 N F S ） 。 V F S   提 供 了 系 统 库 和 特 定 文 件 系 统 之 间 的 接 口 。 因 此 ， V F S   不 仅 充 当 抽 象 层 ， 而 且 实 际 上 它 提 供 了 一 个 文 件 系 统 的 基 本 实 现 ， 可 以 由 不 同 的 实 现 来 使 用 和 扩 展 。 因 此 ， 要 了 解 文 件 系 统 是 如 何 工 作 的 ， 就 要 先 了 解 V F S   。 通 用 文 件 模 型 通 用 文 件 模 型 V F S   的 主 要 思 想 在 于 引 入 了 一 个 通 用 文 件 模 型 （ c o m m o n   f i l e   m o d e l ） 。 通 用 文 件 模 型 由 以 下 对 象 类 型 组 成 ： 超 级 块 对 象 （ 超 级 块 对 象 （ s u p e r b l o c k   o b j e c t ） ）
内 存 ： 文 件 系 统 安 装 时 创 建 ， 存 放 文 件 系 统 的 有 关 信 息 磁 盘 ： 对 应 于 存 放 在 磁 盘 上 的 文 件 系 统 控 制 块 （ f i l e s y s t e m   c o n t r o l   b l o c k ） 索 引 节 点 对 象 （ 索 引 节 点 对 象 （ i n o d e   o b j e c t ） ） 内 存 ： 访 问 时 创 建 ， 存 放 关 于 具 体 文 件 的 一 般 信 息 （ ） 磁 盘 ： 对 应 于 存 放 在 磁 盘 上 的 文 件 控 制 块 （ f i l e   c o n t r o l   b l o c k ） 每 个 索 引 节 点 对 象 都 有 一 个 索 引 节 点 号 ， 唯 一 地 标 识 文 件 系 统 的 文 件 文 件 对 象 （ 文 件 对 象 （ f i l e   o b j e c t ） ） 内 存 ： 打 开 文 件 时 创 建 ， 存 放   打 开 文 件   与 进 程 之 间 进 行 交 互 的 有 关 信 息 （ ） 打 开 文 件 信 息 ， 仅 当 进 程 访 问 文 件 期 间 存 在 于 内 核 内 存 中 。 目 录 项 对 象 （ 目 录 项 对 象 （ d e n t r y   o b j e c t ） ） 内 存 ： 目 录 项 一 旦 被 读 入 内 存 ， V F S 就 会 将 其 转 换 成 的 目 录 项 对 象 磁 盘 ： 特 定 文 件 系 统 以 特 定 的 方 式 存 储 在 磁 盘 上 存 放 目 录 项 （ 即 ， 文 件 名 称 ） 与 对 应 文 件 进 行 链 接 的 有 关 信 息 目 录 树 目 录 树 综 合 来 说 ， L i n u x   的   根 文 件 系 统 ( s y s t e m ’ s   r o o t   f i l e s s y s t e m )   是 内 核 启 动 m o u n t 的 第 一 个 文 件 系 统 。 内 核 代 码 映 像 文 件 保 存 在 根 文 件 系 统 中 ， 而 系 统 引 导 启 动 程 序 会 在 根 文 件 系 统 挂 载 之 后 ， 从 中 把 一 些 基 本 的 初 始 化 脚 本 和 服 务 等 加 载 到 内 存 中 去 运 行 （ 文 件 系 统 和 内 核 是 完 全 独 立 的 两 个 部 分 ） 。 其 他 文 件 系 统 ， 则 后 续 通 过 脚 本 或 命 令 作 为 子 文 件 系 统 安 装 在 已 安 装 文 件 系 统 的 目 录 上 ， 最 终 形 成 整 个 目 录 树 。 就 单 个 文 件 系 统 而 言 ， 在 文 件 系 统 安 装 时 ， 创 建 超 级 块 对 象 ； 沿 树 查 找 文 件 时 ， 总 是 首 先 从 初 识 目 录 的 中 查 找 匹 配 的 目 录 项 ， 以 便 获 取 相 应 的 索 引 节 点 ， 然 后 读 取 索 引 节 点 的 目 录 文 件 ， 转 化 为 d e n t r y 对 象 ， 再 检 查 匹 配 的 目 录 项 ， 反 复 执 行 以 上 过 程 ， 直 至 找 到 对 应 的 文 件 的 索 引 节 点 ， 并 创 建 索 引 节 点 对 象 。 软 链 接 软 链 接   v s   硬 链 接 硬 链 接 软 链 接 是 一 个 普 通 的 文 件 ， 其 中 存 放 的 是 另 外 一 个 文 件 的 路 径 名 。 硬 链 接 则 指 向 同 一 个 索 引 节 点 ， 硬 链 接 数 记 录 在 索 引 节 点 对 象 的 i _ n l i n k   字 段 。 当 字 段 为 零 时 ， 说 明 没 有 硬 链 接 指 向 该 文 件 。 i n o d e   结 构 f i l e   结 构 d e n t r y   结 构 s t a r t _ k e r n e l   　 　 v f s _ c a c h e s _ i n i t   　 　 　 　 m n t _ i n i t   　 　 　 　 　 　 i n i t _ r o o t f s           / /   注 册 r o o t f s 文 件 系 统 　 　 　 　 　 　 i n i t _ m o u n t _ t r e e   / /   挂 载 r o o t f s 文 件 系 统   　 　 …   　 　 r e s t _ i n i t   　 　 k e r n e l _ t h r e a d ( k e r n e l _ i n i t ,   N U L L ,   C L O N E _ F S ) ; i _ n l i n k
文 件 文 件   &   进 程 管 理 进 程 管 理 下 图 是 一 个 简 单 示 例 ， 说 明 进 程 是 怎 样 与 文 件 进 行 交 互 。 三 个 不 同 进 程 打 开 同 一 个 文 件 ， 每 个 进 程 都 有 自 己 的 文 件 对 象 ， 其 中 两 个 进 程 使 用 同 一 个 硬 链 接 （ 每 个 硬 链 接 对 应 一 个 目 录 对 象 ） ， 两 个 目 录 项 对 象 都 指 向 同 一 个   索 引 节 点 对 象 。 索 引 节 点 的 数 据 又 由 两 部 分 组 成 ： 内 存 数 据 和 磁 盘 数 据 。 L i n u x   使 用   W r i t e   b a c k   作 为 索 引 节 点 的 数 据 一 致 性 策 略 。 对 于 索 引 节 点 的 数 据 ， 当 文 件 被 打 开 时 ， 才 会 加 载 索 引 节 点 到 内 存 ； 当 不 再 被 进 程 使 用 ， 则 从 内 存 踢 出 ； 如 果 中 间 有 更 新 ， 则 需 要 把 数 据 写 回 磁 盘 。 索 引 节 点 是 否 仍 在 使 用 ， 是 通 过     和     操 作 建 立 和 销 毁 文 件 对 象 ， 文 件 对 象 通 过 索 引 节 点 提 供 的     和       更 新 索 引 节 点 的 i _ c o u n t 字 段 ， 以 完 成 使 用 计 数 。 o p e n   操 作 使 得   i _ c o u n t   加 一 ，   c l o s e   操 作 使 得   i _ c o u n t   减 一 。 在   c l o s e   操 作 时 判 断 索 引 节 点 是 否 释 放 ， 如 果   i _ c o u n t   =   0 ， 则 意 味 着 不 再 有 进 程 引 用 ， 将 会 从 内 存 释 放 。 文 件 文 件   &   磁 盘 管 理 磁 盘 管 理 文 件 与 磁 盘 管 理 联 系 最 紧 密 的 操 作 ， 莫 过 于 和 操 作 ， 而 尤 以 后 者 最 为 关 键 。 通 过 s t r a c e ( 或   d t r u s s ) ， 查 看   r m   的 实 际 的 系 统 调 用 *     " i n _ u s e "   -   v a l i d   i n o d e ,   i _ c o u n t   >   0 ,   i _ n l i n k   >   0 *     " d i r t y "     -   a s   " i n _ u s e "   b u t   a l s o   d i r t y *     " u n u s e d "   -   v a l i d   i n o d e ,   i _ c o u n t   =   0 o p e n ( ) c l o s e ( ) i g e t i p u t t o u c h r m
可 以 发 现   r m   实 际 是 通 过   u n l i n k   完 成 的 。 u n l i n k 代 表 删 除 目 录 项 ， 以 及 减 少 其 索 引 节 点 的 计 数 。 由 通 用 文 件 模 型 可 知 ， 父 目 录 本 身 同 样 是 一 个 文 件 ， 也 就 意 味 着 目 录 项 是 其 文 件 数 据 的 一 部 分 。 删 除 目 录 项 等 价 于 从 父 目 录 的 文 件 中 删 除 数 据 ， 也 就 意 味 着 首 先 要 打 开 父 目 录 的 文 件 。 那 么 ， 删 除 操 作 即 可 理 解 为 ： 1 .   删 除 命 令 （ 一 个 进 程 ） 使 用   o p e n   操 作 获 得 父 目 录 文 件 对 象 2 .   通 过     增 加   目 录 文 件 的 索 引 节 点 对 象 计 数 3 .   读 取 目 录 文 件 数 据 将 目 录 文 件 数 据 转 化 为 目 录 项 对 象 由 于 目 录 项 包 含 文 件 的 索 引 节 点 ， 类 似 的 ， 需 要 通 过   i g e t   增 加 文 件 的 索 引 节 点 对 象 计 数 4 .   删 除 目 录 的 目 录 项 5 .   减 少 文 件 索 引 节 点 对 象 的 硬 链 接 计 数 i _ n l i n k 6 .   通 过     结 束 对 文 件 索 引 节 点 对 象 的 操 作 ， 使 用 计 数   i _ c o u n t   减 一 判 断 i _ c o u n t 是 否 为 零 ， 如 果 为 零 ， 则 释 放 内 存 然 后 ， 判 断 i _ n l i n k 是 否 为 零 ， 如 果 为 零 ， 则 释 放 磁 盘 空 间 7 .   通 过   i p u t   结 束 对 目 录 索 引 节 点 对 象 的 操 作 。 总 结 总 结 回 头 来 看 遇 到 的 问 题 ， 其 实 可 以 从 两 个 角 度 来 理 解 ： 索 引 与 数 据 索 引 与 数 据 文 件 系 统 与 文 件 、 磁 盘 管 理 与 文 件 、 进 程 管 理 与 文 件 ， 最 核 心 的 都 是 文 件 的 索 引 ， 而 不 是 文 件 的 数 据 。 把 数 据 和 索 引 分 开 是 理 解 文 件 系 统 的 关 键 。 #   d t r u s s   r m   t m p . . . g e t e u i d ( 0 x 0 ,   0 x 0 ,   0 x 0 )                   =   0   0 i o c t l ( 0 x 0 ,   0 x 4 0 0 4 6 6 7 A ,   0 x 7 F F E E 0 6 F 0 9 C 4 )                   =   0   0 l s t a t 6 4 ( " t m p 0 " ,   0 x 7 F F E E 0 6 F 0 9 6 8 ,   0 x 0 )                   =   0   0 a c c e s s ( " t m p 0 " ,   0 x 2 ,   0 x 0 )                   =   0   0 u n l i n k ( " t m p 0 " ,   0 x 0 ,   0 x 0 )                   =   0   0 i g e t i p u t
缓 存 策 略 缓 存 策 略 由 于 操 作 系 统 使 用   W r i t e   b a c k   的 策 略 ， 意 味 着 只 有 先 释 放 内 存 ， 才 有 可 能 释 放 磁 盘 。 W h y   l s o f   ? 从 上 面 的 模 型 可 以 很 清 楚 的 理 解 ， 因 为 目 录 已 经 没 有 索 引 到 文 件 了 ， 但 是 打 开 文 件 还 有 索 引 到 文 件 ， 所 以 不 能 立 刻 释 放 磁 盘 空 间 。 为 什 么   l s o f   可 以 找 到 已 删 除 未 释 放 的 文 件 呢 ？ l s o f ， 顾 名 思 义 ： l i s t   o p e n   f i l e s ， 该 命 令 的 原 理 就 是 查 找 打 开 文 件 的 列 表 ， 因 此 可 以 找 到 已 删 除 未 释 放 的 文 件 。 ● 输 入 m 获 取 文 章 目 录 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理