搜索

[22164] 2021-07-17_原来Linux日志文件系统是这样工作的~

文档创建者：s7ckTeam
浏览次数：47
最后更新：2025-01-18
2021-07-17_原来Linux日志文件系统是这样工作的~ 原 来   L i n u x   日 志 文 件 系 统 是 这 样 工 作 的 ~ L e m o n S e c   2 0 2 1 - 0 7 - 1 7 文 章 作 者 文 章 作 者 ： ： L i n u x   P e r f o r m a n c e 原 文 链 接 ： 原 文 链 接 ： h t t p : / / l i n u x p e r f . c o m / ? p = 1 5 3 文 件 系 统 要 解 决 的 一 个 关 键 问 题 是 怎 样 防 止 掉 电 或 系 统 崩 溃 造 成 数 据 损 坏 ， 在 此 类 意 外 事 件 中 ， 导 致 文 件 系 统 损 坏 的 根 本 原 因 在 于 写 文 件 不 是 原 子 操 作 ， 因 为 写 文 件 涉 及 的 不 仅 仅 是 用 户 数 据 ， 还 涉 及 元 数 据 ( m e t a d a t a ) 包 括   S u p e r b l o c k 、 i n o d e   b i t m a p 、 i n o d e 、 d a t a b l o c k   b i t m a p 等 ， 所 以 写 操 作 无 法 一 步 完 成 ， 如 果 其 中 任 何 一 个 步 骤 被 打 断 ， 就 会 造 成 数 据 的 不 一 致 或 损 坏 。 举 一 个 简 化 的 例 子 ， 我 们 对 一 个 文 件 进 行 写 操 作 ， 要 涉 及 以 下 步 骤 ： 1 、 从 d a t a   b l o c k   b i t m a p 中 分 配 一 个 数 据 块 ； 2 、 在 i n o d e 中 添 加 指 向 数 据 块 的 指 针 ； 3 、 把 用 户 数 据 写 入 数 据 块 。 如 果 步 骤 2 完 成 了 ， 3 未 完 成 ， 结 果 是 数 据 损 坏 ， 因 为 该 文 件 认 为 数 据 块 是 自 己 的 ， 但 里 面 的 数 据 其 实 是 垃 圾 ； 如 果 步 骤 2 完 成 了 ， 1 未 完 成 ， 结 果 是 元 数 据 不 一 致 ， 因 为 该 文 件 已 经 把 数 据 块 据 为 己 有 ， 然 而 文 件 系 统 却 还 认 为 该 数 据 块 未 分 配 、 随 后 又 可 能 会 把 该 数 据 块 分 配 给 别 的 文 件 、 造 成 数 据 覆 盖 ； 如 果 步 骤 1 完 成 了 、 2 未 完 成 ， 结 果 就 是 文 件 系 统 分 配 了 一 个 数 据 块 ， 但 是 没 有 任 何 文 件 用 到 这 个 数 据 块 ， 造 成 空 间 浪 费 ； 如 果 步 骤 3 完 成 了 ， 2 未 完 成 ， 结 果 就 是 用 户 数 据 写 入 了 硬 盘 数 据 块 中 ， 但 白 写 了 ， 因 为 文 件 不 知 道 这 个 数 据 块 是 自 己 的 。 日 志 文 件 系 统 ( J o u r n a l   F i l e   S y s t e m ) 就 是 为 解 决 上 述 问 题 而 诞 生 的 。 它 的 原 理 是 在 进 行 写 操 作 之 前 ， 把 即 将 进 行 的 各 个 步 骤 （ 称 为 t r a n s a c t i o n ） 事 先 记 录 下 来 ， 保 存 在 文 件 系 统 上 单 独 开 辟 的 一 块 空 间 上 ， 这 就 是 所 谓 的 日 志 ( j o u r n a l ) ， 也 被 称 为 w r i t e - a h e a d   l o g g i n g ， 日 志 保 存 成 功 之 后 才 进 行 真 正 的 写 操 作 、 把 文 件 系 统 的 元 数 据 和 用 户 数 据 写 进 硬 盘 （ 称 为 c h e c k p o i n t ） ， 这 样 万 一 写 操 作 的 过 程 中 掉 电 ， 下 次 挂 载 文 件 系 统 之 前 把 保 存 好 的 日 志 重 新 执 行 一 遍 就 行 了 （ 术 语 叫 做 r e p l a y ） ， 避 免 了 前 述 的 数 据 损 坏 场 景 。 有 人 问 如 果 保 存 日 志 的 过 程 中 掉 电 怎 么 办 ？ 最 初 始 的 想 法 是 把 一 条 日 志 的 数 据 一 次 性 写 入 硬 盘 ， 相 当 于 一 个 原 子 操 作 ， 然 而 这 并 不 可 行 ， 因 为 硬 盘 通 常 以 5 1 2 字 节 为 单 位 进 行 操 作 ， 日 志 数 据 一 超 过 5 1 2 字 节 就 不 可 能 一 次 性 写 入 了 。 所 以 实 际 上 是 这 么 做 的 ： 给 每 一 条 日 志 设 置 一 个 结 束 符 ， 只 有 在 日 志 写 入 成 功 之 后 才 写 结 束 符 ， 如 果 一 条 日 志 没 有 对 应 的 结 束 符 就 会 被 视 为 无 效 日 志 ， 直 接 丢 弃 ， 这 样 就 保 证 了 日 志 里 的 数 据 是 完 整 的 。 一 条 日 志 在 它 对 应 的 写 操 作 完 成 之 后 就 没 用 了 ， 占 用 的 硬 盘 空 间 就 可 以 释 放 。 保 存 日 志 的 硬 盘 空 间 大 小 是 有 限 的 ， 被 循 环 使 用 ， 所 以 日 志 也 被 称 为 c i r c u l a r   l o g 。 至 此 可 以 总 结 一 下 日 志 文 件 系 统 的 工 作 步 骤 了 ：
J o u r n a l   w r i t e   :   把 t r a n s a c t i o n 写 入 日 志 中 ； J o u r n a l   c o m m i t   :   在 一 条 日 志 保 存 好 之 后 ， 写 入 结 束 符 ； C h e c k p o i n t   :   进 行 真 正 的 写 操 作 ， 把 元 数 据 ( m e t a d a t a ) 和 用 户 数 据 ( u s e r   d a t a ) 写 入 文 件 系 统 ； F r e e   :   回 收 日 志 占 用 的 硬 盘 空 间 。 以 上 方 式 把 用 户 数 据 ( u s e r   d a t a ) 也 记 录 在 日 志 中 ， 称 为 D a t a   J o u r n a l i n g ， L i n u x   E X T 3 文 件 系 统 就 支 持 这 种 方 式 ， 这 种 方 式 存 在 效 率 问 题 ： 就 是 每 一 个 写 操 作 涉 及 的 元 数 据 ( m e t a d a t a ) 和 用 户 数 据 ( u s e r   d a t a ) 实 际 上 都 要 在 硬 盘 上 写 两 次 ， 一 次 写 在 日 志 里 ， 一 次 写 在 文 件 系 统 上 。 元 数 据 倒 也 罢 了 ， 用 户 数 据 通 常 比 较 大 ， 拷 贝 几 个 G B 的 电 影 文 件 也 要 乘 以 2 实 在 是 降 低 了 效 率 。 一 个 更 高 效 的 方 式 是 M e t a d a t a   J o u r n a l i n g ， 不 把 用 户 数 据 ( u s e r   d a t a ) 记 录 在 日 志 中 ， 它 防 止 数 据 损 坏 的 方 法 是 先 写 入 用 户 数 据 ( u s e r d a t a ) 、 再 写 日 志 ， 即 在 上 述 ” J o u r n a l   w r i t e ” 之 前 先 写 用 户 数 据 ， 这 样 就 保 证 了 只 要 日 志 是 有 效 的 ， 那 么 它 对 应 的 用 户 数 据 也 是 有 效 的 ， 一 旦 发 生 掉 电 故 障 ， 最 坏 的 结 果 也 就 是 最 后 一 条 日 志 没 记 完 ， 那 么 对 应 的 用 户 数 据 也 会 丢 ， 效 果 与 D a t a   J o u r n a l i n g 丢 弃 日 志 一 样 ， 重 要 的 是 文 件 系 统 的 一 致 性 和 完 整 性 是 有 保 证 的 。 M e t a d a t a   J o u r n a l i n g 又 叫 O r d e r e d   J o u r n a l i n g ， 大 多 数 文 件 系 统 都 采 用 这 种 方 式 。 像 L i n u x   E X T 3 文 件 系 统 也 是 可 以 选 择 D a t a   J o u r n a l i n g 还 是 O r d e r e d   J o u r n a l i n g 的 。 参 考 资 料 ： C r a s h   C o n s i s t e n c y :   F S C K   a n d   J o u r n a l i n g 渗 透 测 试 干 货   |   横 向 渗 透 的 常 见 方 法 一 次 通 过 漏 洞 挖 掘 成 功 渗 透 某 网 站 的 过 程 安 全 团 队 不 可 错 过 的 七 个 云 安 全 开 源 工 具 欢 迎 关 注 欢 迎 关 注 L e m o n S e c 觉 得 不 错 点 个 觉 得 不 错 点 个 “ 赞 赞 ” 、 、 “ 在 看 在 看 ” 哦 哦
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理