搜索

[26517] 2021-08-30_深入理解Linux的PageCache

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2021-08-30_深入理解Linux的PageCache 深 入 理 解 L i n u x   的 P a g e   C a c h e L i n u x 学 习   2 0 2 1 - 0 8 - 3 0 来 自 ： 来 自 ： S i m p l e C l e a r F i l e I O 链 接 ： 链 接 ： h t t p s : / / s p o n g e c a p t a i n . c o o l / S i m p l e C l e a r F i l e I O / 大 家 好 ， 我 是   P e t e r ， 昨 天 群 里 有 小 伙 伴 咨 询 p a g e   c a c h e 的 问 题 ， 看 到 网 上 有 篇 不 错 的 文 章 ， 分 享 给 大 家 。 如 果 大 家 有 想 看 的 内 容 ， 欢 迎 给 我 留 言 。 1 、 、 P a g e   C a c h e 1 . 1   P a g e   C a c h e   是 什 么 ？ 是 什 么 ？ 为 了 理 解   P a g e   C a c h e ， 我 们 不 妨 先 看 一 下   L i n u x   的 文 件   I / O   系 统 ， 如 下 图 所 示 ：
F i g u r e 1 .   L i n u x   文 件   I / O   系 统 上 图 中 ， 红 色 部 分 为   P a g e   C a c h e 。 可 见   P a g e   C a c h e   的 本 质 是 由   L i n u x   内 核 管 理 的 内 存 区 域 。 我 们 通 过   m m a p   以 及   b u f f e r e d   I / O 将 文 件 读 取 到 内 存 空 间 实 际 上 都 是 读 取 到   P a g e   C a c h e   中 。 1 . 2   如 何 查 看 系 统 的 如 何 查 看 系 统 的   P a g e   C a c h e ？ ？ 通 过 读 取     文 件 ， 能 够 实 时 获 取 系 统 内 存 情 况 ： 根 据 上 面 的 数 据 ， 你 可 以 简 单 得 出 这 样 的 公 式 （ 等 式 两 边 之 和 都 是   1 1 2 6 9 6   K B ） ： 两 边 等 式 都 是   P a g e   C a c h e ， 即 ： 通 过 阅 读   1 . 4   以 及   1 . 5   小 节 ， 就 能 够 理 解 为 什 么   S w a p C a c h e d   与   B u f f e r s   也 是   P a g e   C a c h e   的 一 部 分 。 题 外 话 ， 小 伙 伴 答 案 ： 内 核 计 算 源 码 （ l i n u x   2 . 6 . 1 9 ） ： / p r o c / m e m i n f o $   c a t   / p r o c / m e m i n f o . . . B u f f e r s :                         1 2 2 4   k B C a c h e d :                       1 1 1 4 7 2   k B S w a p C a c h e d :                 3 6 3 6 4   k B A c t i v e :                     6 2 2 4 2 3 2   k B I n a c t i v e :                   9 7 9 4 3 2   k B A c t i v e ( a n o n ) :         6 1 7 3 0 3 6   k B I n a c t i v e ( a n o n ) :       9 2 7 9 3 2   k B A c t i v e ( f i l e ) :             5 1 1 9 6   k B I n a c t i v e ( f i l e ) :         5 1 5 0 0   k B . . . S h m e m :                           1 0 0 0 0   k B . . . S R e c l a i m a b l e :             4 3 5 3 2   k B . . . B u f f e r s   +   C a c h e d   +   S w a p C a c h e d   =   A c t i v e ( f i l e )   +   I n a c t i v e ( f i l e )   +   S h m e m   +   S w a p C a c h e d P a g e   C a c h e   =   B u f f e r s   +   C a c h e d   +   S w a p C a c h e d
内 核 算 法 ： C a c h e d     =   f i l e s   -   S w a p C a c h e d   -   B u f f e r s ； B u f f e r s   +   C a c h e d   +   S w a p C a c h e d   =   A c t i v e ( f i l e )   +   I n a c t i v e ( f i l e )   +   S h m e m   +   S w a p C a c h e d 公 式 推 出 来 的 C a c h e d   =   A c t i v e ( f i l e )   +   I n a c t i v e ( f i l e )   +   S h m e m   -   B u f f e r s   ； 由 此 可 见 ， 这 个 C a c h e d   并 不 等 于 A c t i v e ( f i l e )   +   I n a c t i v e ( f i l e )   ； 这 个 c a c h e 包 含 很 多   ： 1 .   含 有 普 通 文 件 数 据 的 页 ‘ ； 2 .   含 有 目 录 的 页 ； 3 .   含 有 直 接 从 块 设 备 文 件 ( 跳 过 文 件 系 统 ) 读 出 的 数 据 的 页 ； 4 .   含 有 用 户 态 进 程 数 据 的 页 ； 5 .   属 于 特 殊 文 件 系 统 文 件 的 页 ， 如 s h m ； 1 . 3   p a g e   与 与   P a g e   C a c h e p a g e   是 内 存 管 理 分 配 的 基 本 单 位 ，   P a g e   C a c h e   由 多 个   p a g e   构 成 。 p a g e   在 操 作 系 统 中 通 常 为   4 K B   大 小 （ 3 2 b i t s / 6 4 b i t s ） ， 而 P a g e   C a c h e   的 大 小 则 为   4 K B   的 整 数 倍 。 另 一 方 面 ， 并 不 是 所 有 另 一 方 面 ， 并 不 是 所 有   p a g e   都 被 组 织 为 都 被 组 织 为   P a g e   C a c h e 。 L i n u x   系 统 上 供 用 户 可 访 问 的 内 存 分 为 两 个 类 型 [ 2 ] ， 即 ：
F i l e - b a c k e d   p a g e s ： 文 件 备 份 页 也 就 是   P a g e   C a c h e   中 的   p a g e ， 对 应 于 磁 盘 上 的 若 干 数 据 块 ； 对 于 这 些 页 最 大 的 问 题 是 脏 页 回 盘 ； A n o n y m o u s   p a g e s ： 匿 名 页 不 对 应 磁 盘 上 的 任 何 磁 盘 数 据 块 ， 它 们 是 进 程 的 运 行 是 内 存 空 间 （ 例 如 方 法 栈 、 局 部 变 量 表 等 属 性 ） ； 为 什 么 为 什 么   L i n u x   不 把 不 把   P a g e   C a c h e   称 为 称 为   b l o c k   c a c h e ， 这 不 是 更 好 吗 ？ ， 这 不 是 更 好 吗 ？ 这 是 因 为 从 磁 盘 中 加 载 到 内 存 的 数 据 不 仅 仅 放 在   P a g e   C a c h e   中 ， 还 放 在   b u f f e r   c a c h e   中 。 例 如 通 过   D i r e c t   I / O   技 术 的 磁 盘 文 件 就 不 会 进 入   P a g e   C a c h e   中 。 当 然 ， 这 个 问 题 也 有   L i n u x   历 史 设 计 的 原 因 ， 毕 竟 这 只 是 一 个 称 呼 ， 含 义 随 着   L i n u x   系 统 的 演 进 也 逐 渐 不 同 。 下 面 比 较 一 下   F i l e - b a c k e d   p a g e s   与   A n o n y m o u s   p a g e s   在   S w a p   机 制 下 的 性 能 。 内 存 是 一 种 珍 惜 资 源 ， 当 内 存 不 够 用 时 ， 内 存 管 理 单 元 （ M e m o r y   M a n g a m e n t   U n i t ） 需 要 提 供 调 度 算 法 来 回 收 相 关 内 存 空 间 。 内 存 空 间 回 收 的 方 式 通 常 就 是   s w a p ， 即 交 换 到 持 久 化 存 储 设 备 上 。 F i l e - b a c k e d   p a g e s （ P a g e   C a c h e ） 的 内 存 回 收 代 价 较 低 。 P a g e   C a c h e   通 常 对 应 于 一 个 文 件 上 的 若 干 顺 序 块 ， 因 此 可 以 通 过 顺 序 I / O   的 方 式 落 盘 。 另 一 方 面 ， 如 果   P a g e   C a c h e   上 没 有 进 行 写 操 作 （ 所 谓 的 没 有 脏 页 ） ， 甚 至 不 会 将   P a g e   C a c h e   回 盘 ， 因 为 数 据 的 内 容 完 全 可 以 通 过 再 次 读 取 磁 盘 文 件 得 到 。 P a g e   C a c h e   的 主 要 难 点 在 于 脏 页 回 盘 ， 这 个 内 容 会 在 第 二 节 进 行 详 细 说 明 。 A n o n y m o u s   p a g e s   的 内 存 回 收 代 价 较 高 。 这 是 因 为   A n o n y m o u s   p a g e s   通 常 随 机 地 写 入 持 久 化 交 换 设 备 。 另 一 方 面 ， 无 论 是 否 有 更 操 作 ， 为 了 确 保 数 据 不 丢 失 ， A n o n y m o u s   p a g e s   在   s w a p   时 必 须 持 久 化 到 磁 盘 。 1 . 4   S w a p   与 缺 页 中 断 与 缺 页 中 断 S w a p   机 制 指 的 是 当 物 理 内 存 不 够 用 ， 内 存 管 理 单 元 （ M e m o r y   M a n g a m e n t   U n i t ） 需 要 提 供 调 度 算 法 来 回 收 相 关 内 存 空 间 ， 然 后 将 清 理 出 来 的 内 存 空 间 给 当 前 内 存 申 请 方 。 S w a p   机 制 存 在 的 本 质 原 因 是   L i n u x   系 统 提 供 了 虚 拟 内 存 管 理 机 制 ， 每 一 个 进 程 认 为 其 独 占 内 存 空 间 ， 因 此 所 有 进 程 的 内 存 空 间 之 和 远 远 大 于 物 理 内 存 。 所 有 进 程 的 内 存 空 间 之 和 超 过 物 理 内 存 的 部 分 就 需 要 交 换 到 磁 盘 上 。 操 作 系 统 以   p a g e   为 单 位 管 理 内 存 ， 当 进 程 发 现 需 要 访 问 的 数 据 不 在 内 存 时 ， 操 作 系 统 可 能 会 将 数 据 以 页 的 方 式 加 载 到 内 存 中 。 上 述 过 程 被 称 为 缺 页 中 断 ， 当 操 作 系 统 发 生 缺 页 中 断 时 ， 就 会 通 过 系 统 调 用 将   p a g e   再 次 读 到 内 存 中 。 但 主 内 存 的 空 间 是 有 限 的 ， 当 主 内 存 中 不 包 含 可 以 使 用 的 空 间 时 ， 操 作 系 统 会 从 选 择 合 适 的 物 理 内 存 页 驱 逐 回 磁 盘 ， 为 新 的 内 存 页 让 出 位 置 ， 选 择 待 驱 逐 页 的 过 程 在 操 作 系 统 中 叫 做 页 面 替 换 （ 选 择 待 驱 逐 页 的 过 程 在 操 作 系 统 中 叫 做 页 面 替 换 （ P a g e   R e p l a c e m e n t ） ） ， 替 换 操 作 又 会 触 发   s w a p 机 制 。 如 果 物 理 内 存 足 够 大 ， 那 么 可 能 不 需 要   S w a p   机 制 ， 但 是   S w a p   在 这 种 情 况 下 还 是 有 一 定 优 势 ： 对 于 有 发 生 内 存 泄 漏 几 率 的
应 用 程 序 （ 进 程 ） ， S w a p   交 换 分 区 更 是 重 要 ， 这 可 以 确 保 内 存 泄 露 不 至 于 导 致 物 理 内 存 不 够 用 ， 最 终 导 致 系 统 崩 溃 。 但 内 存 泄 露 会 引 起 频 繁 的   s w a p ， 此 时 非 常 影 响 操 作 系 统 的 性 能 。 L i n u x   通 过 一 个   s w a p p i n e s s   参 数 来 控 制   S w a p   机 制 [ 2 ] ： 这 个 参 数 值 可 为   0 - 1 0 0 ， 控 制 系 统   s w a p   的 优 先 级 ： 高 数 值 ： 较 高 频 率 的   s w a p ， 进 程 不 活 跃 时 主 动 将 其 转 换 出 物 理 内 存 。 低 数 值 ： 较 低 频 率 的   s w a p ， 这 可 以 确 保 交 互 式 不 因 为 内 存 空 间 频 繁 地 交 换 到 磁 盘 而 提 高 响 应 延 迟 。 最 后 ， 为 什 么 最 后 ， 为 什 么   B u f f e r s   也 是 也 是   P a g e   C a c h e   的 一 部 分 ？ 的 一 部 分 ？ 这 是 因 为 当 匿 名 页 （ I n a c t i v e ( a n o n )   以 及   A c t i v e ( a n o n ) ） 先 被 交 换 （ s w a p   o u t ） 到 磁 盘 上 后 ， 然 后 再 加 载 回 （ s w a p   i n ） 内 存 中 ， 由 于 读 入 到 内 存 后 原 来 的   S w a p   F i l e   还 在 ， 所 以   S w a p C a c h e d   也 可 以 认 为 是   F i l e - b a c k e d   p a g e ， 即 属 于   P a g e   C a c h e 。 这 个 过 程 如   F i g u r e   2   所 示 。 F i g u r e 2 .   匿 名 页 的 被 交 换 后 也 是   P a g e   C a c h e 1 . 5   P a g e   C a c h e   与 与   b u f f e r   c a c h e 执 行   f r e e   命 令 ， 注 意 到 会 有 两 列 名 为   b u f f e r s   和   c a c h e d ， 也 有 一 行 名 为   “ - / +   b u f f e r s / c a c h e ” 。 其 中 ， c a c h e d   列 表 示 当 前 的 页 缓 存 （ P a g e   C a c h e ） 占 用 量 ， b u f f e r s   列 表 示 当 前 的 块 缓 存 （ b u f f e r   c a c h e ） 占 用 量 。 用 一 句 话 来 解 释 ： P a g e   C a c h e   用 于 缓 存 文 件 的 页 数 据 ， 用 于 缓 存 文 件 的 页 数 据 ， b u f f e r   c a c h e   用 于 缓 存 块 设 备 （ 如 磁 盘 ） 的 块 数 据 。 用 于 缓 存 块 设 备 （ 如 磁 盘 ） 的 块 数 据 。 页 是 逻 辑 上 的 概 念 ， 因 此   P a g e   C a c h e   是 与 文 件 系 统 同 级 的 ； 块 是 物 理 上 的 概 念 ， 因 此   b u f f e r   c a c h e   是 与 块 设 备 驱 动 程 序 同 级 的 。 ~   f r e e   - m                           t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d M e m :                 1 2 8 9 5 6             9 6 4 4 0             3 2 5 1 5                     0               5 3 6 8             3 9 9 0 0 - / +   b u f f e r s / c a c h e :             5 1 1 7 2             7 7 7 8 4 S w a p :                 1 6 0 0 2                     0             1 6 0 0 1
P a g e   C a c h e ） 占 用 量 ， b u f f e r s   列 表 示 当 前 的 块 缓 存 （ b u f f e r   c a c h e ） 占 用 量 。 用 一 句 话 来 解 释 ： P a g e   C a c h e   用 于 缓 存 文 件 的 用 于 缓 存 文 件 的 页 数 据 ， 页 数 据 ， b u f f e r   c a c h e   用 于 缓 存 块 设 备 （ 如 磁 盘 ） 的 块 数 据 。 用 于 缓 存 块 设 备 （ 如 磁 盘 ） 的 块 数 据 。 页 是 逻 辑 上 的 概 念 ， 因 此   P a g e   C a c h e   是 与 文 件 系 统 同 级 的 ； 块 是 物 理 上 的 概 念 ， 因 此   b u f f e r   c a c h e   是 与 块 设 备 驱 动 程 序 同 级 的 。 P a g e   C a c h e   与   b u f f e r   c a c h e   的 共 同 目 的 都 是 加 速 数 据   I / O ： 写 数 据 时 首 先 写 到 缓 存 ， 将 写 入 的 页 标 记 为   d i r t y ， 然 后 向 外 部 存 储 f l u s h ， 也 就 是 缓 存 写 机 制 中 的   w r i t e - b a c k （ 另 一 种 是   w r i t e - t h r o u g h ， L i n u x   默 认 情 况 下 不 采 用 ） ； 读 数 据 时 首 先 读 取 缓 存 ， 如 果 未 命 中 ， 再 去 外 部 存 储 读 取 ， 并 且 将 读 取 来 的 数 据 也 加 入 缓 存 。 操 作 系 统 总 是 积 极 地 将 所 有 空 闲 内 存 都 用 作   P a g e   C a c h e 和   b u f f e r   c a c h e ， 当 内 存 不 够 用 时 也 会 用   L R U   等 算 法 淘 汰 缓 存 页 。 在   L i n u x   2 . 4   版 本 的 内 核 之 前 ， P a g e   C a c h e   与   b u f f e r   c a c h e   是 完 全 分 离 的 。 但 是 ， 块 设 备 大 多 是 磁 盘 ， 磁 盘 上 的 数 据 又 大 多 通 过 文 件 系 统 来 组 织 ， 这 种 设 计 导 致 很 多 数 据 被 缓 存 了 两 次 ， 浪 费 内 存 。 所 以 在 所 以 在   2 . 4   版 本 内 核 之 后 ， 两 块 缓 存 近 似 融 合 在 版 本 内 核 之 后 ， 两 块 缓 存 近 似 融 合 在 了 一 起 ： 如 果 一 个 文 件 的 页 加 载 到 了 了 一 起 ： 如 果 一 个 文 件 的 页 加 载 到 了   P a g e   C a c h e ， 那 么 同 时 ， 那 么 同 时   b u f f e r   c a c h e   只 需 要 维 护 块 指 向 页 的 指 针 就 可 以 了 只 需 要 维 护 块 指 向 页 的 指 针 就 可 以 了 。 只 有 那 些 没 有 文 件 表 示 的 块 ， 或 者 绕 过 了 文 件 系 统 直 接 操 作 （ 如 d d 命 令 ） 的 块 ， 才 会 真 正 放 到   b u f f e r   c a c h e   里 。 因 此 ， 我 们 现 在 提 起   P a g e   C a c h e ， 基 本 上 都 同 时 指   P a g e   C a c h e   和   b u f f e r   c a c h e   两 者 ， 本 文 之 后 也 不 再 区 分 ， 直 接 统 称 为   P a g e   C a c h e 。 下 图 近 似 地 示 出   3 2 - b i t   L i n u x   系 统 中 可 能 的 一 种   P a g e   C a c h e   结 构 ， 其 中   b l o c k   s i z e   大 小 为   1 K B ， p a g e   s i z e   大 小 为   4 K B 。 P a g e   C a c h e   中 的 每 个 文 件 都 是 一 棵 基 数 树 （ r a d i x   t r e e ， 本 质 上 是 多 叉 搜 索 树 ） ， 树 的 每 个 节 点 都 是 一 个 页 。 根 据 文 件 内 的 偏 移 量 就 可 以 快 速 定 位 到 所 在 的 页 ， 如 下 图 所 示 。 关 于 基 数 树 的 原 理 可 以 参 见 英 文 维 基 ， 这 里 就 不 细 说 了 。
1 . 6   P a g e   C a c h e   与 预 读 与 预 读 操 作 系 统 为 基 于   P a g e   C a c h e   的 读 缓 存 机 制 提 供 预 读 机 制 （ P A G E _ R E A D A H E A D ） ， 一 个 例 子 是 ： 用 户 线 程 仅 仅 请 求 读 取 磁 盘 上 文 件   A   的   o f f s e t   为   0 - 3 K B   范 围 内 的 数 据 ， 由 于 磁 盘 的 基 本 读 写 单 位 为   b l o c k （ 4 K B ） ， 于 是 操 作 系 统 至 少 会 读   0 - 4 K B   的 内 容 ， 这 恰 好 可 以 在 一 个   p a g e   中 装 下 。 但 是 操 作 系 统 出 于 局 部 性 原 理 [ 3 ] 会 选 择 将 磁 盘 块   o f f s e t   [ 4 K B , 8 K B ) 、 [ 8 K B , 1 2 K B )   以 及   [ 1 2 K B , 1 6 K B )   都 加 载 到 内 存 ， 于 是 额 外 在 内 存 中 申 请 了   3   个   p a g e ； 下 图 代 表 了 操 作 系 统 的 预 读 机 制 ： 操 作 系 统 的 预 读 机 制 上 图 中 ， 应 用 程 序 利 用   r e a d   系 统 调 动 读 取   4 K B   数 据 ， 实 际 上 内 核 使 用   r e a d a h e a d   机 制 完 成 了   1 6 K B   数 据 的 读 取 。
2 、 、 P a g e   C a c h e   与 文 件 持 久 化 的 一 致 性 与 文 件 持 久 化 的 一 致 性 & 可 靠 性 可 靠 性 现 代   L i n u x   的   P a g e   C a c h e   正 如 其 名 ， 是 对 磁 盘 上   p a g e （ 页 ） 的 内 存 缓 存 ， 同 时 可 以 用 于 读 / 写 操 作 。 一 切 内 存 缓 存 都 存 在 一 致 性 问 题 ： 内 存 中 的 数 据 与 磁 盘 中 的 数 据 不 一 致 ， 例 如 用 作 分 布 式 中 间 件 缓 存 的   R e d i s   就 与   M y S Q L   等 数 据 库 中 的 数 据 存 在 不 一 致 。 L i n u x   提 供 多 种 机 制 来 保 证 数 据 一 致 性 ， 但 无 论 是 单 机 上 的 内 存 与 磁 盘 一 致 性 ， 还 是 分 布 式 组 件 中 节 点   1   与 节 点   2   、 节 点   3 的 数 据 一 致 性 问 题 ， 理 解 的 关 键 是   t r a d e - o f f ： 吞 吐 量 与 数 据 一 致 性 保 证 是 一 对 矛 盾 。 首 先 ， 需 要 我 们 理 解 一 下 文 件 的 数 据 。 文 件 文 件   =   数 据 数 据   +   元 数 据 元 数 据 。 元 数 据 用 来 描 述 文 件 的 各 种 属 性 ， 也 必 须 存 储 在 磁 盘 上 。 因 此 ， 我 们 说 保 证 文 件 一 致 性 其 实 包 含 了 两 个 方 面 ： 数 据 一 致 + 元 数 据 一 致 。 文 件 的 元 数 据 包 括 ： 文 件 大 小 、 创 建 时 间 、 访 问 时 间 、 属 主 属 组 等 信 息 。 我 们 考 虑 如 下 一 致 性 问 题 ： 如 果 发 生 写 操 作 并 且 对 应 的 数 据 在   P a g e   C a c h e   中 ， 那 么 写 操 作 就 会 直 接 作 用 于   P a g e   C a c h e   中 ， 此 时 如 果 数 据 还 没 刷 新 到 磁 盘 ， 那 么 内 存 中 的 数 据 就 领 先 于 磁 盘 ， 此 时 对 应   p a g e   就 被 称 为   D i r t y   p a g e 。 当 前   L i n u x   下 以 两 种 方 式 实 现 文 件 一 致 性 ： 1 .   W r i t e   T h r o u g h （ 写 穿 ） （ 写 穿 ） ： 向 用 户 层 提 供 特 定 接 口 ， 应 用 程 序 可 主 动 调 用 接 口 来 保 证 文 件 一 致 性 ； 2 .   W r i t e   b a c k （ 写 回 ） （ 写 回 ） ： 系 统 中 存 在 定 期 任 务 （ 表 现 形 式 为 内 核 线 程 ） ， 周 期 性 地 同 步 文 件 系 统 中 文 件 脏 数 据 块 ， 这 是 默 认 的   L i n u x   一 致 性 方 案 ； 上 述 两 种 方 式 最 终 都 依 赖 于 系 统 调 用 ， 主 要 分 为 如 下 三 种 系 统 调 用 ： 方 法 方 法 含 义 含 义 f s y n c ( i n t f d ) f s y n c ( f d ) ： 将   f d   代 表 的 文 件 的 脏 数 据 和 脏 元 数 据 全 部 刷 新 至 磁 盘 中 。 f d a t a s y n c ( i n t   f d ) f d a t a s y n c ( f d ) ： 将   f d   代 表 的 文 件 的 脏 数 据 刷 新 至 磁 盘 ， 同 时 对 必 要 的 元 数 据 刷 新 至 磁 盘 中 ， 这 里 所 说 的 必 要 的 概 念 是 指 ： 对 接 下 来 访 问 文 件 有 关 键 作 用 的 信 息 ， 如 文 件 大 小 ， 而 文 件 修 改 时 间 等 不 属 于 必 要 信 息 s y n c ( ) s y n c ( ) ： 则 是 对 系 统 中 所 有 的 脏 的 文 件 数 据 元 数 据 刷 新 至 磁 盘 中 上 述 三 种 系 统 调 用 可 以 分 别 由 用 户 进 程 与 内 核 进 程 发 起 。 下 面 我 们 研 究 一 下 内 核 线 程 的 相 关 特 性 。 1 .   创 建 的 针 对 回 写 任 务 的 内 核 线 程 数 由 系 统 中 持 久 存 储 设 备 决 定 ， 为 每 个 存 储 设 备 创 建 单 独 的 刷 新 线 程 ； 2 .   关 于 多 线 程 的 架 构 问 题 ， L i n u x   内 核 采 取 了   L i g h t h t t p   的 做 法 ， 即 系 统 中 存 在 一 个 管 理 线 程 和 多 个 刷 新 线 程 （ 每 个 持 久 存 储 设 备 对 应 一 个 刷 新 线 程 ） 。 管 理 线 程 监 控 设 备 上 的 脏 页 面 情 况 ， 若 设 备 一 段 时 间 内 没 有 产 生 脏 页 面 ， 就 销 毁 设 备 上 的 刷 新 线
程 ； 若 监 测 到 设 备 上 有 脏 页 面 需 要 回 写 且 尚 未 为 该 设 备 创 建 刷 新 线 程 ， 那 么 创 建 刷 新 线 程 处 理 脏 页 面 回 写 。 而 刷 新 线 程 的 任 务 较 为 单 调 ， 只 负 责 将 设 备 中 的 脏 页 面 回 写 至 持 久 存 储 设 备 中 。 3 .   刷 新 线 程 刷 新 设 备 上 脏 页 面 大 致 设 计 如 下 ： a .   每 个 设 备 保 存 脏 文 件 链 表 ， 保 存 的 是 该 设 备 上 存 储 的 脏 文 件 的   i n o d e   节 点 。 所 谓 的 回 写 文 件 脏 页 面 即 回 写 该   i n o d e   链 表 上 的 某 些 文 件 的 脏 页 面 ； b .   系 统 中 存 在 多 个 回 写 时 机 ， 第 一 是 应 用 程 序 主 动 调 用 回 写 接 口 （ f s y n c ， f d a t a s y n c   以 及   s y n c   等 ） ， 第 二 管 理 线 程 周 期 性 地 唤 醒 设 备 上 的 回 写 线 程 进 行 回 写 ， 第 三 是 某 些 应 用 程 序 / 内 核 任 务 发 现 内 存 不 足 时 要 回 收 部 分 缓 存 页 面 而 事 先 进 行 脏 页 面 回 写 ， 设 计 一 个 统 一 的 框 架 来 管 理 这 些 回 写 任 务 非 常 有 必 要 。 W r i t e   T h r o u g h   与   W r i t e   b a c k   在 持 久 化 的 可 靠 性 上 有 所 不 同 ： W r i t e   T h r o u g h   以 牺 牲 系 统   I / O   吞 吐 量 作 为 代 价 ， 向 上 层 应 用 确 保 一 旦 写 入 ， 数 据 就 已 经 落 盘 ， 不 会 丢 失 ； W r i t e   b a c k   在 系 统 发 生 宕 机 的 情 况 下 无 法 确 保 数 据 已 经 落 盘 ， 因 此 存 在 数 据 丢 失 的 问 题 。 不 过 ， 在 程 序 挂 了 ， 例 如 被   k i l l   - 9 ， P a g e   C a c h e   中 的 数 据 操 作 系 统 还 是 会 确 保 落 盘 ； 3 、 为 什 么 使 用 、 为 什 么 使 用   P a g e   C a c h e   与 为 什 么 不 使 用 与 为 什 么 不 使 用   P a g e   C a c h e ? 3 . 1   P a g e   C a c h e   的 优 势 的 优 势 1 . 加 快 数 据 访 问 加 快 数 据 访 问 如 果 数 据 能 够 在 内 存 中 进 行 缓 存 ， 那 么 下 一 次 访 问 就 不 需 要 通 过 磁 盘   I / O   了 ， 直 接 命 中 内 存 缓 存 即 可 。 由 于 内 存 访 问 比 磁 盘 访 问 快 很 多 ， 因 此 加 快 数 据 访 问 是   P a g e   C a c h e   的 一 大 优 势 。 2 . 减 少 减 少   I / O   次 数 ， 提 高 系 统 磁 盘 次 数 ， 提 高 系 统 磁 盘   I / O   吞 吐 量 吞 吐 量 得 益 于   P a g e   C a c h e   的 缓 存 以 及 预 读 能 力 ， 而 程 序 又 往 往 符 合 局 部 性 原 理 ， 因 此 通 过 一 次   I / O   将 多 个   p a g e   装 入   P a g e   C a c h e   能 够 减 少 磁 盘   I / O   次 数 ，   进 而 提 高 系 统 磁 盘   I / O   吞 吐 量 。 3 . 2   P a g e   C a c h e   的 劣 势 的 劣 势 p a g e   c a c h e   也 有 其 劣 势 ， 最 直 接 的 缺 点 是 需 要 占 用 额 外 物 理 内 存 空 间 ， 物 理 内 存 在 比 较 紧 俏 的 时 候 可 能 会 导 致 频 繁 的   s w a p 操 作 ， 最 终 导 致 系 统 的 磁 盘   I / O   负 载 的 上 升 。 P a g e   C a c h e   的 另 一 个 缺 陷 是 对 于 应 用 层 并 没 有 提 供 很 好 的 管 理   A P I ， 几 乎 是 透 明 管 理 。 应 用 层 即 使 想 优 化   P a g e   C a c h e   的 使 用 策 略 也 很 难 进 行 。 因 此 一 些 应 用 选 择 在 用 户 空 间 实 现 自 己 的   p a g e   管 理 ， 例 如   M y S Q L   I n n o D B   存 储 引 擎 以   1 6 K B   的 页 进 行
管 理 。 P a g e   C a c h e   最 后 一 个 缺 陷 是 在 某 些 应 用 场 景 下 比   D i r e c t   I / O   多 一 次 磁 盘 读   I / O   以 及 磁 盘 写   I / O 。 这 一 点 可 以 参 考 [ 4 ] 。 - - -   E O F   - - - 推 荐 推 荐 ↓ ↓ ↓ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理