搜索

[24961] 2016-05-07_Linux内存中的Cache真的能被回收么？

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2016-05-07_Linux内存中的Cache真的能被回收么？ L i n u x   内 存 中 的   C a c h e   真 的 能 被 回 收 么 ？ 作 者 ： 邹 立 巍   L i n u x 中 国   2 0 1 6 - 0 5 - 0 7 转 载 自 ： h t t p : / / l i w e i . l i f e / 2 0 1 6 / 0 4 / 2 6 / l i n u x % E 5 % 8 6 % 8 5 % E 5 % A D % 9 8 % E 4 % B 8 % A D % E 7 % 9 A % 8 4 c a c h e % E 7 % 9 C % 9 F % E 7 % 9 A % 8 4 % E 8 % 8 3 % B D % E 8 % A 2 % A B % E 5 % 9 B % 9 E % E 6 % 9 4 % B 6 % E 4 % B 9 % 8 8 % E F % B C % 9 F /   作 者 ：   邹 立 巍 在   L i n u x   系 统 中 ， 我 们 经 常 用   f r e e   命 令 来 查 看 系 统 内 存 的 使 用 状 态 。 在 一 个   R H E L 6   的 系 统 上 ， f r e e   命 令 的 显 示 内 容 大 概 是 这 样 一 个 状 态 ： 这 里 的 默 认 显 示 单 位 是   k b ， 我 的 服 务 器 是   1 2 8 G   内 存 ， 所 以 数 字 显 得 比 较 大 。 这 个 命 令 几 乎 是 每 一 个 使 用 过   L i n u x   的 人 必 会 的 命 令 ， 但 越 是 这 样 的 命 令 ， 似 乎 真 正 明 白 的 人 越 少 （ 我 是 说 比 例 越 少 ） 。 一 般 情 况 下 ， 对 此 命 令 输 出 的 理 解 可 以 分 这 几 个 层 次 ： 1 .   不 了 解 。 不 了 解 。 这 样 的 人 的 第 一 反 应 是 ： 天 啊 ， 内 存 用 了 好 多 ， 7 0 个 多   G ， 可 是 我 几 乎 没 有 运 行 什 么 大 程 序 啊 ？ 为 什 么 会 这 样 ？   L i n u x   好 占 内 存 ！ 2 .   自 以 为 很 了 解 。 自 以 为 很 了 解 。 这 样 的 人 一 般 评 估 过 会 说 ： 嗯 ， 根 据 我 专 业 的 眼 光 看 的 出 来 ， 内 存 才 用 了   1 7 G   左 右 ， 还 有 很 多 剩 余 内 存 可 用 。 b u f f e r s / c a c h e   占 用 的 较 多 ， 说 明 系 统 中 有 进 程 曾 经 读 写 过 文 件 ， 但 是 不 要 紧 ， 这 部 分 内 存 是 当 空 闲 来 用 的 。 3 .   真 的 很 了 解 。 真 的 很 了 解 。 这 种 人 的 反 应 反 而 让 人 感 觉 最 不 懂   L i n u x ， 他 们 的 反 应 是 ： f r e e   显 示 的 是 这 样 ， 好 吧 我 知 道 了 。 神 马 ？ 你 问 我 这 些 内 存 够 不 够 ， 我 当 然 不 知 道 啦 ！ 我 特 么 怎 么 知 道 你 程 序 怎 么 写 的 ？ 根 据 目 前 网 络 上 技 术 文 档 的 内 容 ， 我 相 信 绝 大 多 数 了 解 一 点   L i n u x   的 人 应 该 处 在 第 二 种 层 次 。 大 家 普 遍 认 为 ， b u f f e r s   和   c a c h e d   所 占 用 的 内 存 空 间 是 可 以 在 内 存 压 力 较 大 的 时 候 被 释 放 当 做 空 闲 空 间 用 的 。 但 真 的 是 这 样 么 ？ 在 论 证 这 个 题 目 之 前 ， 我 们 先 简 要 介 绍 一 下   b u f f e r s   和 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e 2 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 3 .   M e m :           1 3 2 2 5 6 9 5 2       7 2 5 7 1 7 7 2       5 9 6 8 5 1 8 0                     0         1 7 6 2 6 3 2       5 3 0 3 4 7 0 4 4 .   - / +   b u f f e r s / c a c h e :       1 7 7 7 4 4 3 6     1 1 4 4 8 2 5 1 6 5 .   S w a p :             2 1 0 1 1 9 2                 5 0 8         2 1 0 0 6 8 4
c a c h e d   是 什 么 意 思 ： 什 么 是 什 么 是   b u f f e r / c a c h e ？ ？ b u f f e r   和   c a c h e   是 两 个 在 计 算 机 技 术 中 被 用 滥 的 名 词 ， 放 在 不 通 语 境 下 会 有 不 同 的 意 义 。 在 在   L i n u x   的 内 存 管 理 中 ， 这 里 的 的 内 存 管 理 中 ， 这 里 的 b u f f e r   指 指   L i n u x 内 存 的 ： 内 存 的 ： B u f f e r   c a c h e 。 这 里 的 。 这 里 的   c a c h e   指 指   L i n u x   内 存 中 的 ： 内 存 中 的 ： P a g e   c a c h e 。 。 翻 译 成 中 文 可 以 叫 做 缓 冲 区 缓 存 缓 冲 区 缓 存 和 页 面 缓 存 页 面 缓 存 。 在 历 史 上 ， 它 们 一 个 （ b u f f e r ） 被 用 来 当 成 对   i o   设 备 写 的 缓 存 ， 而 另 一 个 （ c a c h e ） 被 用 来 当 作 对   i o   设 备 的 读 缓 存 ， 这 里 的   i o   设 备 ， 主 要 指 的 是 块 设 备 文 件 和 文 件 系 统 上 的 普 通 文 件 。 但 是 现 在 ， 它 们 的 意 义 已 经 不 一 样 了 。 在 当 前 的 内 核 中 ， p a g e   c a c h e   顾 名 思 义 就 是 针 对 内 存 页 的 缓 存 ， 说 白 了 就 是 ， 如 果 有 内 存 是 以   p a g e   进 行 分 配 管 理 的 ， 都 可 以 使 用   p a g e   c a c h e   作 为 其 缓 存 来 管 理 使 用 。 当 然 ， 不 是 所 有 的 内 存 都 是 以 p a g e 页 进 行 管 理 的 ， 也 有 很 多 是 针 对 b l o c k 块 进 行 管 理 的 ， 这 部 分 内 存 使 用 如 果 要 用 到   c a c h e   功 能 ， 则 都 集 中 到   b u f f e r   c a c h e   中 来 使 用 。 （ 从 这 个 角 度 出 发 ， 是 不 是   b u f f e r   c a c h e   改 名 叫 做   b l o c k   c a c h e   更 好 ？ ） 然 而 ， 也 不 是 所 有 b l o c k 块 都 有 固 定 长 度 ， 系 统 上 块 的 长 度 主 要 是 根 据 所 使 用 的 块 设 备 决 定 的 ， 而 页 长 度 在   X 8 6   上 无 论 是 3 2 位 还 是 6 4 位 都 是   4 k 。 明 白 了 这 两 套 缓 存 系 统 的 区 别 ， 就 可 以 理 解 它 们 究 竟 都 可 以 用 来 做 什 么 了 。 什 么 是 什 么 是   p a g e   c a c h e P a g e   c a c h e   主 要 用 来 作 为 文 件 系 统 上 的 文 件 数 据 的 缓 存 来 用 ， 尤 其 是 针 对 当 进 程 对 文 件 有   r e a d ／ w r i t e   操 作 的 时 候 。 如 果 你 仔 细 想 想 的 话 ， 作 为 可 以 映 射 文 件 到 内 存 的 系 统 调 用 ： m m a p   是 不 是 很 自 然 的 也 应 该 用 到   p a g e   c a c h e ？ 在 当 前 的 系 统 实 现 里 ，   p a g e   c a c h e   也 被 作 为 其 它 文 件 类 型 的 缓 存 设 备 来 用 ， 所 以 事 实 上   p a g e   c a c h e   也 负 责 了 大 部 分 的 块 设 备 文 件 的 缓 存 工 作 。 什 么 是 什 么 是   b u f f e r   c a c h e B u f f e r   c a c h e   则 主 要 是 设 计 用 来 在 系 统 对 块 设 备 进 行 读 写 的 时 候 ， 对 块 进 行 数 据 缓 存 的 系 统 来 使 用 。 这 意 味 着 某 些 对 块 的 操 作 会 使 用   b u f f e r c a c h e   进 行 缓 存 ， 比 如 我 们 在 格 式 化 文 件 系 统 的 时 候 。 一 般 情 况 下 两 个 缓 存 系 统 是 一 起 配 合 使 用 的 ， 比 如 当 我 们 对 一 个 文 件 进 行 写 操 作 的 时 候 ， p a g e   c a c h e   的 内 容 会 被 改 变 ， 而   b u f f e r   c a c h e   则 可 以 用 来 将   p a g e   标 记 为 不 同 的 缓 冲 区 ， 并 记 录 是 哪 一 个 缓 冲 区 被 修 改 了 。 这 样 ， 内 核 在 后 续 执 行 脏 数 据 的 w r i t e b a c k 回 写 时 ， 就 不 用 将 整 个   p a g e   写 回 ， 而 只 需 要 写 回 修 改 的 部 分 即 可 。 如 何 回 收 如 何 回 收   c a c h e ？ ？ L i n u x   内 核 会 在 内 存 将 要 耗 尽 的 时 候 ， 触 发 内 存 回 收 的 工 作 ， 以 便 释 放 出 内 存 给 急 需 内 存 的 进 程 使 用 。 一 般 情 况 下 ， 这 个 操 作 中 主 要 的 内 存 释 放 都 来 自 于 对   b u f f e r ／ c a c h e   的 释 放 。 尤 其 是 被 使 用 更 多 的   c a c h e   空 间 。 既 然 它 主 要 用 来 做 缓 存 ， 只 是 在 内 存 够 用 的 时 候 加 快 进 程 对 文 件 的 读 写 速 度 ， 那 么 在 内 存 压 力 较 大 的 情 况 下 ， 当 然 有 必 要 清 空 释 放   c a c h e ， 作 为   f r e e   空 间 分 给 相 关 进 程 使 用 。 所 以 一 般 情 况 下 ， 我 们 认 为 一 般 情 况 下 ， 我 们 认 为 b u f f e r / c a c h e   空 间 可 以 被 释 放 ， 这 个 理 解 是 正 确 的 。 空 间 可 以 被 释 放 ， 这 个 理 解 是 正 确 的 。 但 是 这 种 清 缓 存 的 工 作 也 并 不 是 没 有 成 本 。 但 是 这 种 清 缓 存 的 工 作 也 并 不 是 没 有 成 本 。 理 解   c a c h e   是 干 什 么 的 就 可 以 明 白 清 缓 存 必 须 保 证   c a c h e   中 的 数 据 跟 对 应 文 件 中 的 数 据 一 致 ， 才 能 对   c a c h e   进 行 释 放 。 所 以 伴 随 着 所 以 伴 随 着   c a c h e   清 除 的 行 为 的 ， 一 般 都 是 系 统 清 除 的 行 为 的 ， 一 般 都 是 系 统   I O   飙 高 。 飙 高 。 因 为 内 核 要 对 比   c a c h e   中 的 数 据 和 对 应 硬 盘 文 件 上 的 数 据 是 否 一 致 ， 如 果 不 一 致 需 要 写 回 ， 之 后 才 能 回 收 。 在 系 统 中 除 了 内 存 将 被 耗 尽 的 时 候 可 以 清 缓 存 以 外 ， 我 们 还 可 以 使 用 下 面 这 个 文 件 来 人 工 触 发 缓 存 清 除 的 操 作 ： 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   c a t   / p r o c / s y s / v m / d r o p _ c a c h e s   2 .   1
方 法 是 ： 当 然 ， 这 个 文 件 可 以 设 置 的 值 分 别 为 1 、 2 、 3 。 它 们 所 表 示 的 含 义 为 ： e c h o   1   >   / p r o c / s y s / v m / d r o p _ c a c h e s ： 表 示 清 除   p a g e   c a c h e 。 e c h o   2   >   / p r o c / s y s / v m / d r o p _ c a c h e s ： 表 示 清 除 回 收   s l a b   分 配 器 中 的 对 象 （ 包 括 目 录 项 缓 存 和   i n o d e   缓 存 ） 。 s l a b   分 配 器 是 内 核 中 管 理 内 存 的 一 种 机 制 ， 其 中 很 多 缓 存 数 据 实 现 都 是 用 的   p a g e   c a c h e 。 e c h o   3   >   / p r o c / s y s / v m / d r o p _ c a c h e s ： 表 示 清 除   p a g e   c a c h e   和   s l a b   分 配 器 中 的 缓 存 对 象 。 c a c h e 都 能 被 回 收 么 ？ 都 能 被 回 收 么 ？ 我 们 分 析 了   c a c h e   能 被 回 收 的 情 况 ， 那 么 有 没 有 不 能 被 回 收 的   c a c h e   呢 ？ 当 然 有 。 我 们 先 来 看 第 一 种 情 况 ： t m p f s 大 家 知 道   L i n u x   提 供 一 种 “ 临 时 ” 文 件 系 统 叫 做   t m p f s ， 它 可 以 将 内 存 的 一 部 分 空 间 拿 来 当 做 文 件 系 统 使 用 ， 使 内 存 空 间 可 以 当 做 目 录 文 件 来 用 。 现 在 绝 大 多 数   L i n u x   系 统 都 有 一 个 叫 做   / d e v / s h m   的   t m p f s   目 录 ， 就 是 这 样 一 种 存 在 。 当 然 ， 我 们 也 可 以 手 工 创 建 一 个 自 己 的   t m p f s ， 方 法 如 下 ： 3 .   于 是 我 们 就 创 建 了 一 个 新 的   t m p f s ， 空 间 是   2 0 G ， 我 们 可 以 在   / t m p / t m p f s   中 创 建 一 个   2 0 G   以 内 的 文 件 。 如 果 我 们 创 建 的 文 件 实 际 占 用 的 空 间 是 内 存 的 话 ， 那 么 这 些 数 据 应 该 占 用 内 存 空 间 的 什 么 部 分 呢 ？ 根 据   p a g e   c a c h e   的 实 现 功 能 可 以 理 解 ， 既 然 是 某 种 文 件 系 统 ， 那 么 自 然 该 使 用 p a g e   c a c h e   的 空 间 来 管 理 。 我 们 试 试 是 不 是 这 样 ？ 1 .   e c h o   1   >   / p r o c / s y s / v m / d r o p _ c a c h e s 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   m k d i r   / t m p / t m p f s 2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   m o u n t   - t   t m p f s   - o   s i z e = 2 0 G   n o n e   / t m p / t m p f s / 4 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   d f 5 .   F i l e s y s t e m                       1 K - b l o c k s             U s e d   A v a i l a b l e   U s e %   M o u n t e d   o n 6 .   / d e v / s d a 1                           1 0 3 2 5 0 0 0       3 5 2 9 6 0 4       6 2 7 0 9 1 6     3 7 %   / 7 .   / d e v / s d a 3                           2 0 6 4 6 0 6 4       9 5 9 5 9 4 0     1 0 0 0 1 3 6 0     4 9 %   / u s r / l o c a l 8 .   / d e v / m a p p e r / v g - d a t a     1 0 3 2 1 2 3 2 0     2 6 2 4 4 2 8 4     7 1 7 2 5 1 5 6     2 7 %   / d a t a 9 .   t m p f s                                   6 6 1 2 8 4 7 6     1 4 7 0 9 0 0 4     5 1 4 1 9 4 7 2     2 3 %   / d e v / s h m 1 0 .   n o n e                                     2 0 9 7 1 5 2 0                   0     2 0 9 7 1 5 2 0       0 %   / t m p / t m p f s 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g
我 们 在   t m p f s   目 录 下 创 建 了 一 个   1 3 G   的 文 件 ， 并 通 过 前 后   f r e e   命 令 的 对 比 发 现 ， c a c h e d   增 长 了   1 3 G ， 说 明 这 个 文 件 确 实 放 在 了 内 存 里 并 且 内 核 使 用 的 是   c a c h e   作 为 存 储 。 再 看 看 我 们 关 心 的 指 标 ：   - / +   b u f f e r s / c a c h e   那 一 行 。 我 们 发 现 ， 在 这 种 情 况 下   f r e e   命 令 仍 然 提 示 我 们 有 1 1 0 G   内 存 可 用 ， 但 是 真 的 有 这 么 多 么 ？ 我 们 可 以 人 工 触 发 内 存 回 收 看 看 现 在 到 底 能 回 收 多 少 内 存 ： 可 以 看 到 ， c a c h e d   占 用 的 空 间 并 没 有 像 我 们 想 象 的 那 样 完 全 被 释 放 ， 其 中   1 3 G   的 空 间 仍 然 被   / t m p / t m p f s   中 的 文 件 占 用 的 。 当 然 ， 我 的 系 统 中 还 有 其 他 不 可 释 放 的   c a c h e   占 用 着 其 余 1 6 G 内 存 空 间 。 那 么   t m p f s   占 用 的   c a c h e   空 间 什 么 时 候 会 被 释 放 呢 ？ 是 在 其 文 件 被 删 除 的 时 候 。 如 果 不 删 除 文 件 ， 无 论 内 存 耗 尽 到 什 么 程 度 ， 内 核 都 不 会 自 动 帮 你 把   t m p f s   中 的 文 件 删 除 来 释 放 c a c h e 空 间 。 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 2 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 3 .   M e m :                       1 2 6                   3 6                   8 9                     0                     1                   1 9 4 .   - / +   b u f f e r s / c a c h e :                   1 5                 1 1 1 5 .   S w a p :                         2                     0                     2 6 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   d d   i f = / d e v / z e r o   o f = / t m p / t m p f s / t e s t f i l e   b s = 1 G   c o u n t = 1 3 7 .   1 3 + 0   r e c o r d s   i n 8 .   1 3 + 0   r e c o r d s   o u t 9 .   1 3 9 5 8 6 4 3 7 1 2   b y t e s   ( 1 4   G B )   c o p i e d ,   9 . 4 9 8 5 8   s ,   1 . 5   G B / s 1 0 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   1 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 1 2 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 1 3 .   M e m :                       1 2 6                   4 9                   7 6                     0                     1                   3 2 1 4 .   - / +   b u f f e r s / c a c h e :                   1 5                 1 1 0 1 5 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   e c h o   3   >   / p r o c / s y s / v m / d r o p _ c a c h e s 2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 3 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 4 .   M e m :                       1 2 6                   4 3                   8 2                     0                     0                   2 9 5 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 6 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   r m   / t m p / t m p f s / t e s t f i l e   2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 3 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d
这 是 我 们 分 析 的 第 一 种   c a c h e   不 能 被 回 收 的 情 况 。 还 有 其 他 情 况 ， 比 如 ： 共 享 内 存 共 享 内 存 共 享 内 存 是 系 统 提 供 给 我 们 的 一 种 常 用 的 进 程 间 通 信 （ I P C ） 方 式 ， 但 是 这 种 通 信 方 式 不 能 在   s h e l l   中 申 请 和 使 用 ， 所 以 我 们 需 要 一 个 简 单 的 测 试 程 序 ， 代 码 略 ， 请 参 照 原 文 。 程 序 功 能 很 简 单 ， 就 是 申 请 一 段 不 到   2 G   共 享 内 存 ， 然 后 打 开 一 个 子 进 程 对 这 段 共 享 内 存 做 一 个 初 始 化 操 作 ， 父 进 程 等 子 进 程 初 始 化 完 之 后 输 出 一 下 共 享 内 存 的 内 容 ， 然 后 退 出 。 但 是 退 出 之 前 并 没 有 删 除 这 段 共 享 内 存 。 我 们 来 看 看 这 个 程 序 执 行 前 后 的 内 存 使 用 ： c a c h e d   空 间 由   1 6 G   涨 到 了   1 8 G 。 那 么 这 段   c a c h e   能 被 回 收 么 ？ 继 续 测 试 ： 4 .   M e m :                       1 2 6                   3 0                   9 5                     0                     0                   1 6 5 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 6 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 2 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 3 .   M e m :                       1 2 6                   3 0                   9 5                     0                     0                   1 6 4 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 5 .   S w a p :                         2                     0                     2 6 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   . / s h m   7 .   s h m i d :   2 9 4 9 1 8 8 .   s h m s i z e :   2 1 4 5 3 8 6 4 9 6 9 .   s h m i d :   2 9 4 9 1 8 1 0 .   s h m s i z e :   - 4 1 9 4 3 0 4 1 1 .   H e l l o ! 1 2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 1 3 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 1 4 .   M e m :                       1 2 6                   3 2                   9 3                     0                     0                   1 8 1 5 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 1 6 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   e c h o   3   >   / p r o c / s y s / v m / d r o p _ c a c h e s 2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 3 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d
结 果 是 仍 然 不 可 回 收 。 大 家 可 以 观 察 到 ， 这 段 共 享 内 存 即 使 没 人 使 用 ， 仍 然 会 长 期 存 放 在   c a c h e   中 ， 直 到 其 被 删 除 。 删 除 方 法 有 两 种 ， 一 种 是 程 序 中 使 用   s h m c t l ( )   去   I P C _ R M I D ， 另 一 种 是 使 用   i p c r m   命 令 。 我 们 来 删 除 试 试 ： 2 .   1 2 .   1 5 .   2 4 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 4 .   M e m :                       1 2 6                   3 2                   9 3                     0                     0                   1 8 5 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 6 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   i p c s   - m 3 .   - - - - - -   S h a r e d   M e m o r y   S e g m e n t s   - - - - - - - - 4 .   k e y                 s h m i d             o w n e r             p e r m s             b y t e s             n a t t c h           s t a t u s             5 .   0 x 0 0 0 0 5 f e b   0                     r o o t               6 6 6                 1 2 0 0 0             4                                               6 .   0 x 0 0 0 0 5 f e 7   3 2 7 6 9             r o o t               6 6 6                 5 2 4 2 8 8           2                                               7 .   0 x 0 0 0 0 5 f e 8   6 5 5 3 8             r o o t               6 6 6                 2 0 9 7 1 5 2         2                                               8 .   0 x 0 0 0 3 8 c 0 e   1 3 1 0 7 5           r o o t               7 7 7                 2 0 7 2               1                                               9 .   0 x 0 0 0 3 8 c 1 4   1 6 3 8 4 4           r o o t               7 7 7                 5 6 0 3 3 9 2         0                                               1 0 .   0 x 0 0 0 3 8 c 0 9   1 9 6 6 1 3           r o o t               7 7 7                 2 2 1 2 4 8           0                                               1 1 .   0 x 0 0 0 0 0 0 0 0   2 9 4 9 1 8           r o o t               6 0 0                 2 1 4 5 3 8 6 4 9 6   0                                               1 3 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   i p c r m   - m   2 9 4 9 1 8 1 4 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   i p c s   - m 1 6 .   - - - - - -   S h a r e d   M e m o r y   S e g m e n t s   - - - - - - - - 1 7 .   k e y                 s h m i d             o w n e r             p e r m s             b y t e s             n a t t c h           s t a t u s             1 8 .   0 x 0 0 0 0 5 f e b   0                     r o o t               6 6 6                 1 2 0 0 0             4                                               1 9 .   0 x 0 0 0 0 5 f e 7   3 2 7 6 9             r o o t               6 6 6                 5 2 4 2 8 8           2                                               2 0 .   0 x 0 0 0 0 5 f e 8   6 5 5 3 8             r o o t               6 6 6                 2 0 9 7 1 5 2         2                                               2 1 .   0 x 0 0 0 3 8 c 0 e   1 3 1 0 7 5           r o o t               7 7 7                 2 0 7 2               1                                               2 2 .   0 x 0 0 0 3 8 c 1 4   1 6 3 8 4 4           r o o t               7 7 7                 5 6 0 3 3 9 2         0                                               2 3 .   0 x 0 0 0 3 8 c 0 9   1 9 6 6 1 3           r o o t               7 7 7                 2 2 1 2 4 8           0                                               2 5 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 2 6 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d
删 除 共 享 内 存 后 ， c a c h e   被 正 常 释 放 了 。 这 个 行 为 与   t m p f s   的 逻 辑 类 似 。 内 核 底 层 在 实 现 共 享 内 存 （ s h m ） 、 消 息 队 列 （ m s g ） 和 信 号 量 数 组 （ s e m ） 这 些   P O S I X : X S I   的   I P C   机 制 的 内 存 存 储 时 ， 使 用 的 都 是   t m p f s 。 这 也 是 为 什 么 共 享 内 存 的 操 作 逻 辑 与   t m p f s   类 似 的 原 因 。 当 然 ， 一 般 情 况 下 是   s h m   占 用 的 内 存 更 多 ， 所 以 我 们 在 此 重 点 强 调 共 享 内 存 的 使 用 。 说 到 共 享 内 存 ， L i n u x   还 给 我 们 提 供 了 另 外 一 种 共 享 内 存 的 方 法 ， 就 是 ： m m a p m m a p ( )   是 一 个 非 常 重 要 的 系 统 调 用 ， 这 仅 从   m m a p   本 身 的 功 能 描 述 上 是 看 不 出 来 的 。 从 字 面 上 看 ， m m a p   就 是 将 一 个 文 件 映 射 进 进 程 的 虚 拟 内 存 地 址 ， 之 后 就 可 以 通 过 操 作 内 存 的 方 式 对 文 件 的 内 容 进 行 操 作 。 但 是 实 际 上 这 个 调 用 的 用 途 是 很 广 泛 的 。 当   m a l l o c   申 请 内 存 时 ， 小 段 内 存 内 核 使 用   s b r k   处 理 ， 而 大 段 内 存 就 会 使 用   m m a p 。 当 系 统 调 用   e x e c   族 函 数 执 行 时 ， 因 为 其 本 质 上 是 将 一 个 可 执 行 文 件 加 载 到 内 存 执 行 ， 所 以 内 核 很 自 然 的 就 可 以 使 用   m m a p   方 式 进 行 处 理 。 我 们 在 此 仅 仅 考 虑 一 种 情 况 ， 就 是 使 用   m m a p   进 行 共 享 内 存 的 申 请 时 ， 会 不 会 跟 s h m g e t ( )   一 样 也 使 用   c a c h e ？ 同 样 ， 我 们 也 需 要 一 个 简 单 的 测 试 程 序 ， 代 码 略 ， 请 参 照 原 文 。 这 次 我 们 干 脆 不 用 什 么 父 子 进 程 的 方 式 了 ， 就 一 个 进 程 ， 申 请 一 段   2 G   的   m m a p   共 享 内 存 ， 然 后 初 始 化 这 段 空 间 之 后 等 待   1 0 0   秒 ， 再 解 除 影 射 所 以 我 们 需 要 在 它   s l e e p   这   1 0 0   秒 内 检 查 我 们 的 系 统 内 存 使 用 ， 看 看 它 用 的 是 什 么 空 间 ？ 当 然 在 这 之 前 要 先 创 建 一 个   2 G   的 文 件 . / m m a p f i l e 。 结 果 如 下 ： 然 后 执 行 测 试 程 序 ： 2 7 .   M e m :                       1 2 6                   3 0                   9 5                     0                     0                   1 6 2 8 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 2 9 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   d d   i f = / d e v / z e r o   o f = m m a p f i l e   b s = 1 G   c o u n t = 2 2 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   e c h o   3   >   / p r o c / s y s / v m / d r o p _ c a c h e s 3 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 4 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 5 .   M e m :                       1 2 6                   3 0                   9 5                     0                     0                   1 6 6 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 7 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   . / m m a p   & 2 .   [ 1 ]   1 9 1 5 7 3 .   0 x 7 f 1 a e 3 6 3 5 0 0 0 4 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 5 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d
9 .   我 们 可 以 看 到 ， 在 程 序 执 行 期 间 ， c a c h e d   一 直 为   1 8 G ， 比 之 前 涨 了   2 G ， 并 且 此 时 这 段   c a c h e   仍 然 无 法 被 回 收 。 然 后 我 们 等 待 1 0 0 秒 之 后 程 序 结 束 。 程 序 退 出 之 后 ， c a c h e d   占 用 的 空 间 被 释 放 。 这 样 我 们 可 以 看 到 ， 使 用   m m a p   申 请 标 志 状 态 为   M A P _ S H A R E D   的 内 存 ， 内 核 也 是 使 用 的   c a c h e 进 行 存 储 的 。 在 进 程 对 相 关 内 存 没 有 释 放 之 前 ， 这 段   c a c h e   也 是 不 能 被 正 常 释 放 的 。 实 际 上 ， m m a p   的   M A P _ S H A R E D   方 式 申 请 的 内 存 ， 在 内 核 中 也 是 由   t m p f s   实 现 的 。 由 此 我 们 也 可 以 推 测 ， 由 于 共 享 库 的 只 读 部 分 在 内 存 中 都 是 以   m m a p   的   M A P _ S H A R E D   方 式 进 行 管 理 ， 实 际 上 它 们 也 都 是 要 占 用   c a c h e   且 无 法 被 释 放 的 。 最 后 最 后 我 们 通 过 三 个 测 试 例 子 ， 发 现   L i n u x   系 统 内 存 中 的 系 统 内 存 中 的   c a c h e   并 不 是 在 所 有 情 况 下 都 能 被 释 放 当 做 空 闲 空 间 用 的 。 并 且 也 也 明 确 了 ， 即 使 并 不 是 在 所 有 情 况 下 都 能 被 释 放 当 做 空 闲 空 间 用 的 。 并 且 也 也 明 确 了 ， 即 使 可 以 释 放 可 以 释 放   c a c h e ， 也 并 不 是 对 系 统 来 说 没 有 成 本 的 ， 也 并 不 是 对 系 统 来 说 没 有 成 本 的 。 总 结 一 下 要 点 ， 我 们 应 该 记 得 这 样 几 点 ： 1 .   当   c a c h e   作 为 文 件 缓 存 被 释 放 的 时 候 会 引 发   I O   变 高 ， 这 是   c a c h e   加 快 文 件 访 问 速 度 所 要 付 出 的 成 本 。 2 .   t m p f s   中 存 储 的 文 件 会 占 用   c a c h e   空 间 ， 除 非 文 件 删 除 否 则 这 个   c a c h e   不 会 被 自 动 释 放 。 3 .   使 用   s h m g e t   方 式 申 请 的 共 享 内 存 会 占 用   c a c h e   空 间 ， 除 非 共 享 内 存 被   i p c r m   或 者 使 用   s h m c t l   去   I P C _ R M I D ， 否 则 相 关 的   c a c h e   空 5 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 6 .   M e m :                       1 2 6                   3 2                   9 3                     0                     0                   1 8 7 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 8 .   S w a p :                         2                     0                     2 1 0 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   e c h o   3   >   / p r o c / s y s / v m / d r o p _ c a c h e s 1 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 1 2 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 1 3 .   M e m :                       1 2 6                   3 2                   9 3                     0                     0                   1 8 1 4 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 1 5 .   S w a p :                         2                     0                     2 1 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   2 .   [ 1 ] +     E x i t   1                                     . / m m a p 3 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   4 .   [ r o o t @ t e n c e n t 6 4   ~ ] #   f r e e   - g 5 .                             t o t a l               u s e d               f r e e           s h a r e d         b u f f e r s           c a c h e d 6 .   M e m :                       1 2 6                   3 0                   9 5                     0                     0                   1 6 7 .   - / +   b u f f e r s / c a c h e :                   1 4                 1 1 1 8 .   S w a p :                         2                     0                     2
间 都 不 会 被 自 动 释 放 。 4 .   使 用   m m a p   方 法 申 请 的   M A P _ S H A R E D   标 志 的 内 存 会 占 用   c a c h e   空 间 ， 除 非 进 程 将 这 段 内 存   m u n m a p ， 否 则 相 关 的   c a c h e   空 间 都 不 会 被 自 动 释 放 。 5 .   实 际 上   s h m g e t 、 m m a p   的 共 享 内 存 ， 在 内 核 层 都 是 通 过   t m p f s   实 现 的 ， t m p f s   实 现 的 存 储 用 的 都 是   c a c h e 。 当 理 解 了 这 些 的 时 候 ， 希 望 大 家 对   f r e e   命 令 的 理 解 可 以 达 到 我 们 说 的 第 三 个 层 次 。 我 们 应 该 明 白 ， 内 存 的 使 用 并 不 是 简 单 的 概 念 ， c a c h e   也 并 不 是 真 的 可 以 当 成 空 闲 空 间 用 的 。 如 果 我 们 要 真 正 深 刻 理 解 你 的 系 统 上 的 内 存 到 底 使 用 的 是 否 合 理 ， 是 需 要 理 解 清 楚 很 多 更 细 节 知 识 ， 并 且 对 相 关 业 务 的 实 现 做 更 细 节 判 断 的 。 我 们 当 前 实 验 场 景 是   C e n t o s   6   的 环 境 ， 不 同 版 本 的   L i n u x   的   f r e e   现 实 的 状 态 可 能 不 一 样 ， 大 家 可 以 自 己 去 找 出 不 同 的 原 因 。 当 然 ， 本 文 所 述 的 也 不 是 所 有 的   c a c h e   不 能 被 释 放 的 情 形 。 那 么 ， 在 你 的 应 用 场 景 下 ， 还 有 那 些   c a c h e   不 能 被 释 放 的 场 景 呢 ？ 转 载 自 ： h t t p : / / l i w e i . l i f e / 2 0 1 6 / 0 4 / 2 6 / l i n u x % E 5 % 8 6 % 8 5 % E 5 % A D % 9 8 % E 4 % B 8 % A D % E 7 % 9 A % 8 4 c a c h e % E 7 % 9 C % 9 F % E 7 % 9 A % 8 4 % E 8 % 8 3 % B D % E 8 % A 2 % A B % E 5 % 9 B % 9 E % E 6 % 9 4 % B 6 % E 4 % B 9 % 8 8 % E F % B C % 9 F /   作 者 ：   邹 立 巍 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理