搜索

[26379] 2021-02-28_说出来你可能不信，内核这家伙在内存的使用上给自己开了个小灶！

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2021-02-28_说出来你可能不信，内核这家伙在内存的使用上给自己开了个小灶！ 说 出 来 你 可 能 不 信 ， 内 核 这 家 伙 在 内 存 的 使 用 上 给 自 己 开 了 个 小 灶 ！ L i n u x 学 习   2 0 2 1 - 0 2 - 2 8 以 下 文 章 来 源 于 开 发 内 功 修 炼   ， 作 者 张 彦 飞 a l l e n 来 自 公 众 号 ： 来 自 公 众 号 ： 开 发 内 功 修 炼 开 发 内 功 修 炼 开 发 内 功 修 炼 开 发 内 功 修 炼   . 飞 哥 有 鹅 厂 、 搜 狗   1 0   年 多 的 开 发 工 作 经 验 。 通 过 本 号 ， 我 把 多 年 中 对 于 性 能 的 一 些 深 度 思 考 分 享 给 大 家 。
现 在 你 可 能 还 觉 得 n o d e 、 z o n e 、 伙 伴 系 统 、 s l a b 这 些 东 东 还 有 那 么 一 点 点 陌 生 。 别 怕 ， 接 下 来 我 们 结 合 动 手 观 察 ， 把 它 们 逐 个 来 展 开 细 说 。 （ 下 面 的 讨 论 都 基 于 L i n u x   3 . 1 0 . 0 版 本 ） 一 、 一 、 N O D E   划 分 划 分 在 现 代 的 服 务 器 上 ， 内 存 和 C P U 都 是 所 谓 的 N U M A 架 构 C P U 往 往 不 止 是 一 颗 。 通 过 d m i d e c o d e 命 令 看 到 你 主 板 上 插 着 的 C P U 的 详 细 信 息 内 存 也 不 只 是 一 条 。 d m i d e c o d e 同 样 可 以 查 看 到 服 务 器 上 插 着 的 所 有 内 存 条 ， 也 可 以 看 到 它 是 和 哪 个 C P U 直 接 连 接 的 。 P r o c e s s o r   I n f o r m a t i o n     / / 第 一 颗 C P U         S o c k e t D e s i g n a t i o n :   C P U 1               V e r s i o n :   I n t e l ( R )   X e o n ( R )   C P U   E 5 - 2 6 3 0   v 3   @   2 . 4 0 G H z         C o r e   C o u n t :   8         T h r e a d   C o u n t :   1 6 P r o c e s s o r   I n f o r m a t i o n     / / 第 二 颗 C P U         S o c k e t   D e s i g n a t i o n :   C P U 2         V e r s i o n :   I n t e l ( R )   X e o n ( R )   C P U   E 5 - 2 6 3 0   v 3   @   2 . 4 0 G H z         C o r e   C o u n t :   8
每 一 个 C P U 以 及 和 他 直 连 的 内 存 条 组 成 了 一 个   n o d e （ 节 点 ） （ 节 点 ） 。 在 你 的 机 器 上 ， 你 可 以 使 用 n u m a c t l 你 可 以 看 到 每 个 n o d e 的 情 况 二 、 二 、 Z O N E   划 分 划 分 每 个   n o d e   又 会 划 分 成 若 干 的   z o n e （ 区 域 ） （ 区 域 ）   。 z o n e   表 示 内 存 中 的 一 块 范 围 / / C P U 1   上 总 共 插 着 四 条 内 存 M e m o r y   D e v i c e         S i z e :   1 6 3 8 4   M B         L o c a t o r :   C P U 1   D I M M   A 1 M e m o r y   D e v i c e         S i z e :   1 6 3 8 4   M B         L o c a t o r :   C P U 1   D I M M   A 2 . . . . . .     / / C P U 2   上 也 插 着 四 条 M e m o r y   D e v i c e         S i z e :   1 6 3 8 4   M B         L o c a t o r :   C P U 2   D I M M   E 1 M e m o r y   D e v i c e         S i z e :   1 6 3 8 4   M B         L o c a t o r :   C P U 2   D I M M   F 1 . . . . . . n u m a c t l   - - h a r d w a r e a v a i l a b l e :   2   n o d e s   ( 0 - 1 ) n o d e   0   c p u s :   0   1   2   3   4   5   6   7   1 6   1 7   1 8   1 9   2 0   2 1   2 2   2 3 n o d e   0   s i z e :   6 5 4 1 9   M B n o d e   1   c p u s :   8   9   1 0   1 1   1 2   1 3   1 4   1 5   2 4   2 5   2 6   2 7   2 8   2 9   3 0   3 1 n o d e   1   s i z e :   6 5 5 3 6   M B
Z O N E _ D M A ： 地 址 段 最 低 的 一 块 内 存 区 域 ， I S A ( I n d u s t r y   S t a n d a r d   A r c h i t e c t u r e ) 设 备 D M A 访 问 Z O N E _ D M A 3 2 ： 该 Z o n e 用 于 支 持 3 2 - b i t s 地 址 总 线 的 D M A 设 备 ， 只 在 6 4 - b i t s 系 统 里 才 有 效 Z O N E _ N O R M A L ： 在 X 8 6 - 6 4 架 构 下 ， D M A 和 D M A 3 2 之 外 的 内 存 全 部 在 N O R M A L 的 Z o n e 里 管 理 为 什 么 没 有 提   Z O N E _ H I G H M E M   这 个 z o n e ？ 因 为 这 是   3 2   位 机 时 代 的 产 物 。 现 在 应 该 没 谁 在 用 这 种 古 董 了 吧 。 在 每 个 z o n e 下 ， 都 包 含 了 许 许 多 多 个   P a g e （ 页 面 ） ，   在 l i n u x 下 一 个 P a g e 的 大 小 一 般 是   4   K B 。 在 你 的 机 器 上 ， 你 可 以 使 用 通 过   z o n e i n f o   查 看 到 你 机 器 上   z o n e   的 划 分 ， 也 可 以 看 到 每 个   z o n e   下 所 管 理 的 页 面 有 多 少 个 。
每 个 页 面 大 小 是 4 K ， 很 容 易 可 以 计 算 出 每 个   z o n e   的 大 小 。 比 如 对 于 上 面   N o d e 1   的   N o r m a l ，   1 6 5 1 4 3 9 3   *   4 K   = 6 6   G B 。 三 、 基 于 伙 伴 系 统 管 理 空 闲 页 面 三 、 基 于 伙 伴 系 统 管 理 空 闲 页 面 每 个   z o n e   下 面 都 有 如 此 之 多 的 页 面 ， L i n u x 使 用 伙 伴 系 统 伙 伴 系 统 对 这 些 页 面 进 行 高 效 的 管 理 。 在 内 核 中 ， 表 示   z o n e   的 数 据 结 构 是   。 其 下 面 的 一 个 数 组   f r e e _ a r e a   管 理 了 绝 大 部 分 可 用 的 空 闲 页 面 。 这 个 数 组 就 是 伙 伴 系 统 伙 伴 系 统 实 现 的 重 要 数 据 结 构 。 f r e e _ a r e a 是 一 个 1 1 个 元 素 的 数 组 ， 在 每 一 个 数 组 分 别 代 表 的 是 空 闲 可 分 配 连 续 4 K 、 8 K 、 1 6 K 、 . . . . . . 、 4 M 内 存 链 表 。 #   c a t   / p r o c / z o n e i n f o N o d e   0 ,   z o n e             D M A         p a g e s   f r e e           3 9 7 3                 m a n a g e d     3 9 7 3 N o d e   0 ,   z o n e         D M A 3 2         p a g e s   f r e e           3 9 0 3 9 0                 m a n a g e d     4 2 7 6 5 9 N o d e   0 ,   z o n e       N o r m a l         p a g e s   f r e e           1 5 0 2 1 6 1 6                 m a n a g e d     1 5 9 9 0 1 6 5 N o d e   1 ,   z o n e       N o r m a l         p a g e s   f r e e           1 6 0 1 2 8 2 3                 m a n a g e d     1 6 5 1 4 3 9 3                                                 s t r u c t   z o n e / / f i l e :   i n c l u d e / l i n u x / m m z o n e . h # d e f i n e   M A X _ O R D E R   1 1 s t r u c t   z o n e   {         f r e e _ a r e a       f r e e _ a r e a [ M A X _ O R D E R ] ;         . . . . . . }
通 过   ,   你 可 以 看 到 当 前 系 统 里 伙 伴 系 统 里 各 个 尺 寸 的 可 用 连 续 内 存 块 数 量 。 内 核 提 供 分 配 器 函 数     到 上 面 的 多 个 链 表 中 寻 找 可 用 连 续 页 面 。 是 怎 么 工 作 的 呢 ？ 我 们 举 个 简 单 的 小 例 子 。 假 如 要 申 请 8 K - 连 续 两 个 页 框 的 内 存 。 为 了 描 述 方 便 ， 我 们 先 暂 时 忽 略 c a t   / p r o c / p a g e t y p e i n f o a l l o c _ p a g e s s t r u c t   p a g e   *   a l l o c _ p a g e s ( g f p _ t   g f p _ m a s k ,   u n s i g n e d   i n t   o r d e r ) a l l o c _ p a g e s
U N M O V E A B L E 、 R E L C L A I M A B L E 等 不 同 类 型 伙 伴 系 统 中 的 伙 伴 指 的 是 两 个 内 存 块 ， 大 小 相 同 ， 地 址 连 续 ， 同 属 于 一 个 大 块 区 域 。 基 于 伙 伴 系 统 的 内 存 分 配 中 ， 有 可 能 需 要 将 大 块 内 存 拆 分 成 两 个 小 伙 伴 。 在 释 放 中 ， 可 能 会 将 两 个 小 伙 伴 合 并 再 次 组 成 更 大 块 的 连 续 内 存 。 四 、 四 、 S L A B 管 理 器 管 理 器 说 到 现 在 ， 不 知 道 你 注 意 到 没 有 。 目 前 我 们 介 绍 的 内 存 分 配 都 是 以 页 面 （ 以 页 面 （ 4 K B ） 为 单 位 的 ） 为 单 位 的 。 对 于 各 个 内 核 运 行 中 实 际 使 用 的 对 象 来 说 ， 多 大 的 对 象 都 有 。 有 的 对 象 有 1 K 多 ， 但 有 的 对 象 只 有 几 百 、 甚 至 几 十 个 字 节 。 如 果 都 直 接 分 配 一 个   4 K 的 页 面   来 存 储 的 话 也 太 败 家 了 ， 所 以 伙 伴 系 统 并 不 能 直 接 使 用 。 在 伙 伴 系 统 之 上 ， 内 核 又 给 自 己 搞 了 一 个 专 用 的 内 存 分 配 器 ， 内 核 又 给 自 己 搞 了 一 个 专 用 的 内 存 分 配 器 ，   叫 叫 s l a b 或 或 s l u b 。 这 两 个 词 老 混 用 ， 为 了 省 事 ， 接 下 来 我 们 就 统 一 叫   s l a b   吧 。 这 个 分 配 器 最 大 的 特 点 就 是 ， 一 个 s l a b 内 只 分 配 特 定 大 小 、 甚 至 是 特 定 的 对 象 。 这 样 当 一 个 对 象 释 放 内 存 后 ， 另 一 个 同 类 对 象 可 以 直 接 使 用 这 块 内 存 。 通 过 这 种 办 法 极 大 地 降 低 了 碎 片 发 生 的 几 率 。 s l a b 相 关 的 内 核 对 象 定 义 如 下 ：
每 个 c a c h e 都 有 满 、 半 满 、 空 三 个 链 表 。 每 个 链 表 节 点 都 对 应 一 个   s l a b ， 一 个   s l a b   由   1   个 或 者 多 个 内 存 页 组 成 。 在 每 一 个 在 每 一 个   s l a b   内 都 保 存 的 是 同 等 大 小 的 对 象 。 内 都 保 存 的 是 同 等 大 小 的 对 象 。   一 个 c a c h e 的 组 成 示 意 图 如 下 ： 当   c a c h e   中 内 存 不 够 的 时 候 ， 会 调 用 基 于 伙 伴 系 统 的 分 配 器 （ _ _ a l l o c _ p a g e s 函 数 ） 请 求 整 页 连 续 内 存 的 分 配 。 / / f i l e :   i n c l u d e / l i n u x / s l a b _ d e f . h s t r u c t   k m e m _ c a c h e   {         s t r u c t   k m e m _ c a c h e _ n o d e   * * n o d e         . . . . . . } / / f i l e :   m m / s l a b . h s t r u c t   k m e m _ c a c h e _ n o d e   {         s t r u c t   l i s t _ h e a d   s l a b s _ p a r t i a l ;           s t r u c t   l i s t _ h e a d   s l a b s _ f u l l ;         s t r u c t   l i s t _ h e a d   s l a b s _ f r e e ;         . . . . . . } / / f i l e :   m m / s l a b . c s t a t i c   v o i d   * k m e m _ g e t p a g e s ( s t r u c t   k m e m _ c a c h e   * c a c h e p ,                     g f p _ t   f l a g s ,   i n t   n o d e i d ) {         . . . . . .         f l a g s   | =   c a c h e p - > a l l o c f l a g s ;         i f   ( c a c h e p - > f l a g s   &   S L A B _ R E C L A I M _ A C C O U N T )                 f l a g s   | =   _ _ G F P _ R E C L A I M A B L E ;         p a g e   =   a l l o c _ p a g e s _ e x a c t _ n o d e ( n o d e i d ,   . . . ) ;         . . . . . . }
内 核 中 会 有 很 多 个     存 在 。 它 们 是 在 l i n u x 初 始 化 ， 或 者 是 运 行 的 过 程 中 分 配 出 来 的 。 它 们 有 的 是 专 用 的 ， 有 的 是 通 用 的 。 上 图 中 ， 我 们 看 到   s o c k e t _ a l l o c   内 核 对 象 都 存 在   T C P 的 专 用   k m e m _ c a c h e   中 。 通 过 查 看     我 们 可 以 查 看 到 所 有 的   k m e m   c a c h e 。 / / f i l e :   i n c l u d e / l i n u x / g f p . h s t a t i c   i n l i n e   s t r u c t   p a g e   * a l l o c _ p a g e s _ e x a c t _ n o d e ( i n t   n i d ,                   g f p _ t   g f p _ m a s k , u n s i g n e d   i n t   o r d e r ) {         r e t u r n   _ _ a l l o c _ p a g e s ( g f p _ m a s k ,   o r d e r ,   n o d e _ z o n e l i s t ( n i d ,   g f p _ m a s k ) ) ; } k m e m _ c a c h e / p r o c / s l a b i n f o
另 外   l i n u x   还 提 供 了 一 个 特 别 方 便 的 命 令   s l a b t o p   来 按 照 占 用 内 存 从 大 往 小 进 行 排 列 。 这 个 命 令 用 来 分 析   s l a b   内 存 开 销 非 常 的 方 便 。 无 论 是   ， 还 是   s l a b t o p   命 令 的 输 出 。 里 面 都 包 含 了 每 个   c a c h e   中   s l a b 的 如 下 两 个 关 键 信 息 。 o b j s i z e ： 每 个 对 象 的 大 小 o b j p e r s l a b ： 一 个   s l a b   里 存 放 的 对 象 的 数 量 在     还 多 输 出 了 一 个 p a g e s p e r s l a b 。 展 示 了 一 个 s l a b   占 用 的 页 面 的 数 量 ， 每 个 页 面 4 K ， 这 样 也 就 能 算 出 每 个   s l a b   占 用 的 内 存 大 小 。 最 后 ， s l a b   管 理 器 组 件 提 供 了 若 干 接 口 函 数 ， 方 便 自 己 使 用 。 举 三 个 例 子 ： k m e m _ c a c h e _ c r e a t e :   方 便 地 创 建 一 个 基 于   s l a b   的 内 核 对 象 管 理 器 。 k m e m _ c a c h e _ a l l o c :   快 速 为 某 个 对 象 申 请 内 存 k m e m _ c a c h e _ f r e e :   归 还 对 象 占 用 的 内 存 给   s l a b   管 理 器 在 内 核 的 源 码 中 ， 可 以 大 量 见 到   k m e m _ c a c h e   开 头 函 数 的 使 用 。 总 结 总 结 通 过 上 面 描 述 的 几 个 步 骤 ， 内 核 高 效 地 把 内 存 用 了 起 来 。 / p r o c / s l a b i n f o / p r o c / s l a b i n f o
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理