搜索

[26298] 2020-11-05_为什么NUMA会影响程序的延迟

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2020-11-05_为什么NUMA会影响程序的延迟 为 什 么   N U M A   会 影 响 程 序 的 延 迟 L i n u x 学 习   2 0 2 0 - 1 1 - 0 5 以 下 文 章 来 源 于 真 没 什 么 逻 辑   ， 作 者 D r a v e n e s s 来 自 公 众 号 ： 真 没 什 么 逻 辑 来 自 公 众 号 ： 真 没 什 么 逻 辑 链 接 ： h t t p s : / / d r a v e n e s s . m e / w h y s - t h e - d e s i g n - n u m a - p e r f o r m a n c e / 为 什 么 这 么 设 计 （ W h y ’ s   T H E   D e s i g n ） 是 一 系 列 关 于 计 算 机 领 域 中 程 序 设 计 决 策 的 文 章 ， 我 们 在 这 个 系 列 的 每 一 篇 文 章 中 都 会 提 出 一 个 具 体 的 问 题 并 从 不 同 的 角 度 讨 论 这 种 设 计 的 优 缺 点 、 对 具 体 实 现 造 成 的 影 响 。 如 果 你 有 想 要 了 解 的 问 题 ， 可 以 在 文 章 下 面 留 言 。 非 一 致 性 内 存 访 问 （ N o n - U n i f o r m   M e m o r y   A c c e s s 、 N U M A ） 是 一 种 计 算 机 内 存 的 设 计 方 式 [ ^ 1 ] ， 与   N U M A   相 对 的 还 有 一 致 性 内 存 访 问 （ U n i f o r m   M e m o r y   A c c e s s 、 U M A ） ， 也 被 称 作 对 称 多 处 理 器 架 构 （ S y m m e t r i c   M u l t i - P r o c e s s o r 、 S M P ） ， 早 期 的 计 算 机 都 会 使 用   S M P ， 然 而 现 代 的 多 数 计 算 机 都 会 采 用   N U M A   架 构 管 理   C P U   和 内 存 资 源 。 u m a - a n d - n u m a 图 图   1   -   U M A   和 和   N U M A 作 为 应 用 程 序 的 开 发 者 ， 因 为 操 作 系 统 为 我 们 屏 蔽 了 很 多 硬 件 层 面 的 实 现 细 节 ， 所 以 不 太 需 要 直 接 接 触 硬 件 ， 不 过 因 为   N U M A   会 影 响 应 用 程 序 ， 所 以 想 要 写 出 高 性 能 、 低 延 迟 的 服 务 ， N U M A   是 我 们 必 须 要 了 解 并 熟 悉 的 ， 本 文 将 从 以 下 两 个 方 面 介 绍 它 的 影 响 ： N U M A   引 入 了 本 地 内 存 和 远 程 内 存 ， C P U   访 问 本 地 内 存 的 延 迟 会 小 于 访 问 远 程 内 存 ； N U M A   的 内 存 分 配 与 内 存 回 收 策 略 结 合 时 会 可 能 会 导 致   L i n u x   的 频 繁 交 换 分 真 没 什 么 逻 辑 真 没 什 么 逻 辑   . 系 统 设 计 、 微 服 务 架 构 和 云 原 生 技 术
区 （ S w a p ） 进 而 影 响 系 统 的 稳 定 性 ； 本 地 内 存 本 地 内 存 如 果 主 机 使 用   N U M A   这 种 架 构 设 计 ， 那 么   C P U   访 问 本 地 内 存 的 延 迟 会 小 于 访 问 远 程 内 存 访 问 本 地 内 存 的 延 迟 会 小 于 访 问 远 程 内 存 ， 这 种 现 象 并 不 是   C P U 设 计 者 刻 意 制 造 的 ， 而 是 物 理 层 面 的 限 制 。 不 过   N U M A   这 种 设 计 并 不 是 与 计 算 机 一 同 诞 生 的 ， 我 们 在 继 续 分 析 N U M A   对 程 序 的 影 响 之 前 先 来 分 析 一 下   C P U   架 构 的 演 进 过 程 。 在 计 算 机 诞 生 的 最 初 几 十 年 ， 处 理 器 基 本 都 是 单 核 的 ， 根 据 摩 尔 定 律 ， 随 着 技 术 的 进 步 ， 处 理 器 的 性 能 每 隔 两 年 就 会 翻 一 倍 [ ^ 2 ] ， 这 一 定 律 在 上 个 世 纪 基 本 都 是 生 效 的 ， 然 而 在 过 去 十 几 年 ， 单 个 处 理 器 中 晶 体 管 数 目 的 增 加 速 度 逐 渐 放 缓 ， 很 多 厂 商 开 始 推 出 了 双 核 以 及 多 核 的 计 算 机 。 m o o r e s - l a w 图 图   2   -   摩 尔 定 律 摩 尔 定 律 单 核 或 者 多 核 计 算 机 上 的   C P U   最 早 会 通 过 前 端 总 线 （ F r o n t - s i d e   b u s ） 、 北 桥 （ N o r t h b r i d g e ） 和 内 存 总 线 （ M e m o r y b u s ） 访 问 内 存 槽 中 的 内 存 ， 所 有 的   C P U   会 通 过 相 同 的 总 线 访 问 相 同 的 内 存 以 及   I / O   设 备 ， 计 算 机 中 的 所 有 资 源 都 是 共 享 的 ， 这 种 架 构 被 称 作 对 称 多 处 理 器 架 构 （ S y m m e t r i c   M u l t i - P r o c e s s o r 、 S M P ） ， 也 被 称 为 一 致 存 储 器 访 问 结 构 （ U n i f o r m   M e m o r y   A c c e s s 、 U M A ） 。
s i n g l e - a n d - m u l t i - c o r e 图 图   3   -   单 核 和 多 核 处 理 器 单 核 和 多 核 处 理 器 然 而 随 着 计 算 机 中   C P U   数 量 的 增 加 ， 多 个   C P U   都 需 要 通 过 总 线 和 北 桥 访 问 内 存 ， 当 同 一 个 主 机 中 包 含 几 十 个   C P U 时 ， 总 线 和 北 桥 两 个 模 块 成 为 了 系 统 的 瓶 颈 ， 为 了 解 决 这 一 问 题 ， C P U   架 构 的 设 计 者 使 用 如 下 所 示 的 多 个   C P U   模 块 解 决 了 这 个 问 题 ： n u m a - l o c a l - r e m o t e - a c c e s s 图 图   4   -   双 节 点 双 节 点   N U M A   架 构 架 构 如 上 图 所 示 ， 该 主 机 中 包 含   2   个   N U M A   节 点 ， 每 个   N U M A   节 点 都 包 含 物 理   C P U   和 内 存 ， 从 图 中 我 们 可 以 看 出 C P U   1   访 问 本 地 内 存 和 远 程 内 存 会 经 过 不 同 的 通 道 ， 这 是 访 问 内 存 时 间 不 同 的 根 本 原 因 。 操 作 系 统 作 为 管 理 计 算 机 硬 件 、 软 件 资 源 并 为 应 用 程 序 提 供 通 用 服 务 的 软 件 ， 它 本 身 就 会 与 底 层 的 硬 件 打 交 道 ， L i n u x   操 作 系 统 就 会 为 我 们 提 供 硬 件 相 关 的   N U M A   信 息 ， 你 可 以 直 接 通 过  
  命 令 查 看 机 器 上 的   N U M A   节 点 [ ^ 3 ] ： 从 上 述 输 出 结 果 我 们 可 以 看 出 ， 该 机 器 上 包 含 两 个   N U M A   节 点 ， 每 个 节 点 上 都 包 含   2 4   个   C P U   以 及   6 4 G B   的 内 存 ， 最 后 的 节 点 距 离 （ n o d e   d i s t a n c e s ） 告 诉 我 们 两 个   N U M A   节 点 访 问 内 存 的 开 销 ， 其 中   N U M A   节 点   0   和   N U M A   节 点   1 互 相 访 问 对 方 内 存 的 延 迟 是 各 自 节 点 访 问 本 地 内 存 的   2 . 1   倍 （ 2 1   /   1 0   =   2 . 1 ） ， 所 以 如 果   N U M A   节 点   0   上 的 进 程 如 果 在 节 点   1   上 分 配 内 存 ， 会 增 加 进 程 的 延 迟 。 正 是 因 为   N U M A   节 点 访 问 不 同 内 存 的 开 销 不 同 ， 所 以 操 作 系 统 会 为 应 用 程 序 提 供 接 口 控 制   C P U   和 内 存 的 分 配 策 略 ， 在   L i n u x   系 统 中 ， 我 们 可 以 使 用     命 令 控 制 进 程 使 用 的   C P U   和 内 存 。   提 供 了     和     两 种 策 略 为 进 程 分 配   C P U ， 这 两 种 策 略 分 别 提 供 了 不 同 粒 度 的 绑 定 方 法 ：   —   将 进 程 绑 定 到 某 几 个   N U M A   节 点 上 ；   —   将 进 程 绑 定 到 某 几 个 物 理   C P U   上 ； 除 了 这 两 种   C P U   分 配 策 略 之 外 ，   还 提 供 四 种 不 同 的 内 存 分 配 策 略 ， 分 别 是 ： n u m a c t l $   n u m a c t l   - H a v a i l a b l e :   2   n o d e s   ( 0 - 1 ) n o d e   0   c p u s :   0   1   2   3   4   5   6   7   8   9   1 0   1 1   2 4   2 5   2 6   2 7   2 8   2 9   3 0   3 1   3 2   3 3   3 4   3 5 n o d e   0   s i z e :   6 3 5 3 9   M B n o d e   0   f r e e :   1 8 5 6 6   M B n o d e   1   c p u s :   1 2   1 3   1 4   1 5   1 6   1 7   1 8   1 9   2 0   2 1   2 2   2 3   3 6   3 7   3 8   3 9   4 0   4 1   4 2   4 3   4 4   4 5   4 6   4 7 n o d e   1   s i z e :   6 4 4 8 5   M B n o d e   1   f r e e :   2 0 7 1 6   M B n o d e   d i s t a n c e s : n o d e       0       1     0 :     1 0     2 1     1 :     2 1     1 0 n u m a c t l n u m a c t l c p u n o d e b i n d p h y s c p u b i n d c p u n o d e b i n d p h y s c p u b i n d n u m a c t l
、 、   和   ：   —   总 是 在 当 前 节 点 上 分 配 内 存 ；   —   倾 向 于 在 特 定 节 点 上 分 配 内 存 ， 当 指 定 节 点 的 内 存 不 足 时 ， 操 作 系 统 会 在 其 他 节 点 上 分 配 ；   —   只 能 在 传 入 的 几 个 节 点 上 分 配 内 存 ， 当 指 定 节 点 的 内 存 不 足 时 ， 内 存 的 分 配 就 会 失 败 ；   —   内 存 会 在 传 入 的 节 点 上 依 次 分 配 （ R o u n d   R o b i n ） ， 当 指 定 节 点 的 内 存 不 足 时 ， 操 作 系 统 会 在 其 他 节 点 上 分 配 ； 上 述 的 两 种   C P U   分 配 策 略 和 四 种 内 存 分 配 策 略 是 我 们 与   N U M A   打 交 道 时 经 常 需 要 接 触 的 ， 当 进 程 的 性 能 受 到 N U M A   的 影 响 时 ， 我 们 可 能 需 要 通 过     命 令 调 整   C P U   或 者 内 存 的 分 配 策 略 。 交 换 分 区 交 换 分 区 N U M A   架 构 虽 然 能 够 解 决 总 线 上 的 性 能 瓶 颈 并 可 以 让 我 们 在 同 一 个 主 机 上 运 行 更 多 的   C P U ， 但 是 如 果 不 了 解 N U M A   的 工 作 原 理 或 者 使 用 错 误 的 策 略 会 带 来 一 些 问 题 ， J e r e m y   C o l e   的 文 章   T h e   M y S Q L   “ s w a p   i n s a n i t y ”   p r o b l e m   a n d t h e   e f f e c t s   o f   t h e   N U M A   a r c h i t e c t u r e   就 曾 经 分 析 过   N U M A   架 构 下   M y S Q L   可 能 出 现 的 问 题   —   频 繁 发 生 的 交 换 分 区 影 响 服 务 延 迟 [ ^ 4 ] ， 我 们 在 这 里 简 单 介 绍 一 下 该 问 题 背 后 的 原 因 ： l o c a l a l l o c p r e f e r r e d m e m b i n d i n t e r l e a v e l o c a l a l l o c p r e f e r r e d m e m b i n d i n t e r l e a v e n u m a c t l
u n e v e n - m e m o r y - n o d e 图 图   5   -   分 配 不 均 匀 的 内 存 分 配 不 均 匀 的 内 存 因 为   M y S Q L   等 数 据 库 的 运 行 会 占 用 大 量 的 内 存 ， 在 默 认 情 况 进 程 会 先 在 所 在 的   N U M A   节 点 上 分 配 内 存 ， 当 本 地 内 存 不 足 时 ， 才 会 在 远 程 分 配 内 存 。 如 上 图 所 示 ， 主 机 上 包 含 两 个   N U M A   节 点 ， 其 中 每 个 节 点 都 有   3 2 G B   的 内 存 ， 但 是 当   M y S Q L   I n n o D B   的 缓 存 池 占 用   4 8 G B   的 内 存 时 ， 它 会 在   N U M A   节 点   0   和   N U M A   节 点   1   分 别 分 配   3 2 G B   和   1 6 G B 的 内 存 。 虽 然   4 8 G B   的 内 存 远 远 没 有 到 达 主 机   6 4 G B   的 内 存 上 限 ， 但 是 当 某 些 数 据 必 须 要 在   N U M A   节 点   0   的 内 存 上 分 配 时 ， 就 会 导 致   N U M A   节 点   0   中 的 内 存 被 交 换 到 了 文 件 系 统 上 为 新 的 内 存 请 求 让 出 位 置 [ ^ 5 ] ， I n n o D B   缓 存 池 中 内 存 的 频 繁 换 入 和 换 出 会 使   M y S Q L   的 查 询 随 机 地 出 现 延 迟 ， 而 一 旦 发 生 了 交 换 分 区 ， 可 能 就 是 性 能 螺 旋 下 降 的 开 始 。 L i n u x   中 的     可 以 允 许 工 程 师 设 置 在   N U M A   节 点 内 存 不 足 时 内 存 的 回 收 策 略 ， 在 默 认 情 况 下 该 模 式 都 会 处 于 关 闭 状 态 [ ^ 6 ] ， 如 果 我 们 在   N U M A   系 统 中 通 过 该 配 置 启 用 了 激 进 的 内 存 回 收 策 略 ， 可 能 会 影 响 程 序 的 性 能 [ ^ 7 ] ， M y S Q L   也 会 受 到 内 存 回 收 策 略 的 影 响 ， 但 是 仅 仅 关 闭 该 策 略 并 不 会 解 决 它 遇 到 的 频 繁 触 发 交 换 分 区 的 问 题 [ ^ 8 ] 。 想 要 解 决 该 问 题 ， 我 们 需 要 使 用 上 一 节 提 到 的     将 内 存 的 分 配 策 略 改 为   ， 使 用 该 内 存 分 配 策 略 会 使 得   M y S Q L   的 内 存 均 匀 地 分 配 到 不 同 的   N U M A   节 点 上 ， 能 够 降 低 页 面 频 繁 换 入 换 出 的 可 能 性 。 z o n e _ r e c l a i m _ m o d e $   c a t   / p r o c / s y s / v m / z o n e _ r e c l a i m _ m o d e 0 n u m a c t l i n t e r l e a v e
e v e n - m e m o r y - n o d e 图 图   6   -   分 配 均 匀 的 内 存 分 配 均 匀 的 内 存 该 问 题 并 不 是   M y S Q L   独 有 的 ， 很 多 占 用 大 量 内 存 的 数 据 库 都 会 遇 到 上 述 问 题 ， 虽 然 使 用     能 够 暂 时 解 决 这 些 问 题 ， 但 是   M y S Q L   进 程 访 问 远 程 内 存 时 ， 与 本 地 内 存 相 比 仍 然 会 遇 到 性 能 损 失 ， 想 要 一 劳 永 逸 地 避 免 服 务 在   N U M A   上 运 行 的 额 外 开 销 ， 最 好 的 办 法 还 是 开 发 能 够 感 知 底 层   N U M A   架 构 的 应 用 程 序 。 以   M y S Q L 为 例 ， J e r e m y   C o l e   在 文 章 中 提 出 了 如 下 的 修 改 ， 可 以 更 好 地 利 用   N U M A   的 本 地 内 存 [ ^ 9 ] ： 将 缓 存 池 中 的 数 据 按 照 块 或 者 索 引 智 能 地 分 配 到 不 同 节 点 上 ； 为 正 常 的 查 询 线 程 保 留 默 认 的 分 配 策 略 ， 内 存 还 是 会 优 先 分 配 本 地 节 点 上 ； 将 简 单 的 查 询 线 程 重 新 调 度 到 能 够 访 问 本 地 内 存 的 节 点 上 ； 除 了   M y S Q L   可 以 利 用   N U M A   来 提 高 性 能 之 外 ， 一 些 框 架 或 者 编 程 语 言 也 可 以 通 过 感 知 底 层 的   N U M A   信 息 来 提 升 服 务 的 响 应 速 度 ， 例 如   G o   语 言 社 区 中 就 有 关 于   N U M A   感 知 调 度 的 设 计 文 档 [ ^ 1 0 ] ， 虽 然 由 于 该 特 性 的 实 现 过 于 复 杂 ， 目 前 没 有 投 入 到 开 发 中 ， 但 是 这 仍 然 是 调 度 器 未 来 的 发 展 方 向 。 总 结 总 结 很 多 软 件 工 程 师 可 能 认 为 操 作 系 统 以 及 底 层 的 硬 件 与 我 们 的 距 离 非 常 遥 远 ， 我 们 在 开 发 软 件 时 不 需 要 考 虑 这 么 多 细 节 ， 对 于 绝 大 多 数 的 应 用 程 序 来 说 ， 这 一 点 都 是 成 立 的 ， 操 作 系 统 能 够 为 我 们 屏 蔽 很 多 底 层 的 实 现 细 节 ， 让 我 们 能 够 将 更 多 的 精 力 投 入 到 业 务 逻 辑 的 实 现 上 。 不 过 正 如 我 们 在 文 章 中 提 到 的 ， 哪 怕 操 作 系 统 做 出 再 多 的 隔 离 和 抽 象 ， 物 理 世 界 存 在 的 限 制 还 是 会 在 暗 处 影 响 我 们 的 应 用 程 序 ， 想 要 开 发 高 性 能 的 软 件 必 须 要 关 注 下 两 层 甚 至 更 底 层 的 实 现 细 节 ， N U M A   这 种 硬 件 层 面 的 设 计 就 会 深 刻 的 影 响 我 们 的 软 件 ， 这 里 再 来 回 顾 一 下 文 章 开 头 提 到 的 两 点 影 响 ： N U M A   引 入 了 本 地 内 存 和 远 程 内 存 ， C P U   访 问 本 地 内 存 的 延 迟 会 小 于 访 问 远 程 内 存 ； N U M A   的 内 存 分 配 与 内 存 回 收 策 略 结 合 时 会 可 能 会 导 致   L i n u x   的 频 繁 交 换 分 区 （ S w a p ） 进 而 影 响 系 统 的 稳 定 性 ； i n t e r l e a v e
我 们 当 然 更 希 望 主 机 上 的 所 有 主 机 上 的 所 有   C P U   都 能 够 快 速 地 访 问 全 部 的 内 存 都 能 够 快 速 地 访 问 全 部 的 内 存 ， 但 是 硬 件 的 限 制 导 致 我 们 无 法 实 现 这 么 理 想 的 情 况 ， 而   N U M A   可 能 是   C P U   架 构 发 展 的 必 然 方 向 ， 通 过 将   C P U   和 内 存 资 源 分 组 降 低 总 线 的 压 力 ， 让 单 个 主 机 容 纳 很 多 的   C P U 。 到 最 后 ， 我 们 还 是 来 看 一 些 比 较 开 放 的 相 关 问 题 ， 有 兴 趣 的 读 者 可 以 仔 细 思 考 一 下 下 面 的 问 题 ： N U M A   架 构 最 多 可 以 支 持 多 少   C P U ？ 该 架 构 又 存 在 哪 些 瓶 颈 ？ M P P （ M a s s i v e   P a r a l l e l   P r o c e s s i n g ） 是 如 何 扩 展 系 统 的 ？ 它 解 决 了 哪 些 问 题 ？ 如 果 对 文 章 中 的 内 容 有 疑 问 或 者 想 要 了 解 更 多 软 件 工 程 上 一 些 设 计 决 策 背 后 的 原 因 ， 可 以 在 博 客 下 面 留 言 ， 作 者 会 及 时 回 复 本 文 相 关 的 疑 问 并 选 择 其 中 合 适 的 主 题 作 为 后 续 的 内 容 。 参 考 资 料 参 考 资 料 O p t i m i z i n g   L i n u x   M e m o r y   M a n a g e m e n t   f o r   L o w - l a t e n c y   /   H i g h - t h r o u g h p u t D a t a b a s e s   h t t p s : / / e n g i n e e r i n g . l i n k e d i n . c o m / p e r f o r m a n c e / o p t i m i z i n g - l i n u x - m e m o r y - m a n a g e m e n t - l o w - l a t e n c y - h i g h - t h r o u g h p u t - d a t a b a s e s N U M A   ( N o n - U n i f o r m   M e m o r y   A c c e s s ) :   A n   O v e r v i e w h t t p s : / / q u e u e . a c m . o r g / d e t a i l . c f m ? i d = 2 5 1 3 1 4 9 P o s t g r e S Q L ,   N U M A   a n d   z o n e   r e c l a i m   m o d e   o n   l i n u x   h t t p : / / f r o s t y - p o s t g r e s . b l o g s p o t . c o m / 2 0 1 2 / 0 8 / p o s t g r e s q l - n u m a - a n d - z o n e - r e c l a i m - m o d e . h t m l 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理