搜索

[26440] 2021-05-26_Linux调度系统全景指南(终结篇)

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2021-05-26_Linux调度系统全景指南(终结篇) L i n u x 调 度 系 统 全 景 指 南 ( 终 结 篇 ) L i n u x 学 习   2 0 2 1 - 0 5 - 2 6 以 下 文 章 来 源 于 极 客 重 生   ， 作 者 A l e x 码 农 的 艺 术 来 自 公 众 号 ： 来 自 公 众 号 ： 极 客 重 生 极 客 重 生 |   导 语 本 文 主 要 是 讲 L i n u x 的 调 度 系 统 ,   本 篇 是 终 结 篇 ， 主 要 讲 当 前 多 核 系 统 调 度 策 略 和 调 度 优 化 ， 调 度 可 以 说 是 操 作 系 统 的 灵 魂 ， 为 了 让 C P U 资 源 利 用 最 大 化 ， L i n u x 设 计 了 一 套 非 常 精 细 的 调 度 系 统 ， 对 大 多 数 场 景 都 进 行 了 很 多 优 化 ， 系 统 扩 展 性 强 ， 我 们 可 以 根 据 业 务 模 型 和 业 务 场 景 的 特 点 ， 有 针 对 性 的 去 进 行 性 能 优 化 。 欢 迎 大 家 相 互 交 流 学 习 ！                                                             目 录 目 录 极 客 重 生 极 客 重 生   . 大 厂 资 深 工 程 师 ， 专 注 硬 核 知 识 分 享 ， 包 括 云 计 算 ， 后 台 开 发 ， 网 络 ， 高 性 能 服 务 器 ， L i n u x 内 核 ， 丰 富 面 试 & 职 场 经 验 ,   转 行 互 联 网 ， 帮 助 你 收 获 更 好 的 自 己 。

上 篇 请 看 （ C P U 和 中 断 ） ： L i n u x 调 度 系 统 全 景 指 南 ( 上 篇 ) 中 篇 请 看 （ 抢 占 和 时 钟 ） ： L i n u x 调 度 系 统 全 景 指 南 ( 中 篇 ) 下 篇 请 看 （ 进 程 和 线 程 ） ： L i n u x 调 度 系 统 全 景 指 南 ( 下 篇 )                                                                                                       多 核 调 度 多 核 调 度 在 单 核 系 统 中 ， 调 度 器 只 需 要 考 虑 任 务 执 行 先 后 顺 序 的 问 题 ， 在 多 核 系 统 中 ， 除 了 任 务 先 后 问 题 ， 调 度 器 还 需 要 考 虑 C P U 分 配 问 题 。 也 就 是 说 ， 在 多 核 系 统 中 ， 调 度 器 还 需 要 决 定 任 务 在 哪 个 C P U 上 运 行 ， 需 要 尽 量 做 到 公 平 和 整 体 性 能 最 大 化 。 一 般 来 说 ， 调 度 器 可 以 被 划 分 为 以 下 几 类 ： （ （ 1 ） 全 局 类 （ ） 全 局 类 （ G l o b a l ） ） ： 即 一 个 调 度 器 就 可 以 管 理 系 统 中 的 所 有 C P U ， 任 务 可 以 在 C P U 之 间 自 由 迁 移 。 （ （ 2 ） 集 群 类 （ ） 集 群 类 （ C l u s t e r e d ） ） ： 系 统 中 的 C P U 被 分 成 互 不 相 交 的 几 个 c l u s t e r ， 调 度 器 负 责 调 度 任 务 到 c l u s t e r 内 的 C P U 上 去 。 （ （ 3 ） 分 区 类 （ ） 分 区 类 （ P a r t i t i o n e d   ） ） ： 每 个 调 度 器 只 管 自 己 的 那 个 C P U ， 系 统 有 多 少 个 C P U 就 有 多 少 个 调 度 器 实 体 。 （ （ 4 ） 任 意 类 （ ） 任 意 类 （ A r b i t r a r y   ） ） ： 每 一 个 任 务 都 可 以 运 行 在 任 何 一 个 C P U 集 合 上 。   内 核 调 度 系 统 针 对 内 核 调 度 系 统 针 对 C P U 架 构 演 进 ： 单 架 构 演 进 ： 单 C P U - > S M P - > N U M A - > 复 杂 混 合 架 构 ， 复 杂 混 合 架 构 ，   做 了 针 对 性 的 优 化 设 计 ； 做 了 针 对 性 的 优 化 设 计 ； S M P               S M P   （ （ S y m m e t r i c   M u l t i p r o c e s s i n g ） ， ） ， 对 称 多 处 理 器 .   顾 名 思 义 ,   在 S M P 中 所 有 的 处 理 器 都 是 对 等 的 ,   它 们 通 过 总 线 连 接 共 享 同 一 块 物 理 内 存 ， 这 也 就 导 致 了 系 统 中 所 有 资 源 ( C P U 、 内 存 、 I / O 等 ) 都 是 共 享 的 ， 其 架 构 简 单 ， 但 是 拓 展 性 能 比 较 差 。
多 处 理 器 系 统 上 ， 内 核 必 须 考 虑 几 个 额 外 的 问 题 ， 以 确 保 良 好 的 调 度 效 率 。   C P U 负 荷 必 须 尽 可 能 公 平 地 在 所 有 的 处 理 器 上 共 享 。 如 果 一 个 处 理 器 负 责 3 个 并 发 的 应 用 程 序 ， 而 另 一 个 只 能 处 理 空 闲 进 程 ， 那 是 没 有 意 义 的 。 进 程 与 系 统 中 某 些 处 理 器 的 亲 合 性 （ a f f i n i t y ） 必 须 是 可 设 置 的 。 例 如 在 4 个 C P U 系 统 中 ， 可 以 将 计 算 密 集 型 应 用 程 序 绑 定 到 前 3 个 C P U ， 而 剩 余 的 （ 交 互 式 ） 进 程 则 在 第 4 个 C P U 上 运 行 。 内 核 必 须 能 够 将 进 程 从 一 个 C P U 迁 移 到 另 一 个 。 但 该 选 项 必 须 谨 慎 使 用 ， 因 为 它 会 严 重 危 害 性 能 。 在 小 型 S M P 系 统 上 C P U 高 速 缓 存 是 最 大 的 问 题 。 对 于 真 正 大 型 系 统 ，   C P U 与 迁 移 进 程 此 前 使 用 的 物 理 内 存 距 离 可 能 有 若 干 米 ， 因 此 对 该 进 程 内 存 的 访 问 代 价 高 昂 。 进 程 对 特 定 C P U 的 亲 合 性   ， 定 义 在 t a s k _ s t r u c t 的   c p u s _ a l l o w e d   成   员   中   。 L i n u x   提 供 了 s c h e d _ s e t a f f i n i t y 系 统 调 用 ， 可 修 改 进 程 与 C P U 的 现 有 分 配 关 系 在 S M P 系 统 上 ， 每 个 调 度 器 类 的 调 度 方 法 必 须 增 加 两 个 额 外 的 函 数 ： l o a d _ b a l a n c e ： ： 允 许 从 最 忙 的 就 绪 队 列 分 配 多 个 进 程 到 当 前 C P U ， 但 移 动 的 负 荷 不 能 比 m a x _ l o a d _ m o v e 更 多 ， 每 当 内 核 认 为 有 必 要 重 新 均 衡 时 ， 核 心 调 度 器 代 码 都 会 调 用 这 些 函 数 ； m o v e _ o n e _ t a s k ： ： m o v e _ o n e _ t a s k 则 使 用 了 i t e r _ m o v e _ o n e _ t a s k ， 从 最 忙 碌 的 就 绪 队 列 移 出 一 个 进 程 ， 迁 移 到 当 前 C P U 的 就 绪 队 列 ； 在 S M P 系 统 上 ， 周 期 性 调 度 器 函 数 s c h e d u l e r _ t i c k 按 上 文 所 述 完 成 所 有 系 统 都 需 要 的 任 务 之 后 ， 会 调 用 t r i g g e r _ l o a d _ b a l a n c e 函 数 ， 这 会 引 发 S C H E D U L E _ S O F T I R Q 软 中 断 s o f t I R Q ， 该 中 断 确 保 会 在 适 当 的 时 机 执 行 r u n _ r e b a l a n c e _ d o m a i n s 。 该 函 数 最 终 对 当 前 C P U 调 用 r e b a l a n c e _ d o m a i n s ， 实 现 负 载 均 衡 。   N U M A                
非 统 一 内 存 访 问 架 构 非 统 一 内 存 访 问 架 构 （ 英 语 ： N o n - u n i f o r m   m e m o r y   a c c e s s ， 简 称 N U M A ） 是 一 种 为 多 处 理 器 的 电 脑 设 计 的 内 存 架 构 ， 内 存 访 问 时 间 取 决 于 内 存 相 对 于 处 理 器 的 位 置 。 在 N U M A 下 ， 处 理 器 访 问 它 自 己 的 本 地 内 存 的 速 度 比 非 本 地 内 存 （ 内 存 位 于 另 一 个 处 理 器 ， 或 者 是 处 理 器 之 间 共 享 的 内 存 ） 快 一 些 ； 非 统 一 内 存 访 问 架 构 的 特 点 是 ： 被 共 享 的 内 存 物 理 上 是 分 布 式 的 ， 所 有 这 些 内 存 的 集 合 就 是 全 局 地 址 空 间 。 所 以 处 理 器 访 问 这 些 内 存 的 时 间 是 不 一 样 的 ， 显 然 访 问 本 地 内 存 的 速 度 要 比 访 问 全 局 共 享 内 存 或 远 程 访 问 外 地 内 存 要 快 些 。 另 外 ， N U M A 中 内 存 可 能 是 分 层 的 ： 本 地 内 存 ， 群 内 共 享 内 存 ， 全 局 共 享 内 存 ； 在 N U M A 中 还 有 三 个 节 点 的 概 念 ：                 本 地 节 点 ： 对 于 某 个 节 点 中 的 所 有 C P U ， 此 节 点 称 为 本 地 节 点 。                 邻 居 节 点 ： 与 本 地 节 点 相 邻 的 节 点 称 为 邻 居 节 点 。                 远 端 节 点 ： 非 本 地 节 点 或 邻 居 节 点 的 节 点 ， 称 为 远 端 节 点 。 C P U 访 问 不 同 类 型 节 点 内 存 的 速 度 是 不 相 同 的 ， 访 问 本 地 节 点 的 速 度 最 快 ， 访 问 远 端 节 点 的 速 度 最 慢 ， 即 访 问 速 度 与 节 点 的 距 离 有 关 ， 距 离 越 远 访 问 速 度 越 慢 ， 此 距 离 称 作 N o d e   D i s t a n c e 。 正 是 因 为 有 这 个 特 点 ， 所 以 我 们 的 应 用 程 序 要 尽 量 的 减 少 不 通 C P U 模 块 之 间 的 交 互 ， 也 就 是 说 ， 如 果 你 的 应 用 程 序 能 有 方 法 固 定 在 一 个 C P U 模 块 里 ， 那 么 你 的 应 用 的 性 能 将 会 有 很 大 的 提 升 ； 调 度 域 （ 调 度 域 （ S c h e d u l i n g   D o m a i n ） ） S c h e d u l i n g   D o m a i n s   是 现 代 硬 件 技 术 尤 其 是 多   C P U   多 核 技 术 发 展 的 产 物 。 现 在 ， 一 个 复 杂 的 高 端 系 统 由 上 到 下 可 以 这 样 构 成 ： 它 是 一 个   N U M A   架 构 的 系 统 ， 系 统 中 的 每 个   N o d e   访 问 系 统 中 不 同 区 域 的 内 存 有 不 同 的 速 度 。 同 时 它 又 是 一 个   S M P   系 统 。 由 多 个 物 理   C P U ( P h y s i c a l   P a c k a g e )   构 成 。 这 些 物 理   C P U   共
享 系 统 中 所 有 的 内 存 。 但 都 有 自 己 独 立 的   C a c h e   。 每 个 物 理   C P U   又 由 多 个 核   ( C o r e )   构 成 ， 即   M u l t i - c o r e   技 术 或 者 叫   C h i p - l e v e l   M u l t i p r o c e s s o r ( C M P )   。 这 些 核 都 被 集 成 在 一 块   d i e   里 面 。 一 般 有 自 己 独 立 的   L 1   C a c h e ， 但 可 能 共 享   L 2   C a c h e   。 每 个 核 中 又 通 过   S M T   之 类 的 技 术 实 现 多 个 硬 件 线 程 ， 或 者 叫   V i r t u a l   C P U (   比 如   I n t e l   的 H y p e r - t h r e a d i n g   技 术   )   。 这 些 硬 件 线 程 ， 逻 辑 上 看 是 就 是 一 个   C P U   。 它 们 之 间 几 乎 所 有 的 东 西 都 共 享 。 包 括   L 1   C a c h e ， 甚 至 是 逻 辑 运 算 单 元   ( A L U )   以 及   P o w e r   。 在 上 述 系 统 中 ， 最 小 的 执 行 单 元 是 逻 辑   C P U ， 进 程 的 调 度 执 行 也 是 相 对 于 逻 辑   C P U   的 。 因 此 ， 后 文 皆 简 称 逻 辑   C P U   为   C P U ， 是 物 理   C P U   时 会 特 别 说 明 。 在 这 样 复 杂 的 系 统 ， 调 度 器 要 解 决 的 一 个 首 要 问 题 就 是 如 何 发 挥 这 么 多   C P U   的 性 能 ， 使 得 负 载 均 衡 。 不 存 某 些   C P U   一 直 很 忙 ， 进 程 在 排 队 等 待 运 行 ， 而 某 些   C P U   却 是 处 于 空 闲 状 态 。 但 是 在 这 些   C P U   之 间 进 行   L o a d   B a l a n c e   是 有 代 价 的 ， 比 如 对 处 于 两 个 不 同 物 理   C P U   的 进 程 之 间 进 行 负 载 平 衡 的 话 ， 将 会 使 得   C a c h e   失 效 。 造 成 效 率 的 下 降 。 而 且 过 多 的   L o a d B a l a n c e   会 大 量 占 用   C P U   资 源 ， 为 了 解 决 上 述 的 这 些 问 题 ， 内 核 开 发 人 员   N i c k   P i g g i n   等 人 在   L i n u x   2 . 6   中 引 入 基 于   S c h e d u l i n g D o m a i n s   的 解 决 方 案 。                         每 个   S c h e d u l i n g   D o m a i n   其 实 就 是 具 有 相 同 属 性 的 一 组   c p u   的 集 合 。 并 且 跟 据   H y p e r - t h r e a d i n g ,   M u l t i - c o r e ,   S M P ,   N U M A   a r c h i t e c t u r e s   这 样 的 系 统 结 构 划 分 成 不 同 的 级 别 。 不 同 级 之 间 通 过 指 针 链 接 在 一 起 ， 从 而 形 成 一 种 的 树 状 的 关 系 ; 负 载 平 衡 就 是 针 对   S c h e d u l i n g   d o m a i n   的 。 从 叶 节 点 往 上 遍 历 。 直 到 所 有 的   d o m a i n   中 的 负 载 都 是 平 衡 的 。 当 然 对 不 同 的   d o m a i n   会 有 不 同 的 策 略 识 别 是 否 负 载 不 平 衡 ， 以 及 不 同 的 调 度 策 略 。 通 过 这 样 的 方 式 ， 从 而 很 好 的 发 挥 众 多   c p u   的 效 率 ; 基 于   S c h e d u l i n g   D o m a i n s   的 调 度 器 引 入 了 一 组 新 的 数 据 结 构 。 下 面 先 讲 一 下 两 个 主 要 的 数 据 结 构 : s t r u c t   s c h e d _ d o m a i n :   代 表 一 个   S c h e d u l i n g   D o m a i n ， 也 就 是 一 个   C P U   集 合 ， 这 个 集 合 里 所 有 的   C P U   都 具 有 相 同 的 属 性 和 调 度 策 略 。 L o a d   B a l a n c e   是 针 对 每 个   d o m a i n   里 的   C P U   进 行 的 。 这 里 要 注 意   S c h e d u l i n g   D o m a i n s   是 分 级 的 。 像 上 节 所 讲 的 复 杂 系 统 就 分 为   A l l n u m a _ d o m a i n , N u m a _ d o m a i n ,   P h y _ d o m a i n ,   C o r e _ d o m a i n , S m t _ d o m a i n ( C p u _ d o m a i n )   五 个 等 级 。 s t r u c t   s c h e d _ g r o u p :   每 个   S c h e d u l i n g   d o m a i n   都 有 一 个 或 多 个   C P U   g r o u p ， 每 个   g r o u p
都 被   d o m a i n   当 做 一 个 单 独 的 单 元 来 对 待 。 L o a d   B a l a n c e   就 是 在 这 些   C P U   g r o u p   之 间 的   C P U   进 行 的 。                                                                                                                           调 度 优 化 调 度 优 化         当 前 主 流 服 务 器 都 是 多 核 ， 多 处 理 器 ， 多 N U M A 等 多 C P U 架 构 系 统 ， 很 多 程 序 都 同 时 跑 着 服 务 器 里 面 ， 怎 么 最 大 化 利 用 当 前 C P U 资 源 ，   让 整 体 运 行 效 率 更 高 呢 ？ 调 度 优 化 的 本 质 调 度 优 化 的 本 质     C P U 资 源 和 任 务 之 间 最 优 匹 配 这 里 讨 论 C P U 调 度 优 化 一 些 比 较 常 见 的 优 化 点 ， 即 包 括 怎 么 提 升 C P U 性 能 ， 怎 么 提 升 单 个 程 序 性 能 ， 也 包 括 怎 么 提 升 整 个 系 统 的 性 能 ， 后 面 计 划 会 详 细 讨 论 关 于 性 能 优 化 等 内 容 ， 本 篇 探 讨 了 一 些 优 化 点 ： 性 能 瓶 颈 性 能 瓶 颈 在 进 行 任 何 性 能 优 化 前 ， 有 个 很 重 要 的 前 提 原 则 是 要 找 到 性 能 瓶 颈 点 ， 然 后 才 能 针 对 性 优 化 ， 这 要 求 我 们 学 会 用 性 能 分 析 工 具 ：
p e r f   p e r f   s t a t   采 集 程 序 运 行 事 件 ， 用 于 分 析 指 定 程 序 的 性 能 概 况 ： t a s k - c l o c k ： 目 标 任 务 真 真 占 用 处 理 器 的 时 间 ， 单 位 是 毫 秒 ， 我 们 称 之 为 任 务 执 行 时 间 ， 后 面 是 任 务 的 处 理 器 占 用 率 （ 执 行 时 间 和 持 续 时 间 的 比 值 ） 。 持 续 时 间 值 从 任 务 提 交 到 任 务 结 束 的 总 时 间 （ 总 时 间 在 s t a t 结 束 之 后 会 打 印 出 来 ） 。 C P U   利 用 率 ， 该 值 高 ， 说 明 程 序 的 多 数 时 间 花 费 在   C P U   计 算 上 而 非   I O 。 c o n t e x t - s w i t c h e s ： 上 下 文 切 换 次 数 ， 前 半 部 分 是 切 换 次 数 ， 后 面 是 平 均 每 秒 发 生 次 数 （ M 是 1 0 的 6 次 方 ） 。
c p u - m i g r a t i o n s ： 处 理 器 迁 移 ， l i n u x 为 了 位 置 各 个 处 理 器 的 负 载 均 衡 ， 会 在 特 定 的 条 件 下 将 某 个 任 务 从 一 个 处 理 器 迁 往 另 外 一 个 处 理 器 ， 此 时 便 是 发 生 了 一 次 处 理 器 迁 移 。 即 被 调 度 器 从 一 个   C P U   转 移 到 另 外 一 个   C P U   上 运 行 。 p a g e - f a u l t ： 缺 页 异 常 ， l i n u x 内 存 管 理 子 系 统 采 用 了 分 页 机 制 ， 当 应 用 程 序 请 求 的 页 面 尚 未 建 立 、 请 求 的 页 面 不 在 内 存 中 或 者 请 求 的 页 面 虽 在 在 内 存 中 ， 但 是 尚 未 建 立 物 理 地 址 和 虚 拟 地 址 的 映 射 关 系 是 ， 会 触 发 一 次 缺 页 异 常 。 c y c l e s ： 任 务 消 耗 的 处 理 器 周 期 数 ； 处 理 器 时 钟 ， 一 条 机 器 指 令 可 能 需 要 多 个   c y c l e s ； i n s t r u c t i o n s ： 任 务 执 行 期 间 产 生 的 处 理 器 指 令 数 ， I P C （ i n s t r u c t i o n s   p e r f   c y c l e ） I P C （ I n s t r u c t i o n s / C y c l e s   ） 是 评 价 处 理 器 与 应 用 程 序 性 能 的 重 要 指 标 。 （ 很 多 指 令 需 要 多 个 处 理 周 期 才 能 执 行 完 毕 ） ， I P C 越 大 越 好 ， 说 明 程 序 充 分 利 用 了 处 理 器 的 特 征 。 b r a n c h e s ： 程 序 在 执 行 期 间 遇 到 的 分 支 指 令 数 。 b r a n c h - m i s s e s ： 预 测 错 误 的 分 支 指 令 数 c a c h e - m i s s e s ： c a c h e 时 效 的 次 数 c a c h e - r e f e r e n c e s ： c a c h e 的 命 中 次 数 p e r f   t o p   对 系 统 性 能 进 行 实 时 分 析 ： 可 以 观 察 到 当 前 函 数 C P U 使 用 占 比 ； 可 以 查 看 当 前 系 统 最 耗 时 的 内 核 函 数 或 某 个 用 户 进 程 ； 可 以 查 看 到 当 前 耗 时 的 指 令 ； C P U   火 焰 图 火 焰 图
支 持 多 种 工 具 源 ， 可 以 从 包 含 堆 栈 跟 踪 的 任 何 配 置 文 件 数 据 生 成 火 焰 图 ， 包 括 从 以 下 配 置 文 件 工 具 生 成 ： L i n u x :   p e r f ,   e B P F ,   S y s t e m T a p ,   a n d   k t a p S o l a r i s ,   i l l u m o s ,   F r e e B S D :   D T r a c e M a c   O S   X :   D T r a c e   a n d   I n s t r u m e n t s W i n d o w s :   X p e r f . e x e 可 以 查 看 哪 些 代 码 路 径 很 热 （ C P U 占 有 率 高 ） 。 可 以 显 示 堆 栈 路 径 上 C P U 消 耗 ， 找 到 耗 时 的 最 多 的 函 数 ； g p e r f   性 能 检 测 性 能 检 测
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理