搜索

[26340] 2020-12-27_进程线程切换究竟需要多少开销？

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2020-12-27_进程线程切换究竟需要多少开销？ 进 程 / 线 程 切 换 究 竟 需 要 多 少 开 销 ？ L i n u x 学 习   2 0 2 0 - 1 2 - 2 7 以 下 文 章 来 源 于 开 发 内 功 修 炼   ， 作 者 张 彦 飞 a l l e n 来 自 公 众 号 ： 来 自 公 众 号 ： 开 发 内 功 修 炼 开 发 内 功 修 炼 进 程 是 操 作 系 统 的 伟 大 发 明 之 一 ， 对 应 用 程 序 屏 蔽 了 C P U 调 度 、 内 存 管 理 等 硬 件 细 节 ， 而 抽 象 出 一 个 进 程 的 概 念 ， 让 应 用 程 序 专 心 于 实 现 自 己 的 业 务 逻 辑 既 可 ， 而 且 在 有 限 的 C P U 上 可 以 “ 同 时 ” 进 行 许 多 个 任 务 。 但 是 它 为 用 户 带 来 方 便 的 同 时 ， 也 引 入 了 一 些 额 外 的 开 销 。 如 下 图 ， 在 进 程 运 行 中 间 的 时 间 里 ， 虽 然 C P U 也 在 忙 于 干 活 ， 但 是 却 没 有 完 成 任 何 的 用 户 工 作 ， 这 就 是 进 程 机 制 带 来 的 额 外 开 销 。 图 1 . j p g 在 进 程 A 切 换 到 进 程 B 的 过 程 中 ， 先 保 存 A 进 程 的 上 下 文 ， 以 便 于 等 A 恢 复 运 行 的 时 候 ， 能 够 知 道 A 进 程 的 下 一 条 指 令 是 啥 。 然 后 将 要 运 行 的 B 进 程 的 上 下 文 恢 复 到 寄 存 器 中 。 这 个 过 程 被 称 为 上 下 文 切 换 。 上 下 文 切 换 开 销 在 进 程 不 多 、 切 换 不 频 繁 的 应 用 场 景 下 问 题 不 大 。 但 是 现 在 L i n u x 操 作 系 统 被 用 到 了 高 并 发 的 网 络 程 序 后 端 服 务 器 。 在 单 机 支 持 成 千 上 万 个 用 户 请 求 的 时 候 ， 这 个 开 销 就 得 拿 出 来 说 道 说 道 了 。 因 为 用 户 进 程 在 请 求 R e d i s 、 M y s q l 数 据 等 网 络 I O 阻 塞 掉 的 时 候 ， 或 者 在 进 程 时 间 片 到 了 ， 都 会 引 发 上 下 文 切 换 。 图 2 . p n g 一 个 简 单 的 进 程 上 下 文 切 换 开 销 测 试 实 验 一 个 简 单 的 进 程 上 下 文 切 换 开 销 测 试 实 验 废 话 不 多 说 ， 我 们 先 用 个 实 验 测 试 一 下 ， 到 底 一 次 上 下 文 切 换 需 要 多 长 的 C P U 时 间 ！ 实 验 方 法 是 创 建 两 个 进 程 并 在 它 们 之 开 发 内 功 修 炼 开 发 内 功 修 炼   . 飞 哥 有 鹅 厂 、 搜 狗   1 0   年 多 的 开 发 工 作 经 验 。 通 过 本 号 ， 我 把 多 年 中 对 于 性 能 的 一 些 深 度 思 考 分 享 给 大 家 。
间 传 送 一 个 令 牌 。 其 中 一 个 进 程 在 读 取 令 牌 时 就 会 引 起 阻 塞 。 另 一 个 进 程 发 送 令 牌 后 等 待 其 返 回 时 也 处 于 阻 塞 状 态 。 如 此 往 返 传 送 一 定 的 次 数 ， 然 后 统 计 他 们 的 平 均 单 次 切 换 时 间 开 销 。 具 体 的 实 验 代 码 参 见 t e s t 0 4 每 次 执 行 的 时 间 会 有 差 异 ， 多 次 运 行 后 平 均 每 次 上 下 文 切 换 耗 时 平 均 每 次 上 下 文 切 换 耗 时 3 . 5 u s 左 右 左 右 。 当 然 了 这 个 数 字 因 机 器 而 异 ， 而 且 建 议 在 实 机 上 测 试 。 前 面 我 们 测 试 系 统 调 用 的 时 候 ， 最 低 值 是 2 0 0 n s 。 可 见 ， 上 下 文 切 换 开 销 要 比 系 统 调 用 的 开 销 要 大 。 系 统 调 用 只 是 在 进 程 内 将 用 户 态 切 换 到 内 核 态 ， 然 后 再 切 回 来 ， 而 上 下 文 切 换 可 是 直 接 从 进 程 A 切 换 到 了 进 程 B 。 显 然 这 个 上 下 文 切 换 需 要 完 成 的 工 作 量 更 大 。 进 程 上 下 文 切 换 开 销 都 有 哪 些 进 程 上 下 文 切 换 开 销 都 有 哪 些 那 么 上 下 文 切 换 的 时 候 ， C P U 的 开 销 都 具 体 有 哪 些 呢 ？ 开 销 分 成 两 种 ， 一 种 是 直 接 开 销 、 一 种 是 间 接 开 销 。 直 接 开 销 就 是 在 切 换 时 ， c p u 必 须 做 的 事 情 ， 包 括 ： 1 、 切 换 页 表 全 局 目 录 2 、 切 换 内 核 态 堆 栈 3 、 切 换 硬 件 上 下 文 （ 进 程 恢 复 前 ， 必 须 装 入 寄 存 器 的 数 据 统 称 为 硬 件 上 下 文 ） i p ( i n s t r u c t i o n   p o i n t e r ) ： 指 向 当 前 执 行 指 令 的 下 一 条 指 令 b p ( b a s e   p o i n t e r ) :   用 于 存 放 执 行 中 的 函 数 对 应 的 栈 帧 的 栈 底 地 址 s p ( s t a c k   p o i n g e r ) :   用 于 存 放 执 行 中 的 函 数 对 应 的 栈 帧 的 栈 顶 地 址 c r 3 : 页 目 录 基 址 寄 存 器 ， 保 存 页 目 录 表 的 物 理 地 址 . . . . . . 4 、 刷 新 T L B 5 、 系 统 调 度 器 的 代 码 执 行 间 接 开 销 主 要 指 的 是 虽 然 切 换 到 一 个 新 进 程 后 ， 由 于 各 种 缓 存 并 不 热 ， 速 度 运 行 会 慢 一 些 。 如 果 进 程 始 终 都 在 一 个 C P U 上 调 度 还 好 一 些 ， 如 果 跨 C P U 的 话 ， 之 前 热 起 来 的 T L B 、 L 1 、 L 2 、 L 3 因 为 运 行 的 进 程 已 经 变 了 ， 所 以 以 局 部 性 原 理 c a c h e 起 来 的 代 码 、 数 据 也 都 没 有 用 了 ， 导 致 新 进 程 穿 透 到 内 存 的 I O 会 变 多 。 其 实 我 们 上 面 的 实 验 并 没 有 很 好 地 测 量 到 这 种 情 况 ， 所 以 实 际 的 上 下 文 切 换 开 销 可 能 比 3 . 5 u s 要 大 。 想 了 解 更 详 细 操 作 过 程 的 同 学 请 参 考 《 深 入 理 解 L i n u x 内 核 》 中 的 第 三 章 和 第 九 章 。 一 个 更 为 专 业 的 测 试 工 具 一 个 更 为 专 业 的 测 试 工 具 - l m b e n c h l m b e n c h 用 于 评 价 系 统 综 合 性 能 的 多 平 台 开 源 b e n c h m a r k ， 能 够 测 试 包 括 文 档 读 写 、 内 存 操 作 、 进 程 创 建 销 毁 开 销 、 网 络 等 性 能 。 使 用 方 法 简 单 ， 但 就 是 跑 有 点 慢 ， 感 兴 趣 的 同 学 可 以 自 己 试 一 试 。 这 个 工 具 的 优 势 是 是 进 行 了 多 组 实 验 ， 每 组 2 个 进 程 、 8 个 、 1 6 个 。 每 个 进 程 使 用 的 数 据 大 小 也 在 变 ， 充 分 模 拟 c a c h e   m i s s 造 #   g c c   m a i n . c   - o   m a i n #   . / m a i n . / m a i n B e f o r e   C o n t e x t   S w i t c h   T i m e 1 5 6 5 3 5 2 2 5 7   s ,   7 7 4 7 6 7   u s A f t e r   C o n t e x t   S W i t c h   T i m e 1 5 6 5 3 5 2 2 5 7   s ,   8 4 2 8 5 2   u s
成 的 影 响 。 我 用 他 测 了 一 下 结 果 如 下 ： l m b e n c h 显 示 的 进 程 上 下 文 切 换 耗 时 从 2 . 7 u s 到 5 . 4 8 之 间 。 线 程 上 下 文 切 换 耗 时 线 程 上 下 文 切 换 耗 时 前 面 我 们 测 试 了 进 程 上 下 文 切 换 的 开 销 ， 我 们 再 继 续 在 L i n u x 测 试 一 下 线 程 。 看 看 究 竟 比 进 程 能 不 能 快 一 些 ， 快 的 话 能 快 多 少 。 在 L i n u x 下 其 实 本 并 没 有 线 程 ， 只 是 为 了 迎 合 开 发 者 口 味 ， 搞 了 个 轻 量 级 进 程 出 来 就 叫 做 了 线 程 。 轻 量 级 进 程 和 进 程 一 样 ， 都 有 自 己 独 立 的 t a s k _ s t r u c t 进 程 描 述 符 ， 也 都 有 自 己 独 立 的 p i d 。 从 操 作 系 统 视 角 看 ， 调 度 上 和 进 程 没 有 什 么 区 别 ， 都 是 在 等 待 队 列 的 双 向 链 表 里 选 择 一 个 t a s k _ s t r u c t 切 到 运 行 态 而 已 。 只 不 过 轻 量 级 进 程 和 普 通 进 程 的 区 别 是 可 以 共 享 同 一 内 存 地 址 空 间 、 代 码 段 、 全 局 变 量 、 同 一 打 开 文 件 集 合 而 已 。 同 一 进 程 下 的 线 程 之 所 有 g e t p i d ( ) 看 到 的 p i d 是 一 样 的 ， 其 实 t a s k _ s t r u c t 里 还 有 一 个 t g i d 字 段 。 对 于 多 线 程 程 序 来 说 ， g e t p i d ( ) 系 统 调 用 获 取 的 实 际 上 是 这 个 t g i d ， 因 此 隶 属 同 一 进 程 的 多 线 程 看 起 来 P I D 相 同 。 我 们 用 一 个 实 验 来 测 试 一 下 t e s t 0 6 。 其 原 理 和 进 程 测 试 差 不 多 ， 创 建 了 2 0 个 线 程 ， 在 线 程 之 间 通 过 管 道 来 传 递 信 号 。 接 到 信 号 就 唤 醒 ， 然 后 再 传 递 信 号 给 下 一 个 线 程 ， 自 己 睡 眠 。 这 个 实 验 里 单 独 考 虑 了 给 管 道 传 递 信 号 的 额 外 开 销 ， 并 在 第 一 步 就 统 计 了 出 来 。 每 次 实 验 结 果 会 有 一 些 差 异 ， 上 面 的 结 果 是 取 了 多 次 的 结 果 之 后 然 后 平 均 的 ， 大 约 每 次 线 程 切 换 开 销 大 约 是 3 . 8 u s 左 右 。 从 从 上 下 文 切 换 的 耗 时 上 来 看 ， 上 下 文 切 换 的 耗 时 上 来 看 ， L i n u x 线 程 （ 轻 量 级 进 程 ） 其 实 和 进 程 差 别 不 太 大 线 程 （ 轻 量 级 进 程 ） 其 实 和 进 程 差 别 不 太 大 。 L i n u x 相 关 命 令 相 关 命 令 既 然 我 们 知 道 了 上 下 文 切 换 比 较 的 消 耗 C P U 时 间 ， 那 么 我 们 通 过 什 么 工 具 可 以 查 看 一 下 L i n u x 里 究 竟 在 发 生 多 少 切 换 呢 ？ 如 果 上 下 文 切 换 已 经 影 响 到 了 系 统 整 体 性 能 ， 我 们 有 没 有 办 法 把 有 问 题 的 进 程 揪 出 来 ， 并 把 它 优 化 掉 呢 ？ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - H o s t                                   O S     2 p / 0 K   2 p / 1 6 K   2 p / 6 4 K   8 p / 1 6 K   8 p / 6 4 K   1 6 p / 1 6 K   1 6 p / 6 4 K                                                   c t x s w     c t x s w     c t x s w   c t x s w     c t x s w       c t x s w       c t x s w - - - - - - - - -   - - - - - - - - - - - - -   - - - - - -   - - - - - -   - - - - - -   - - - - - -   - - - - - -   - - - - - - -   - - - - - - - b j z w _ 4 6 _ 7   L i n u x   2 . 6 . 3 2 -   2 . 7 8 0 0   2 . 7 8 0 0   2 . 7 0 0 0   4 . 3 8 0 0   4 . 0 4 0 0   4 . 7 5 0 0 0   5 . 4 8 0 0 0 #   g c c   - l p t h r e a d   m a i n . c   - o   m a i n 0 . 5 0 8 2 5 0     4 . 3 6 3 4 9 5    
或 者 是 上 图 的 环 境 是 一 台 生 产 环 境 机 器 ， 配 置 是 8 核 8 G 的 K V M 虚 机 ， 环 境 是 在 n g i n x + f p m 的 ， f p m 数 量 为 1 0 0 0 ， 平 均 每 秒 处 理 的 用 户 接 口 请 求 大 约 1 0 0 左 右 。 其 中 c s 列 列 表 示 的 就 是 在 1 s 内 系 统 发 生 的 上 下 文 切 换 次 数 ， 大 约 1 s 切 换 次 数 都 达 到 4 W 次 了 。 粗 略 估 算 一 下 ， 每 核 大 约 每 秒 需 要 切 换 5 K 次 ， 则 1 s 内 需 要 花 将 近 2 0 m s 在 上 下 文 切 换 上 。 要 知 道 这 是 虚 机 ， 本 身 在 虚 拟 化 上 还 会 有 一 些 额 外 开 销 ， 而 且 还 要 真 正 消 耗 C P U 在 用 户 接 口 逻 辑 处 理 、 系 统 调 用 内 核 逻 辑 处 理 、 以 及 网 络 连 接 的 处 理 以 及 软 中 断 ， 所 以 2 0 m s 的 开 销 实 际 上 不 低 了 。 那 么 进 一 步 ， 我 们 看 下 到 底 是 哪 些 进 程 导 致 了 频 繁 的 上 下 文 切 换 ？ 由 于 f p m 是 同 步 阻 塞 的 模 式 ， 每 当 请 求 R e d i s 、 M e m c a c h e 、 M y s q l 的 时 候 就 会 阻 塞 导 致 c s w c h / s 自 愿 上 下 文 切 换 ， 而 只 有 时 间 片 到 了 之 后 才 会 触 发 n v c s w c h / s 非 自 愿 切 换 。 可 见 f p m 进 程 大 部 分 的 切 换 都 是 自 愿 的 、 非 自 愿 的 比 较 少 。 如 果 想 查 看 具 体 某 个 进 程 的 上 下 文 切 换 总 情 况 ， 可 以 在 / p r o c 接 口 下 直 接 看 ， 不 过 这 个 是 总 值 。 本 节 结 论 本 节 结 论 #   v m s t a t   1 p r o c s   - - - - - - - - - - - m e m o r y - - - - - - - - - -   - - - s w a p - -   - - - - - i o - - - -   - - s y s t e m - -   - - - - - c p u - - - - -   r     b       s w p d       f r e e       b u f f     c a c h e       s i       s o         b i         b o       i n       c s   u s   s y   i d   w a   s t   2     0             0   5 9 5 5 0 4       5 7 2 4   1 9 0 8 8 4         0         0       2 9 5       2 9 7         0         0   1 4     6   7 5     0     4       5     0             0   5 9 3 0 1 6       5 7 3 2   1 9 3 2 8 8         0         0           0         9 2   1 9 8 8 9   2 9 1 0 4   2 0     6   6 7     0     7       3     0             0   5 9 1 2 9 2       5 7 3 2   1 9 5 4 7 6         0         0           0           0   2 0 1 5 1   2 8 4 8 7   2 0     6   6 6     0     8       4     0             0   5 8 9 2 9 6       5 7 3 2   1 9 6 8 0 0         0         0       1 1 6       3 8 4   1 9 3 2 6   2 7 6 9 3   2 0     7   6 7     0     7       4     0             0   5 8 6 9 5 6       5 7 4 0   1 9 9 4 9 6         0         0       2 1 6         2 4   1 8 3 2 1   2 4 0 1 8   2 2     8   6 2     0     8     #   s a r   - w   1 p r o c / s           T o t a l   n u m b e r   o f   t a s k s   c r e a t e d   p e r   s e c o n d . c s w c h / s           T o t a l   n u m b e r   o f   c o n t e x t   s w i t c h e s   p e r   s e c o n d . 1 1 : 1 9 : 2 0   A M         p r o c / s       c s w c h / s 1 1 : 1 9 : 2 1   A M         1 1 0 . 2 8     2 3 4 6 8 . 2 2 1 1 : 1 9 : 2 2   A M         1 2 8 . 8 5     3 3 9 1 0 . 5 8 1 1 : 1 9 : 2 3   A M           4 7 . 5 2     4 0 7 3 3 . 6 6 1 1 : 1 9 : 2 4   A M           3 5 . 8 5     3 0 9 7 2 . 6 4 1 1 : 1 9 : 2 5   A M           4 7 . 6 2     2 4 9 5 1 . 4 3 1 1 : 1 9 : 2 6   A M           4 7 . 5 2     4 2 9 5 0 . 5 0 . . . . . . #   p i d s t a t   - w   1 1 1 : 0 7 : 5 6   A M               P I D       c s w c h / s   n v c s w c h / s     C o m m a n d 1 1 : 0 7 : 5 6   A M           3 2 3 1 6             4 . 0 0             0 . 0 0     p h p - f p m 1 1 : 0 7 : 5 6   A M           3 2 5 0 8         1 6 0 . 0 0           3 4 . 0 0     p h p - f p m 1 1 : 0 7 : 5 6   A M           3 2 7 2 6         1 3 1 . 0 0             8 . 0 0     p h p - f p m . . . . . . g r e p   c t x t   / p r o c / 3 2 5 8 3 / s t a t u s v o l u n t a r y _ c t x t _ s w i t c h e s :                 5 7 3 0 6 6 n o n v o l u n t a r y _ c t x t _ s w i t c h e s :           8 9 2 6 0
上 下 文 切 换 具 体 做 哪 些 事 情 我 们 没 有 必 要 记 ， 只 需 要 记 住 一 个 结 论 既 可 ， 测 得 作 者 开 发 机 上 下 文 切 换 的 开 销 大 约 是 上 下 文 切 换 的 开 销 大 约 是 2 . 7 - 5 . 4 8 u s 左 右 左 右 ， 你 自 己 的 机 器 可 以 用 我 提 供 的 代 码 或 工 具 进 行 一 番 测 试 。 l m b e n c h 相 对 更 准 确 一 些 ， 因 为 考 虑 了 切 换 后 C a c h e   m i s s 导 致 的 额 外 开 销 。 参 考 文 献 参 考 文 献 进 程 上 下 文 切 换 ， 残 酷 的 性 能 杀 手 测 试 上 下 文 切 换 开 销 进 程 上 下 文 切 换 导 致 L o a d 过 高 C P U 上 下 文 切 换 的 次 数 和 时 间 L i n u x 操 作 系 统 测 试 工 具 l m b e n c h 官 方 文 档 l m b e n c h 安 装 与 使 用 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理