搜索

[26325] 2020-12-09_为了追求更快，CPU、内存、IO都做了哪些努力？

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2020-12-09_为了追求更快，CPU、内存、IO都做了哪些努力？ 为 了 追 求 更 快 ， C P U 、 内 存 、 I / O 都 做 了 哪 些 努 力 ？ L i n u x 学 习   2 0 2 0 - 1 2 - 0 9 以 下 文 章 来 源 于 编 程 技 术 宇 宙   ， 作 者 轩 辕 之 风 来 自 公 众 号 ： 来 自 公 众 号 ： 编 程 技 术 宇 宙 编 程 技 术 宇 宙 背 景 背 景 高 性 能 高 并 发 技 术 ， 感 觉 有 好 多 技 术 要 学 ， 东 学 一 点 ， 西 学 一 点 ， 不 成 体 系 。 直 到 有 一 次 面 试 ， 遇 到 了 一 个 大 牛 ， 问 到 了 这 方 面 ， 结 果 被 虐 的 体 无 完 肤 。 幸 运 的 是 ， 这 位 大 牛 不 但 技 术 一 流 ， 还 认 真 跟 我 交 流 了 学 习 心 得 ， 怎 么 样 去 有 体 系 的 系 统 去 梳 理 这 方 面 的 技 术 知 识 ， 而 不 是 瞎 学 。 C P U 不 管 什 么 样 的 编 程 语 言 ， 什 么 样 的 代 码 框 架 ， 最 终 都 是 由 C P U 去 执 行 完 成 的 （ 当 然 这 么 说 不 太 准 确 ， 也 有 G P U 、 T P U 、 协 处 理 器 等 其 他 情 况 ， 当 然 这 不 是 本 文 探 讨 的 重 点 ） 。 所 以 要 想 提 高 性 能 ， 提 高 并 发 量 ， 首 要 问 题 就 是 如 何 让 首 要 问 题 就 是 如 何 让 C P U 跑 的 更 快 ？ 跑 的 更 快 ？ 这 个 问 题 ， 也 是 一 直 以 来 C P U 厂 商 一 直 在 努 力 追 求 的 方 向 。 如 何 让 C P U 更 快 ？ C P U 厂 商 做 了 两 个 方 面 的 努 力 ： 加 快 指 令 执 行 的 速 度 加 快 指 令 执 行 的 速 度 编 程 技 术 宇 宙 编 程 技 术 宇 宙   . 一 个 文 章 很 酷 的 公 众 号 ~
加 快 加 快 C P U 读 取 数 据 的 速 度 读 取 数 据 的 速 度 对 于 第 一 个 方 向 ， C P U 执 行 指 令 的 快 慢 ， 是 跟 C P U 的 主 频 紧 密 相 关 的 ， 如 何 更 快 的 取 指 令 、 指 令 译 码 、 执 行 ， 缩 短 C P U 的 指 令 周 期 ， 提 升 主 频 在 相 当 长 一 段 时 间 里 都 是 非 常 有 效 的 办 法 。 从 几 百 M H z ， 到 如 今 到 几 G H z ， C P U 主 频 有 了 长 足 的 进 步 ， 相 同 时 间 里 能 够 执 行 的 指 令 数 变 的 更 多 了 。 对 于 第 二 个 方 向 ， 如 何 提 升 C P U 读 取 数 据 的 速 度 ， 答 案 就 是 加 缓 存 加 缓 存 ， 利 用 局 部 性 原 理 局 部 性 原 理 将 内 存 中 经 常 会 访 问 的 数 据 搬 运 到 C P U 中 ， 这 样 大 大 提 升 了 存 取 速 度 。 从 一 级 缓 存 ， 到 二 级 缓 存 ， 乃 至 三 级 缓 存 ， C P U 缓 存 的 层 级 和 容 量 也 在 不 断 提 升 ， 读 写 数 据 的 时 间 省 了 不 少 。 但 随 着 时 间 到 推 移 ， 尤 其 进 入 2 1 世 纪 之 后 ， 处 理 器 厂 商 发 现 ， 进 一 步 提 升 主 频 变 得 越 来 越 困 难 了 ， C P U 的 缓 存 也 很 难 进 一 步 扩 容 。 怎 么 办 呢 ？ 既 然 一 个 人 干 活 的 速 度 已 经 很 难 再 提 升 ， 那 何 不 多 找 几 个 人 一 起 干 ？ 于 是 ， 多 核 技 术 多 核 技 术 来 了 ， 一 个 C P U 里 面 有 多 个 核 心 ， 众 人 划 桨 开 大 船 ， C P U 的 速 度 再 一 次 腾 飞 ～ 甚 至 ， 让 一 个 核 在 “ 闲 暇 时 间 ” ， 利 用 “ 闲 置 资 源 ” 去 执 行 另 外 的 线 程 ， 诞 生 了 让 一 个 核 “ 同 时 ” 执 行 两 个 线 程 的 超 线 程 技 术 超 线 程 技 术 。 上 面 简 单 交 代 了 为 了 提 升 性 能 ， C P U 所 做 的 努 力 。 但 是 光 是 C P U 快 是 没 用 的 ， 还 需 要 我 们 更 好 的 去 利 用 开 发 ， 否 则 就 是 对 C P U 算 力 的 浪 费 。 上 面 提 到 了 线 程 线 程 ， 是 的 ， 如 何 提 高 性 能 ， 提 高 并 发 量 ？ 使 用 多 线 程 技 术 多 线 程 技 术 当 然 是 一 个 非 常 好 的 思 路 。 但 多 线 程 的 引 入 ， 就 不 得 不 提 到 两 个 跟 线 程 有 关 的 话 题 ： 线 程 同 步 线 程 阻 塞 多 个 线 程 协 同 工 作 ， 必 然 会 引 入 同 步 的 问 题 ， 常 规 解 决 方 案 是 加 锁 加 锁 ， 加 锁 的 线 程 一 般 会 进 入 阻 塞 。 线 程 遇 到 阻 塞 了 ， 就 需 要 切 换 ， 而 切 换 是 有 一 定 的 成 本 开 销 的 ， 不 仅 是 系 统 调 度 的 时 间 开 销 ， 还 可 能 有 C P U 缓 存 失 效 的 损 失 。 如 果 线 程 频 频 加 锁 ， 频 频 阻 塞 ， 那 这 个 损 失 就 相 当 可 观 了 。 为 了 提 升 性 能 ， 无 锁 编 程 技 术 无 锁 编 程 技 术 就 出 现 了 ， 利 用 C P U 提 供 的 机 制 ， 提 供 更 轻 量 的 加 锁 方 案 。
同 时 ， 为 了 让 切 换 后 的 线 程 仍 然 能 够 在 之 前 的 C P U 核 心 上 运 行 ， 降 低 缓 存 损 失 ， 线 程 的 线 程 的 C P U 亲 和 性 绑 亲 和 性 绑 定 技 术 定 技 术 也 出 现 了 。 现 代 操 作 系 统 都 是 以 时 间 片 的 形 式 来 调 度 分 配 给 多 个 线 程 使 用 。 如 果 时 间 片 还 没 用 完 就 因 为 这 样 或 那 样 的 原 因 将 执 行 机 会 拱 手 相 让 ， 那 线 程 也 太 亏 了 。 于 是 ， 有 人 提 出 要 充 分 利 用 C P U ， 别 让 线 程 阻 塞 ， 交 出 执 行 权 ， 自 己 在 应 用 层 实 现 多 个 执 行 流 的 调 度 ， 这 里 阻 塞 了 ， 就 去 执 行 那 里 ， 总 之 要 把 时 间 片 充 分 用 完 ， 这 就 诞 生 了 协 程 技 术 协 程 技 术 ， 阻 塞 了 不 要 紧 ， 我 还 能 干 别 的 ， 不 要 轻 易 发 生 线 程 切 换 。 内 存 内 存 与 C P U 工 作 相 关 的 第 一 亲 密 伙 伴 就 是 内 存 了 ， 二 者 协 作 才 能 唱 好 一 出 戏 。 提 升 内 存 访 问 的 速 度 ， 同 样 是 高 性 能 开 发 话 题 重 要 组 成 部 分 ！ 提 升 内 存 访 问 的 速 度 ， 同 样 是 高 性 能 开 发 话 题 重 要 组 成 部 分 ！ 那 如 何 提 升 呢 ？ 硬 件 层 面 程 序 员 是 很 难 改 变 的 ， 咱 们 只 好 从 软 件 层 面 下 功 夫 。 内 存 的 管 理 经 历 了 从 实 地 址 模 式 到 分 页 式 内 存 管 理 ， 如 今 的 计 算 机 中 ， C P U 拿 的 的 地 址 都 是 虚 拟 地 址 ， 这 中 间 就 会 涉 及 到 地 址 的 转 换 ， 在 这 里 就 有 文 章 可 做 ， 有 两 个 方 向 可 以 努 力 ： 减 少 缺 页 异 常 使 用 大 页 技 术 现 代 操 作 系 统 ， 基 本 上 都 会 使 用 一 个 叫 换 页 换 页 / 交 换 文 件 交 换 文 件 的 技 术 ： 内 存 空 间 有 限 ， 但 进 程 越 来 越 多 ， 对 内 存 空 间 的 需 求 越 来 越 大 ， 用 完 了 怎 么 办 ？ 于 是 在 硬 盘 上 划 分 一 块 区 域 出 来 ， 把 内 存 中 很 久 不 用 的 数 据 转
移 到 这 块 区 域 上 来 ， 等 程 序 用 到 的 时 候 ， 触 发 访 问 异 常 ， 再 在 异 常 处 理 函 数 中 将 其 从 硬 盘 读 取 进 来 。 可 以 想 象 ， 如 果 程 序 访 问 的 内 存 老 是 不 在 内 存 中 ， 而 是 被 交 换 到 了 硬 盘 上 ， 就 会 频 繁 触 发 缺 页 异 常 ， 那 程 序 的 性 能 肯 定 大 打 折 扣 ， 所 以 减 少 缺 页 异 常 也 是 提 升 性 能 的 好 办 法 。 从 虚 拟 地 址 寻 址 真 实 的 物 理 内 存 ， 这 个 过 程 是 C P U 完 成 的 ， 具 体 来 说 ， 就 是 通 过 查 表 查 表 ， 从 页 表 - > 一 级 页 目 录 - > 二 级 页 目 录 - > 物 理 内 存 。 页 目 录 和 页 表 是 存 在 内 存 中 的 ， 毫 无 疑 问 ， 内 存 寻 址 是 一 个 非 常 非 常 高 频 的 事 情 ， 时 时 刻 刻 都 在 发 生 ， 而 多 次 查 表 势 必 是 很 慢 的 ， 有 鉴 于 此 ， C P U 引 入 了 一 个 叫 T L B （ T r a n s l a t i o n   L o o k -   a s i d e   b u f f e r ） 的 东 西 ， 使 用 缓 存 页 表 项 的 方 式 来 减 少 内 存 查 表 的 操 作 ， 加 快 寻 址 速 度 。 默 认 情 况 下 ， 操 作 系 统 是 以 4 K B 为 单 位 管 理 内 存 页 的 ， 对 于 一 些 需 要 大 量 内 存 的 服 务 器 程 序 （ R e d i s 、 J V M 、 E l a s c t i c S e a r c h 等 等 ） ， 动 辄 就 是 几 十 个 G ， 按 照 4 K B 的 单 位 划 分 ， 那 得 产 生 多 少 的 页 表 项 啊 ！ 而 C P U 中 的 T L B 的 大 小 是 有 限 的 ， 内 存 越 多 ， 页 表 项 也 就 越 多 ， T L B 缓 存 失 效 的 概 率 也 就 越 大 。 所 以 ， 大 页 内 存 技 术 大 页 内 存 技 术 就 出 现 了 ， 4 K B 太 小 ， 就 弄 大 点 。 大 页 内 存 技 术 的 出 现 ， 减 少 了 缺 页 异 常 的 出 现 次 数 ， 也 提 高 了 T L B 命 中 的 概 率 ， 对 于 提 升 性 能 有 很 大 的 帮 助 。 在 一 些 高 配 置 的 服 务 器 上 ， 内 存 数 量 庞 大 ， 而 C P U 多 个 核 都 要 通 过 内 存 总 线 访 问 内 存 ， 可 想 而 知 ， C P U 核 数 上 去 以 后 ， 内 存 总 线 的 竞 争 势 必 也 会 加 剧 。 于 是 N U M A 架 构 架 构 出 现 了 ， 把 C P U 核 心 划 分 不 同 的 分 组 ， 各 自 使 用 自 己 的 内 存 访 问 总 线 ， 提 高 内 存 的 访 问 速 度 。 I / O C P U 和 内 存 都 够 快 了 ， 但 这 还 是 不 够 。 我 们 的 程 序 日 常 工 作 中 ， 除 了 一 些 C P U 密 集 型 的 程 序 （ 执 行 数 学 运 算 ， 加 密 解 密 ， 机 器 学 习 等 等 ） 以 外 ， 相 当 一 部 分 时 间 都 是 在 执 行 I / O ， 如 读 写 硬 盘 文 件 、 收 发 网 络 数 据 包 等 等 。
所 以 ， 如 何 提 升 如 何 提 升 I / O 的 速 度 ， 是 高 性 能 开 发 技 术 领 域 一 个 重 要 的 话 题 的 速 度 ， 是 高 性 能 开 发 技 术 领 域 一 个 重 要 的 话 题 。 因 为 I / O 会 涉 及 到 与 外 设 （ 硬 盘 、 网 卡 等 ） 的 交 互 ， 而 这 些 外 设 又 通 常 是 非 常 慢 （ 相 对 C P U 执 行 速 度 ） 的 ， 所 以 正 常 情 况 下 ， 线 程 执 行 到 I / O 操 作 时 难 免 会 阻 塞 ， 这 也 是 前 面 在 C P U 部 分 提 到 过 的 。 阻 塞 以 后 那 就 没 办 法 干 活 了 ， 为 了 能 干 活 ， 那 就 开 多 个 线 程 。 但 线 程 资 源 是 很 昂 贵 的 ， 没 办 法 大 量 使 用 ， 况 且 线 程 多 了 ， 多 个 线 程 切 换 调 度 同 样 是 很 花 时 间 的 。 那 可 不 可 以 让 线 程 执 行 I / O 时 不 阻 塞 呢 ？ 于 是 ， 新 的 技 术 又 出 现 了 ： 非 阻 塞 I / O I / O 多 路 复 用 异 步 I / O 原 来 的 阻 塞 I / O 是 一 直 等 ， 等 到 I / O 的 完 成 ， 非 阻 塞 非 阻 塞 I / O 一 般 是 轮 询 ， 可 以 去 干 别 的 事 ， 过 一 会 儿 就 来 问 一 下 ： 好 了 没 有 ？ 但 每 个 线 程 都 去 轮 询 也 不 是 个 事 儿 啊 ， 干 脆 交 给 一 个 线 程 去 专 门 负 责 吧 ， 这 就 是 I / O 多 路 复 用 多 路 复 用 ， 通 过 s e l e c t / p o l l 的 方 式 只 用 一 个 线 程 就 可 以 处 理 多 个 I / O 目 标 。 再 然 后 ， 再 改 进 一 下 ， 用 e p o l l ， 连 轮 询 也 不 用 了 ， 改 用 内 核 唤 醒 通 知 的 机 制 ， 同 时 处 理 的 I / O 目 标 还 更 多 了 。 异 步 异 步 I / O 就 更 爽 了 ， 设 置 一 个 回 调 函 数 ， 自 己 干 别 的 事 去 了 ， 回 头 操 作 系 统 叫 你 来 收 数 据 就 好 了 。
再 说 回 到 I / O 本 身 ， 会 将 数 据 在 内 存 和 外 设 之 间 传 输 ， 如 果 数 据 量 很 大 ， 让 C P U 去 搬 运 数 据 的 话 ， 既 耗 时 又 没 有 技 术 含 量 ， 这 是 对 C P U 算 力 的 很 大 浪 费 。 所 以 ， 为 了 将 C P U 从 中 解 放 出 来 ， 又 诞 生 了 一 门 技 术 ： 直 接 内 存 访 问 直 接 内 存 访 问 D M A ， 把 数 据 的 传 输 工 作 外 包 出 去 ， 交 由 D M A 控 制 器 来 完 成 ， C P U 只 在 背 后 发 号 施 令 即 可 。 有 了 D M A ， 再 也 不 用 麻 烦 C P U 去 执 行 数 据 的 搬 运 工 作 。 但 对 于 应 用 程 序 而 言 ， 想 要 把 文 件 通 过 网 络 发 送 出 去 ， 还 是 要 把 数 据 在 内 核 态 空 间 和 用 户 态 空 间 来 回 折 腾 两 次 ， 这 两 步 还 得 C P U 出 马 去 复 制 拷 贝 ， 属 于 一 种 浪 费 ， 为 了 解 决 这 个 问 题 ， 提 升 性 能 ， 又 进 一 步 产 生 了 零 拷 贝 技 术 零 拷 贝 技 术 ， 彻 底 为 C P U 减 负 。 算 法 架 构 算 法 架 构 C P U 、 内 存 、 I / O 都 够 快 了 ， 单 台 计 算 机 的 性 能 已 经 很 难 提 升 了 。 不 过 ， 现 在 的 服 务 器 很 少 是 单 打 独 斗 了 ， 接 下 来 就 要 把 目 光 转 移 到 算 法 、 架 构 上 来 了 。 一 台 服 务 器 搞 不 定 ， 那 就 用 硬 件 堆 出 性 能 来 ， 分 布 式 集 群 技 术 分 布 式 集 群 技 术 和 负 载 均 衡 技 术 负 载 均 衡 技 术 就 派 上 用 场 了 。 这 年 头 ， 哪 个 后 端 服 务 没 有 数 据 库 ？ 如 何 让 数 据 库 更 快 ？ 该 轮 到 索 引 技 术 索 引 技 术 上 了 ， 通 过 给 数 据 库 建 立 索 引 ， 提 升 检 索 速 度 。 但 数 据 库 这 家 伙 的 数 据 毕 竟 是 存 在 硬 盘 上 的 ， 读 取 的 时 候 势 必 会 慢 ， 要 是 大 量 的 数 据 请 求 都 怼 上 来 ， 这 谁 顶 得 住 ？ 于 是 基 于 内 存 的 数 据 库 缓 存 数 据 库 缓 存 R e d i s 、 M e m c a c h e d 应 运 而 生 ， 毕 竟 ， 访 问 内 存 比 从 数 据 库 查 询 快 得 多 。 算 法 架 构 这 一 块 的 技 术 实 在 太 多 了 ， 也 是 从 一 个 普 通 码 农 通 往 架 构 师 的 必 经 之 路 ， 咱 们 下 回 再 聊 。 总 结 总 结 高 性 能 、 高 并 发 是 后 端 开 发 永 恒 追 求 的 话 题 。 每 一 项 技 术 都 不 是 凭 空 出 现 的 ， 一 定 是 为 了 解 决 某 个 问 题 而 提 出 。 我 们 在 学 这 些 技 术 的 时 候 ， 掌 握 它 出 现 的 原 因 ， 和 其 他 技 术 之 间 的 关 联 ， 在 自 己 的 大 脑 中 建 立 一 座 技 术 知 识 层 级 图 ， 一 定 能 事 半 功 倍 。
这 幅 图 中 的 绝 大 多 数 技 术 ， 我 之 前 都 有 对 应 的 趣 味 故 事 文 章 进 行 阐 述 ， 欢 迎 大 家 去 翻 一 番 ～ 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理