搜索

[26272] 2020-10-10_为什么CPU访问硬盘很慢

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2020-10-10_为什么CPU访问硬盘很慢 为 什 么   C P U   访 问 硬 盘 很 慢 L i n u x 学 习   2 0 2 0 - 1 0 - 1 0 以 下 文 章 来 源 于 真 没 什 么 逻 辑   ， 作 者 D r a v e n e s s 来 自 公 众 号 ： 来 自 公 众 号 ： 真 没 什 么 逻 辑 真 没 什 么 逻 辑 链 接 ： h t t p s : / / d r a v e n e s s . m e / w h y s - t h e - d e s i g n - c p u - a n d - d i s k / 为 什 么 这 么 设 计 （ W h y ’ s   T H E   D e s i g n ） 是 一 系 列 关 于 计 算 机 领 域 中 程 序 设 计 决 策 的 文 章 ， 我 们 在 这 个 系 列 的 每 一 篇 文 章 中 都 会 提 出 一 个 具 体 的 问 题 并 从 不 同 的 角 度 讨 论 这 种 设 计 的 优 缺 点 、 对 具 体 实 现 造 成 的 影 响 。 如 果 你 有 想 要 了 解 的 问 题 ， 可 以 在 文 章 下 面 留 言 。 机 械 硬 盘 （ H a r d   D i s k   D r i v e 、 H D D ） 和 固 态 硬 盘 （ S o l i d   S t a t e   D r i v e 、 S S D ） 是 两 种 最 常 见 的 硬 盘 ， 作 为 计 算 机 的 外 部 存 储 ， C P U   想 要 访 问 它 们 存 储 的 数 据 需 要 很 长 时 间 ， 如 下 表 所 示 ， 在   S S D   中 随 机 访 问   4 K B   数 据 所 需 要 的 时 间 是 访 问 主 存 的   1 , 5 0 0   倍 ， 机 械 磁 盘 的 寻 道 时 间 是 访 问 主 存 的   1 0 0 , 0 0 0   倍 ： 真 没 什 么 逻 辑 真 没 什 么 逻 辑   . 系 统 设 计 、 微 服 务 架 构 和 云 原 生 技 术
W o r k L a t e n c y L 1   c a c h e   r e f e r e n c e 0 . 5   n s B r a n c h   m i s p r e d i c t 5       n s L 2   c a c h e   r e f e r e n c e 7       n s M u t e x   l o c k / u n l o c k 2 5       n s M a i n   m e m o r y   r e f e r e n c e 1 0 0       n s C o m p r e s s   1 K   b y t e s   w i t h   Z i p p y 3 , 0 0 0       n s S e n d   1 K   b y t e s   o v e r   1   G b p s   n e t w o r k 1 0 , 0 0 0       n s R e a d   4 K   r a n d o m l y   f r o m   S S D * 1 5 0 , 0 0 0       n s R e a d   1   M B   s e q u e n t i a l l y   f r o m   m e m o r y 2 5 0 , 0 0 0       n s R o u n d   t r i p   w i t h i n   s a m e   d a t a c e n t e r 5 0 0 , 0 0 0       n s R e a d   1   M B   s e q u e n t i a l l y   f r o m   S S D * 1 , 0 0 0 , 0 0 0       n s D i s k   s e e k 1 0 , 0 0 0 , 0 0 0       n s R e a d   1   M B   s e q u e n t i a l l y   f r o m   d i s k 2 0 , 0 0 0 , 0 0 0       n s S e n d   p a c k e t   C A - > N e t h e r l a n d s - > C A 1 5 0 , 0 0 0 , 0 0 0       n s 表 表   1   -   2 0 1 2   年 延 迟 数 字 对 比 年 延 迟 数 字 对 比 [ ^ 1 ] 虽 然 磁 盘 的 寻 道 时 间 只 需 要   1 0 m s ， 但 是 在   C P U   看 来 已 经 是 非 常 长 的 时 间 了 ， 当 我 们 将 上 述 的 时 间 等 比 例 放 大 后 ， 就 能 直 观 地 感 受 到 它 们 的 性 能 差 异 。 如 果   C P U   访 问   L 1   缓 存 需 要   1   秒 ， 那 么 访 问 主 存 需 要   3   分 钟 、 从   S S D   中 随 机 读 取 数 据 需 要   3 . 4   天 、 磁 盘 寻 道 需 要   2   个 月 ， 网 络 传 输 可 能 需 要   1   年 多 的 时 间 。 在 计 算 机 体 系 结 构 中 ， 硬 盘 属 于 一 种 常 见 的 输 入 输 出 设 备 ， 操 作 系 统 在 启 动 时 不 一 定 需 要 硬 盘 ， 它 既 可 以 通 过 硬 盘 启 动 ， 也 可 以 通 过 网 络 设 备 或 者 外 部 设 备 启 动 ， 所 以 硬 盘 不 是 计 算 机 运 行 的 必 要 条 件 。
v o n - n e u m a n n - a r c h i t e c t u r e . s v g 图 图   1   -   输 入 输 出 设 备 输 入 输 出 设 备 作 为 一 种 外 部 的 输 入 输 出 设 备 ， 与   C P U   缓 存 和 内 存 相 比 ， 硬 盘 极 慢 的 读 取 和 写 入 速 度 就 显 得 比 较 合 理 了 ， 然 而 几 千 倍 甚 至 几 十 万 倍 的 速 度 差 异 也 确 实 让 人 很 难 想 象 或 者 接 受 ， 在 这 篇 文 章 中 ， 我 们 会 分 析 为 什 么   C P U   访 问 硬 盘 的 速 度 非 常 慢 ： C P U   访 问 硬 盘 数 据 的 过 程 比 较 复 杂 ， 它 会 先 通 过   I / O   操 作 将 磁 盘 中 的 数 据 读 入 内 存 ， 再 访 问 内 存 的 数 据 ； 机 械 硬 盘 在 访 问 磁 盘 中 的 数 据 依 赖 的 是 机 械 结 构 ， 需 要 移 动 磁 盘 中 的 机 械 臂 ； I / O   操 作 操 作 C P U   想 要 访 问 磁 盘 中 的 数 据 一 定 要 先 通 过   I / O   操 作 将 磁 盘 中 的 数 据 读 入 到 内 存 中 ， 再 访 问 存 储 在 内 存 中 的 数 据 。 计 算 机 中 包 含 三 种 比 较 常 见 的   I / O   操 作 [ ^ 2 ]   —   编 程   I / O （ P r o g r a m m e d   I / O ） 、 中 断 驱 动   I / O （ I n t e r r u p t - d r i v e n   I / O ） 和 直 接 内 存 访 问 （ D i r e c t   M e m o r y   A c c e s s ) ， 我 们 接 下 来 将 依 次 介 绍 上 述 的 这 几 种 操 作 [ ^ 3 ] ：
i o - o p e r a t i o n 图 图   2   -   常 见 常 见   I / O   操 作 操 作 执 行   I / O   操 作 最 简 单 的 形 式 就 是 使 用 编 程   I / O ， 使 用 编 程   I / O   时 ， C P U   会 负 责 全 部 的 工 作 ， 如 果 我 们 想 要 在 屏 幕 上 输 出   ， C P U   每 次 都 会 向   I / O   设 备 中 写 入 一 个 新 字 符 ， 写 入 后 会 轮 询 设 备 的 状 态 等 待 它 完 成 工 作 后 写 入 新 的 字 符 。 这 种 方 式 虽 然 简 单 ， 但 是 它 会 占 用 全 部 的   C P U   资 源 ， 在 某 些 复 杂 的 系 统 中 会 造 成 计 算 资 源 的 严 重 浪 费 。 中 断 驱 动   I / O   是 执 行   I / O   操 作 的 一 种 更 高 效 方 式 ， 在 编 程   I / O   中 ， C P U   会 主 动 获 取 设 备 的 状 态 并 等 待 设 备 闲 置 ， 但 是 如 果 使 用 了 中 断 驱 动   I / O ， 设 备 会 在 闲 置 时 主 动 发 起 中 断 暂 停 当 前 进 程 并 保 存 上 下 文 ， 而 操 作 系 统 会 执 行   I / O   设 备 的 中 断 处 理 程 序 ： 如 果 当 前 不 包 含 待 打 印 的 字 符 ， 停 止 中 断 处 理 程 序 并 恢 复 暂 停 的 进 程 ； 如 果 当 前 包 含 待 打 印 的 字 符 ， 将 下 一 个 字 符 拷 贝 到 设 备 中 并 恢 复 暂 停 的 进 程 ； 使 用 中 断 驱 动   I / O   可 以 在 设 备 繁 忙 时 ， 让   C P U   能 够 处 理 其 它 任 务 ， 尽 可 能 地 提 高   C P U   的 利 用 率 ， 不 再 浪 费 珍 贵 的 计 算 资 源 。 与 编 程   I / O   相 比 ， 中 断 驱 动   I / O   将 一 部 分 工 作 交 给 了   I / O   设 备 ， 所 以 能 够 提 高 资 源 的 利 用 率 。 直 接 内 存 访 问 会 利 用   D M A   控 制 器 来 执 行   I / O   操 作 ， 中 断 驱 动   I / O   需 要 为 每 个 字 符 触 发 操 作 系 统 中 断 ， 这 会 消 耗 一 定 的   C P U   时 间 。 当 我 们 使 用   D M A   控 制 器 时 ， C P U   会 一 次 将 缓 冲 区 中 的 数 据 全 部 读 到   D M A   控 制 器 中 ， D M A   控 制 器 会 负 责 将 数 据 按 字 符 写 入   I / O   设 备 ： H e l l o   W o r l d
d m a - c o n t r o l l e r 图 图   3   -   D M A   I / O 虽 然   D M A   控 制 器 可 以 解 放   C P U   并 减 少 中 断 次 数 ， 但 是 它 的 执 行 速 度 与   C P U   相 比 却 很 慢 ， 如 果   D M A   控 制 器 不 能 快 速 驱 动   I / O   设 备 ， C P U   可 能 就 会 等 待   D M A   控 制 器 触 发 中 断 ， 在 这 种 情 况 下 ， 中 断 驱 动   I / O   或 者 编 程   I / O   可 以 提 供 更 快 的 访 问 速 度 。 在 默 认 情 况 下 ， 我 们 都 会 使 用   D M A   控 制 器 来 执 行   I / O   任 务 ， 不 过 编 程   I / O   和 中 断 驱 动   I / O   也 不 是 不 能 接 受 的 选 项 。 当   C P U   经 常 需 要 等 待   D M A   控 制 器 执 行   I / O   任 务 时 ， 使 用 中 断 驱 动   I / O   甚 至 轮 询 的 编 程   I / O   都 可 以 得 到 更 高 的 吞 吐 量 ， 然 而 无 论 使 用 哪 种 方 式 ， I / O   都 是 程 序 中 比 较 耗 时 的 复 杂 操 作 。 机 械 硬 盘 机 械 硬 盘 机 械 硬 盘 （ H a r d   D i s k   D r i v e 、 H D D ） 是 一 种 基 于 电 子 的 、 非 易 失 的 机 械 数 据 存 储 设 备 ， 它 使 用 磁 性 存 储 器 存 储 并 查 找 磁 盘 上 的 数 据 ， 在 读 取 和 写 入 数 据 的 过 程 中 ， 硬 盘 机 械 臂 连 接 的 磁 头 会 读 写 磁 盘 表 面 的 位 [ ^ 8 ] 。 正 是 因 为 磁 盘 具 有 比 较 复 杂 的 机 械 结 构 ， 所 以 磁 盘 的 读 取 和 写 入 都 要 花 费 很 多 时 间 ， 数 据 库 的 读 写 性 能 也 基 本 都 依 赖 于 磁 盘 的 性 能 ， 如 果 我 们 在 使 用 机 械 硬 盘 的 数 据 库 中 随 机 查 询 一 条 数 据 ， 这 可 能 会 触 发 磁 盘 的 随 机   I / O ， 然 而 将 数 据 从 磁 盘 读 取 到 内 存 中 所 需 要 的 成 本 是 非 常 大 的 ， 普 通 磁 盘 （ 非   S S D ） 加 载 数 据 需 要 经 过 队 列 、 寻 道 、 旋 转 以 及 传 输 的 这 些 过 程 ， 大 概 要 花 费   1 0 m s   左 右 的 时 间 。
d i s k - r a n d o m - i o 图 图   4   -   磁 盘 的 随 机 磁 盘 的 随 机   I / O 我 们 在 估 算 数 据 库 的 查 询 时 可 以 使 用   1 0 m s   这 个 数 量 级 对 随 机   I / O   占 用 的 时 间 进 行 估 算 ， 这 里 想 要 说 的 是 随 机   I / O   对 于 数 据 库 的 查 询 性 能 影 响 会 非 常 大 ， 而 顺 序 读 取 磁 盘 中 的 数 据 时 速 度 可 以 达 到   4 0 M B / s ， 这 两 者 的 性 能 差 距 有 几 个 数 量 级 ， 因 此 我 们 也 应 该 尽 量 减 少 随 机   I / O   的 次 数 ， 这 样 才 能 提 高 性 能 。 固 态 硬 盘 （ S o l i d   S t a t e   D r i v e 、 S S D ） 是 一 种 以 闪 存 作 为 持 久 存 储 器 的 电 脑 存 储 设 备 [ ^ 9 ] 。 与 机 械 硬 盘 不 同 ， 固 态 硬 盘 中 不 包 含 任 何 的 机 械 结 构 ， 我 们 使 用 它 读 取 或 者 存 储 数 据 时 不 会 使 用 到 任 何 的 机 械 结 构 ， 因 为 一 切 过 程 都 是 由 电 路 完 成 的 ， 所 以   S S D   的 读 写 速 度 比   H D D   快 很 多 。 h d d - s s d - p r i c e
图 图   5   -   H D D   和 和   S S D   的 价 格 的 价 格 机 械 硬 盘 和   S S D   从 诞 生 后 价 格 都 在 不 断 降 低 ， 机 械 硬 盘 是 今 天 数 据 中 心 使 用 的 主 要 外 部 存 储 ， 大 多 数 通 用 的 商 用 服 务 器 都 会 使 用 机 械 硬 盘 作 为 主 要 的 外 部 存 储 ， 但 是 因 为   S S D   的 读 写 速 度 是 机 械 硬 盘 的 几 十 倍 ， 所 以 越 来 越 多 的 服 务 器 ， 尤 其 是 数 据 库 都 会 使 用   S S D   作 为 外 部 存 储 。 不 过 作 为 具 有 机 械 结 构 的 外 部 存 储 设 备 ， 它 虽 然 结 构 非 常 成 熟 并 且 具 有 较 大 的 容 量 ， 但 是 它 在 受 到 震 动 时 很 容 易 受 到 外 界 的 干 扰 。 总 结 总 结 硬 盘 是 计 算 机 上 的 外 部 存 储 设 备 ， 它 可 以 持 久 存 储 大 量 数 据 ， 然 而   C P U   无 法 直 接 访 问 硬 盘 中 的 数 据 ， 当 计 算 机 启 动 时 操 作 系 统 会 将 硬 盘 中 的 数 据 加 载 到 内 存 中 以 便   C P U   访 问 ， 但 是 如 果   C P U   要 访 问 的 数 据 不 在 内 存 中 ， 那 么 我 们 需 要 花 费 几 千 倍 甚 至 几 十 万 倍 的 时 间 来 读 取 数 据 ， 这 主 要 是 由 以 下 两 个 原 因 造 成 的 ： C P U   需 要 通 过   I / O   操 作 访 问 外 部 存 储 中 的 数 据 ， 编 程   I / O 、 中 断 驱 动   I / O 和   D M A   几 种 方 式 都 会 带 来 额 外 开 销 并 占 用 较 多 的   C P U   时 间 ； 机 械 硬 盘 会 通 过 机 械 结 构 访 问 其 中 存 储 的 数 据 ， 每 一 次 硬 盘 的 随 机   I / O 都 需 要 执 行 队 列 、 寻 道 、 旋 转 和 转 移 数 据 几 个 过 程 ， 大 约 需 要 消 耗   1 0 m s 的 时 间 ； 正 如 我 们 在 文 章 中 提 到 的 ， 硬 盘 不 是 计 算 机 运 行 的 必 要 硬 件 设 备 ， 计 算 机 可 以 从 磁 盘 、 光 盘 等 任 意 外 部 存 储 设 备 中 将 启 动 所 需 要 的 数 据 加 载 到 内 存 中 并 正 常 启 动 ， 不 过 硬 盘 已 经 是 今 天 最 为 常 见 的 外 部 存 储 设 备 了 。 到 最 后 ， 我 们 还 是 来 看 一 些 比 较 开 放 的 相 关 问 题 ， 有 兴 趣 的 读 者 可 以 仔 细 思 考 一 下 下 面 的 问 题 ： 写 入 到 硬 盘 上 的 数 据 一 定 会 被 持 久 存 储 ， 不 会 丢 失 吗 ？ 内 存 中 的 数 据 为 什 么 在 断 电 重 启 之 后 就 会 被 清 空 ？ 如 果 对 文 章 中 的 内 容 有 疑 问 或 者 想 要 了 解 更 多 软 件 工 程 上 一 些 设 计 决 策 背 后 的 原 因 ， 可 以 在 博 客 下 面 留 言 ， 作 者 会 及 时 回 复 本 文 相 关 的 疑 问 并 选 择 其 中 合 适 的 主 题 作 为 后 续 的 内 容 。 ● 输 入 m 获 取 文 章 目 录 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理