搜索

[26470] 2021-07-07_宁可信鬼，也不信iowait这张嘴！

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2021-07-07_宁可信鬼，也不信iowait这张嘴！ 宁 可 信 鬼 ， 也 不 信   i o w a i t   这 张 嘴 ！ L i n u x 学 习   2 0 2 1 - 0 7 - 0 7 以 下 文 章 来 源 于 小 姐 姐 味 道   ， 作 者 小 姐 姐 养 的 狗 来 自 公 众 号 ： 来 自 公 众 号 ： 小 姐 姐 味 道 小 姐 姐 味 道 作 者 简 介 ： 一 个 不 允 许 程 序 员 走 弯 路 的 公 众 号 。 聚 焦 基 础 架 构 和 L i n u x 。 十 年 架 构 ， 日 百 亿 流 量 ， 与 你 探 讨 高 并 发 世 界 ， 给 你 不 一 样 的 味 道 。 我 们 经 常 遇 到 i o w a i t 这 个 名 词 ， 在 t o p 命 令 中 ， v m s t a t 中 ， s a r 命 令 中 ， 都 有 它 的 身 影 。 很 多 同 学 按 照 经 验 ， 当 看 到 i o w a i t 非 常 高 的 时 候 ， 一 般 判 定 为 磁 盘 一 般 判 定 为 磁 盘 I / O 有 瓶 颈 ， 但 这 并 不 完 全 正 确 。 有 瓶 颈 ， 但 这 并 不 完 全 正 确 。   i o 并 不 是 一 个 可 靠 值 。 比 如 下 面 几 个 问 题 。 1 .   i o w a i t 处 于 1 0 0 % 时 ， 还 能 够 运 行 其 他 C P U 密 集 型 应 用 么 ？ 2 .   i o w a i t 处 于 9 0 % 以 上 ， 就 一 定 证 明 i o 有 问 题 么 ？ 3 .   i o w a i t 占 用 非 常 少 时 ， 就 一 定 证 明 i o 没 问 题 么 ？ 1 .   数 值 来 自 哪 ？ 数 值 来 自 哪 ？ 上 面 提 到 的 这 些 监 控 工 具 ， 看 起 来 监 控 的 值 包 容 万 象 ， 但 这 些 数 字 都 不 是 它 们 去 算 的 。 这 些 数 字 ， 静 悄 悄 的 躺 在 内 存 文 件 系 统 中 ， 而 进 程 的 数 据 ， 躺 在 中 。 但 是 如 果 不 经 过 这 些 工 具 的 加 工 ， 我 们 去 辨 识 这 些 数 值 的 话 ， 是 由 难 度 的 。 在 i n f o 命 令 中 ， 可 以 看 到 i o w a i t 的 解 释 。 小 姐 姐 味 道 小 姐 姐 味 道   . 不 羡 鸳 鸯 不 羡 仙 ， 一 行 代 码 调 半 天 / p r o c / s t a t / p r o c / $ { p i d } / s t a t
解 释 模 糊 不 清 ， 但 显 然 是 和 磁 盘 I / O 有 关 的 。 这 里 没 有 提 到 网 络 I / O ， 所 以 和 网 络 I / O 关 系 不 大 ， 但 与 网 络 文 件 系 统 如 N F S 等 密 切 相 关 。 每 一 个 c p u 都 会 有 下 多 种 状 态 中 的 一 个 。 u s e r   处 于 用 户 态 进 程 执 行 s y s   处 于 系 统 态 内 核 执 行 i d l e   处 于 空 闲 状 态 ， 但 不 证 明 c p u 不 运 行 ， 由 于 处 于 空 转 状 态 ， 所 以 能 耗 特 别 低 i o w a i t   处 于 等 待 I / O 的 状 态 总 体 上 ， 遵 循 下 面 的 公 式 。 从 字 面 上 的 意 思 来 看 ， i o w a i t 像 是 一 直 阻 塞 在 那 里 等 待 I / O 操 作 完 成 ， 但 实 际 情 况 是 ， C P U 并 不 会 做 这 种 无 谓 的 等 待 ， 它 只 是 反 映 了 等 待 I / O 完 成 的 一 个 比 例 。 为 什 么 C P U 不 会 等 待 磁 盘 I / O 呢 ？ 因 为 磁 盘 实 在 是 太 慢 了 ， 磁 盘 上 的 文 件 块 ， 读 入 内 核 缓 冲 区 的 这 个 过 程 ， 是 交 给 D M A 去 做 的 。 c p u 只 是 响 应 一 下 中 断 ， 就 进 入 了 被 中 断 完 成 的 唤 醒 状 态 。 此 时 ， 如 果 有 新 的 任 务 到 来 ， 这 些 c p u 资 源 依 然 能 够 挪 动 身 躯 去 做 。 内 核 会 周 期 性 的 记 录 这 些 统 计 数 据 ， 它 首 先 判 断 c p u 是 不 是 空 闲 的 ， 如 果 不 是 ， 则 判 断 是 在 内 核 态 还 是 用 户 态 ； 如 果 不 是 ， 则 会 判 断 是 否 有 磁 盘 I / O 请 求 被 当 前 的 C P U 发 起 ， 如 果 有 则 增 加 i o w a i t 的 值 ， 如 果 没 有 则 增 加 i d l e 的 值 。 s a r 等 命 令 ， 会 读 取 / p r o c / s t a t 中 的 数 据 ， 进 行 二 次 加 工 。 由 于 s a r 本 身 也 有 一 个 刷 新 频 率 ， 所 以 它 展 现 的 是 统 计 值 。 2 .   从 现 象 看 本 质 从 现 象 看 本 质 为 了 弄 清 楚 i o w a i t 的 表 现 ， 我 们 来 看 几 个 例 子 。 案 例 案 例 1 假 如 我 们 写 了 一 个 小 型 的 数 据 库 ， 运 行 在 1 核 的 机 器 上 。 这 个 数 据 库 ， 会 使 用 c p u 计 算 一 些 数 据 ， 花 费 1 0 m s ， 然 后 同 步 写 入 磁 盘 ， 花 费 2 0 m s ， 那 么 整 个 操 作 下 来 ， 要 花 费 3 0 m s ， 也 就 是 t p s   =   3 3 。 此 时 ， i o w a i t 就 是 6 6 % ， 而 u s e r 就 是 3 3 % 。 而 如 果 换 成 了 s s d ， 写 磁 盘 只 花 费 了 1 m s 。 那 么 此 时 的 t p s   =   9 0 ， i o w a i t 就 变 成 了   8 % 左 右 。 案 例 案 例 2 % i o w a i t P e r c e n t a g e   o f   t i m e   t h a t   t h e   C P U   o r   C P U s   w e r e   i d l e   d u r i n g   w h i c h   t h e   s y s t e m   h a d   a n   o u t s t a n d i n g   d i s k   I / O   r e q u e s t . C P U 时 间 = u s e r + s y s + n i c e + i d l e + i o w a i t + i r q + s o f t i r q + s t e a l
我 们 再 来 想 想 一 下 ， 现 在 c p u 计 算 数 据 的 过 程 ， 换 成 了 d d 命 令 ， 它 不 会 做 过 多 的 计 算 ， 几 乎 不 耗 费 时 间 ， 此 时 ， 写 磁 盘 依 然 花 费 1 - 2 m s 的 时 间 ， 我 们 的 t p s 达 到 了 5 0 0 - 1 0 0 0 左 右 。 i o w a i t 增 加 了 ， 但 我 们 的 吞 吐 量 竟 然 也 增 加 了 ， 可 以 说 工 作 的 更 好 。 案 例 案 例 3 现 在 考 虑 另 外 一 种 相 反 的 极 端 情 况 。 我 们 的 应 用 c p u 产 生 文 件 只 需 要 1 m s ， 但 写 入 磁 盘 需 要 1 秒 。 那 么 此 时 i o w a i t 会 达 到 9 9 % 左 右 。 此 时 ， 我 们 再 启 动 另 外 一 个 进 程 ， 它 是 一 个 死 循 环 ， 会 耗 尽 所 有 的 C P U 资 源 。 这 个 进 程 一 加 入 ， 就 抢 占 了 空 闲 的 C P U 时 间 片 。 现 在 去 看 系 统 显 示 ， i o w a i t 的 状 态 会 降 低 到 接 近 0 ， i d l e 的 状 态 也 会 接 近 0 。 但 这 可 怜 的 系 统 ， 此 时 并 不 是 没 有 问 题 ， 因 为 我 们 的 磁 盘 ， 可 一 直 是 在 I / O 操 作 之 中 。 1 0 0 % 的 i o w a i t 没 有 问 题 ， 但 1 % 的 i o w a i t 问 题 却 很 大 。 参 考 ： h t t p s : / / b l o g . p r e g o s . i n f o / w p - c o n t e n t / u p l o a d s / 2 0 1 0 / 0 9 / i o w a i t . t x t 由 于 多 核 的 参 与 ， 事 情 会 更 复 杂 。 因 为 i o w a i t 是 个 统 计 值 ， s a r 等 命 令 直 接 观 测 的 也 是 多 个 核 数 的 统 计 值 ， 所 以 在 两 台 机 器 上 运 行 良 好 的 程 序 ， 指 标 的 显 示 也 会 相 差 很 大 。 关 键 就 在 于 ， i o w a i t 和 i d l e 是 一 个 此 消 彼 长 的 关 系 ， 它 们 两 个 加 起 来 ， 就 是 系 统 目 前 可 以 被 使 用 的 c p u 时 间 片 。 i o w a i t 过 高 ， 不 代 表 它 不 能 够 运 行 其 他 计 算 性 任 务 了 ， 其 他 的 进 程 或 者 线 程 ， 还 能 够 继 续 运 行 。 我 更 愿 意 把 i o w a i t 认 为 是 i d l e 的 一 部 分 ， 这 样 更 容 易 理 解 一 些 。 3 .   经 验 来 源 经 验 来 源 那 i o w a i t 过 高 ， 磁 盘 有 问 题 ， 这 个 印 象 是 怎 么 养 成 的 呢 ？ 原 因 还 是 由 于 I O 资 源 的 规 划 问 题 。 假 如 你 的 系 统 写 了 非 常 非 常 多 的 日 志 ， 此 时 i o w a i t 应 该 是 跑 满 了 。 假 如 你 用 的 是 同 步 写 日 志 的 方 式 （ 大 多 数 都 是 ） ， 那 么 大 多 数 线 程 就 要 等 待 这 些 繁 忙 的 I / O 请 求 。 这 个 等 待 ， 是 真 的 等 待 ， 因 为 这 些 线 程 在 磁 盘 写 成 功 之 前 ， 什 么 都 干 不 了 。 以 t o m c a t 默 认 2 0 0 个 线 程 为 例 ， 请 求 量 一 增 加 ， 就 全 部 占 满 了 ， 进 入 了 B L O C K E D 状 态 。 此 时 的 应 用 反 应 是 ： 应 用 几 乎 什 么 都 响 应 不 了 。 机 器 上 的 其 他 进 程 ， 也 响 应 缓 慢 。 但 是 注 意 ， 应 用 的 线 程 不 能 运 行 了 ， 不 代 表 其 他 应 用 的 线 程 不 能 运 行 。 线 程 处 于 B L O C K E D 状 态 ， 并 不 会 占 用 C P U 。 只 要 多 加 一 块 磁 盘 ， 和 其 他 磁 盘 隔 离 开 来 ， 就 能 解 决 问 题 。 x j j d o g 这 里 抛 出 一 个 遇 到 过 的 极 品 问 题 。 E l a s t i c S e a r c h   的 速 度 是 非 常 快 的 ， 我 们 为 了 压 榨 它 的 性 能 ， 对 磁 盘 的 读 写 几 乎 是 全 速 的 。 它 在 后 台 做 了 很 多   M e r g e   动 作 ， 将 小 块 的 索 引 合 并 成 大 块 的 索 引 。 还 有   T r a n s L o g   等 预 写 动 作 ， 都 是   I / O   大 户 。 问 题 是 ， 我 们 有 一 套   E S   集 群 ， 在 访 问 高 峰 时 ， 有 多 个   E S   节 点 发 生 了 严 重 的   S T W   问 题 。 有 的 节 点 竟 停 顿 了 足 足 有   7 ~ 8 秒 。
从 日 志 可 以 看 到 在   G C   时 用 户 态 只 停 顿 了   4 2 0 m s ， 但 真 实 的 停 顿 时 间 却 有   7 . 6 2   秒 。 盘 点 一 下 资 源 ， 唯 一 超 额 利 用 的 可 能 就 是   I / O   资 源 了 （ % u t i l   保 持 在   9 0   以 上 ） ， G C   可 能 在 等 待   I / O 。 原 因 就 在 于 ， 写   G C   日 志 的   w r i t e   动 作 ， 是 统 计 在   S T W   的 时 间 里 的 。 在 我 们 的 场 景 中 ， 由 于   E S   的 索 引 数 据 ， 和   G C   日 志 放 在 了 一 个 磁 盘 ， G C   时 写 日 志 的 动 作 ， 就 和 写 数 据 文 件 的 动 作 产 生 了 资 源 争 用 。 解 决 方 式 也 是 比 较 容 易 的 ， 把   E S   的 日 志 文 件 ， 单 独 放 在 一 块 普 通   H D D   磁 盘 上 就 可 以 了 。 所 以 在 这 种 情 况 下 ， i o w a i t 不 变 ， 却 能 解 决 问 题 。 问 题 是 ， 现 在 的 很 多 企 业 ， 已 经 上 了 d o c k e r 等 虚 拟 化 环 境 ， i o w a i t 就 更 成 为 一 个 操 蛋 的 指 标 。 L i n u x 的 8 种 n a m e s p a c e ： 挂 载 点 、 进 程 、 网 络 、 i p c 、 u t s 、 u s e r 、 c g r o u p 、 t i m e 等 。 其 中 ， c g r o u p 能 限 额 c p u 、 限 额 内 存 、 限 额 磁 盘 容 量 ， 也 能 限 额 磁 盘 i o ， 限 制 磁 盘 的 读 写 i o p s ， 这 会 让 本 身 就 慢 的 磁 盘 用 起 来 更 慢 。 但 如 果 不 限 制 i o ， 完 全 放 开 ， 对 于 宿 主 机 的 磁 盘 使 用 ， 大 家 就 会 哄 抢 ， 就 要 看 运 气 ！ 所 以 限 制 业 务 无 限 制 的 日 志 i o 需 求 ， 一 直 在 进 行 中 。 电 池 和 磁 盘 技 术 ， 可 真 是 限 制 科 技 发 展 的 两 大 枷 锁 啊 。 - - -   E O F   - - - 推 荐 推 荐 ↓ ↓ ↓   [ T i m e s :   u s e r = 0 . 4 2   s y s = 0 . 0 3 ,   r e a l = 7 . 6 2   s e c s ]  
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理