搜索

[26389] 2021-03-11_炫技！bug排查大曝光，涉及Linux内核的那种

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-19
2021-03-11_炫技！bug排查大曝光，涉及Linux内核的那种 炫 技 ！ b u g   排 查 大 曝 光 ， 涉 及 L i n u x   内 核 的 那 种 码 农 的 荒 岛 求 生   L i n u x 学 习   2 0 2 1 - 0 3 - 1 1 来 自 公 众 号 ： 来 自 公 众 号 ： 码 农 的 荒 岛 求 生 码 农 的 荒 岛 求 生 那 些 编 程 高 手 除 了 写 代 码 很 厉 害 之 外 ， 调 试 代 码 找 那 些 编 程 高 手 除 了 写 代 码 很 厉 害 之 外 ， 调 试 代 码 找   b u g   更 是 手 到 擒 来 更 是 手 到 擒 来 。 编 写 代 码 只 是 程 序 员 的 工 作 之 一 ， 调 试 代 码 的 时 间 甚 至 会 超 过 编 写 代 码 ， 之 前 为 大 家 讲 解 了 很 多 关 于 系 统 、 架 构 、 编 程 等 方 面 的 内 容 ， 这 篇 文 章 就 为 大 家 全 方 位 展 示 一 次 涉 及 到 内 核 的   b u g   排 查 过 程 。 发 现 问 题 发 现 问 题 话 说 一 天 公 司 服 务 器 报 警 ， 登 录 到 机 器 后 发 现 进 程 已 被 “ 卡 死 ” ， 常 规   G D B   调 试 没 有 反 应 ， 查 找   L o g   也 没 有 线 索 ， 问 题 似 乎 已 经 无 解 。 就 在 这 时 博 主 的 脑 海 里 浮 现 出 了 岛 国 的 。 。 是 的 ， 你 猜 错 了 ， 是 岛 国 的 一 休 哥 、 柯 南 弟 、 国 内 的 包 青 天 、 狄 仁 杰 、 国 外 的 夏 洛 克 等 一 众 大 佬 ， 瞬 间 有 如 神 助 ， 一 定 还 有 办 法 ！ 是 的 ！ 分 析 问 题 分 析 问 题 先 来 仔 细 分 析 一 下 ， 既 然 进 程 看 上 去 被 卡 死 ， 那 么 如 果 被 卡 在 用 户 态 ， 那 么 该 进 程   C P U   使 用 率 必 然 很 高 （ 死 循 环 之 类 ） ； 如 果 被 卡 在 内 核 态 ， 这 时 进 程 应 该 正 在 进 行   I O   或 者 网 络 通 信 等 ， 那 么   C P U   使 用 率 应 该 会 很 低 ， 现 在 还 能 查 到 进 程 I D ， 有 了 进 程 I D 运 行   t o p   命 令 看 一 下 ： 注 意   C P U   那 一 列 ， 显 示   C P U   占 用 率 为 0 % ， 我 们 发 现 此 时 该 进 程 几 乎 没 有 占 用 C P U ， 这 基 本 上 是 在 告 诉 我 们 该 进 程 是 被 卡 死 在 内 核 态 ， 进 程 要 进 入 内 核 态 那 么 就 是 因 为 调 用 了 某 个 阻 塞 式 系 统 调 用 导 致 被 操 作 系 统 挂 起 ， 那 么 该 怎 么 知 道 进 程 调 用 了 什 么 系 统 调 用 呢 ？ 跟 踪 进 程 系 统 调 用 跟 踪 进 程 系 统 调 用 s t r a c e   命 令 就 用 来 告 诉 你 这 个 的 ， 运 行   s t r a c e   命 令 来 查 看 一 下 此 时 进 程 调 用 了 什 么 系 统 调 用 ：
O o p s ！ s t r a c e   命 令 也 被 卡 死 了 ， 无 奈 ， 再 想 想 还 有 其 它 什 么 办 法 。 。 跟 踪 进 程 用 户 态 运 行 时 栈 跟 踪 进 程 用 户 态 运 行 时 栈 有 了 ， 可 以 用   p s t a c k   命 令 ， 该 命 令 能 打 印 出 进 程 运 行 时 栈 信 息 ， 虽 然 该 命 令 不 能 追 踪 到 内 核 ， 但 是 可 以 看 到 用 户 态 最 终 调 用 了 什 么 函 数 ， 从 而 推 断 出 调 用 了 什 么 系 统 调 用 ， 让 我 们 来 运 行 一 下 ： 和 s t r a c e 一 样 ， p s t a c k   也 被 卡 死 了 。 现 在 我 们 还 能 去 哪 里 找 线 索 呢 ？ 古 老 的 古 老 的 p s 命 令 永 不 过 时 命 令 永 不 过 时 我 们 可 以 利 用   p s   命 令 来 查 看 进 程 的 运 行 状 态 和   W C H A N ( w a i t i n g   c h a n n e l ) 。 W C H A N   是 什 么 意 思 呢 ？ 在   L i n u x   世 界 ， 有 问 题 问 男 人 （ m a n ） ， 这 就 是 万 能 的   m a n   命 令 ， 我 们 使 用   m a n   命 令 来 看 一 下   p s   展 示 内 容 的 含 义 ： 运 行   m a n   命 令 并 搜 索 “ W C H A N ” ， 啊 哈 ！ 最 终 在 “ S T A N D A R D   F O R M A T   S P E C I F I E R S ” 这 一 部 分 中 找 到 了   W C H A N   的 含 义 ， 是 这 样 写 的 ： 这 里 清 楚 的 写 着   W C H A N   指 的 是 当 前 进 程 正 阻 塞 在 哪 个 内 核 函 数 上 。 $   m a n   p s
O K ， 我 们 来 运 行 一 下   p s   命 令 ： 这 里 值 得 注 意 的 是 ， 因 为   p s   打 印 的 只 是 运 行 p s 命 令 这 一 时 刻 相 应 进 程 的 状 态 ， 也 就 是 说 运 行 一 次   p s   相 当 于 一 次 采 样 ， 因 此 你 应 该 多 运 行 几 次 p s ， 确 保 运 行 结 果 没 有 变 化 ， 否 则 只 运 行 一 次 并 且 时 间 足 够 巧 那 么 有 可 能 会 获 得 到 一 个 错 误 的 线 索 。 两 种 进 程 阻 塞 状 态 两 种 进 程 阻 塞 状 态 从 p s 打 印 的 结 果 可 以 看 出 ， 该 进 程 运 行 状 态 是 D ， 运 行 状 态 D 表 示 什 么 意 思 呢 ？ 我 们 再 次 请 教 m a n ， 发 现 了 这 样 的 信 息 ： 原 来 进 程 运 行 状 态 D 表 示   u n i n t e r r u p t i b l e   s l e e p ， 不 可 被 打 断 的   s l e e p ， 意 思 是 说 该 进 程 正 在 睡 觉 ， 就 算 你 拍 它 一 巴 掌 也 不 会 醒 ， 即 该 进 程 当 前 不 响 应 任 何 外 部 信 号 ， 此 时 哪 怕   k i l l   命 令 都 杀 不 掉 该 进 程 ( 除 非 内 核 允 许 该 进 程 接 收   k i l l   信 号 ) ， 直 观 感 受 就 是 该 进 程 被 “ 卡 死 ” 了 。 与 不 可 被 打 断 的   s l e e p   相 对 于 的 是 可 被 打 断   s l e e p ， 从 上 图 看 状 态 为 S ， 此 时 进 程 正 在 阻 塞 等 待 某 个 事 件 ( 比 如 网 络 数 据 到 来 等 等 ) ， 处 于 该 状 态 的 进 程 可 以 接 收 信 号 ， 直 观 感 受 就 是 该 进 程 还 有 反 应 。 通 过 p s 命 令 我 们 可 以 看 到 进 程 状 态 为 D ， 进 一 步 验 证 了 进 程 确 实 被 “ 卡 死 ” 了 。 那 么 进 程 被 卡 死 在 了 哪 里 呢 ？ 幸 运 的 是   W C H A N   这 一 列 可 以 告 诉 你 答 案 。 进 程 阻 塞 在 哪 个 内 核 函 数 上 进 程 阻 塞 在 哪 个 内 核 函 数 上 上 面 的 p s 命 令   W C H A N   这 一 列 显 示 的 是   r p c _ w a ， 嗯 。 。 r p c _ w a   什 么 呢 ？ 看 上 去 是 被 截 断 了 ， 不 过 没 关 系 ， 我 们 可 以 从 源 头 上 找 到   w c h a n   的 完 整 输 出 ， 实 际 上 p s 等 命 令 也 是 在 这 个 源 头 上 查 找 信 息 并 展 示 出 来 的 ， 这 个 源 头 就 是   p r o c   文 件 系 统 ， p r o c   文 件 系 统 记 录 了 内 核 以 及 各 个 进 程 的 运 行 时 信 息 文 件 系 统 记 录 了 内 核 以 及 各 个 进 程 的 运 行 时 信 息 ， 我 们 可 以 使 用 最 简 单 的   c a t   命 令 ， 使 用   p r o c   后 跟 进 程 I D 以 及 w c h a n ：
啊 哈 ， 我 们 终 于 找 到 进 程 此 时 到 底 卡 死 在 哪 里 了 ！ 看 起 来 该 进 程 正 在 等 待 一 个   R P C   调 用 ， R P C   实 际 上 就 是 一 个 进 程 正 在 和 另 一 个 进 程 网 络 通 信 ， 尽 管 我 们 知 道 了 进 程 被 卡 死 在 了 哪 里 ， 但 是 我 们 依 然 不 知 道 为 什 么 会 被 卡 死 在 这 里 我 们 依 然 不 知 道 为 什 么 会 被 卡 死 在 这 里 。 至 此 线 索 似 乎 中 断 了 。 。 。 柳 暗 花 明 柳 暗 花 明 让 我 们 再 仔 细 想 一 想 。 既 然 进 程 被 卡 死 了 ， 那 么 此 时 进 程 必 然 没 有 位 于 用 户 态 ， 不 是 用 户 态 就 肯 定 是 内 核 态 ， 那 么 进 程 怎 样 才 能 进 入 内 核 态 呢 ？ 答 案 很 显 然 是 调 用 了 某 个 系 统 调 用 。 那 么 我 们 该 怎 样 知 道 某 个 进 程 当 前 正 在 调 用 哪 个 系 统 调 用 呢 ？ Y o u   a r e   l u c k y   d o g ， S a y   h i   t o   / p r o c / * * * / s y s c a l l ， 我 们 同 样 可 以 用 简 单 的   c a t   命 令 去   p r o c   文 件 系 统 中 查 找 ， 使 用 / p r o c 后 跟 进 程 I D + s y s c a l l 即 可 。 W T F 。 。 。 这 是 一 串 什 么 鬼 东 西 ！ 原 来 这 一 串 看 起 来 不 知 所 云 的 东 西 正 是 系 统 调 用 ， 第 一 个 数 字 代 表 系 统 调 用   I D ， 后 面 一 堆 是 参 数 ， 我 们 可 以 不 用 关 心 。 从 上 面 的 输 出 我 们 可 以 看 到 调 用 的 是 第   2 6 2   号 系 统 调 用 ， 只 有 一 个 数 字 是 没 什 么 意 义 的 ， 这 个 数 字 到 底 代 表 那 个 系 统 调 用 呢 ？ 根 据 内 核 源 码 查 系 统 调 用 根 据 内 核 源 码 查 系 统 调 用 要 知 道 这 个 数 字 的 含 义 ， 我 们 就 需 要 参 考 内 核 代 码 了 ， 一 般 在   L i n u x   系 统 中 必 要 的 内 核 头 文 件 位 于 / u s r / i n c l u d e 目 录 ， 在 博 主   6 4   位   L i n u x   机 器 上 ， 我 找 到 了 这 个 文 件 ： G o t y o u ！ ！ ！ 我 们 可 以 看 到 调 用 了   n e w f s t a t a t   系 统 调 用 ， 这 个 系 统 调 用 有 什 么 作 用 呢 ？ 让 我 们 再 一 次 问 男 人 ( m a n 命 令 ) ： 得 到 了 这 样 的 信 息 ： $   m a n   n e w f s t a t a t
啊 哈 ！ 原 来 是 f s t a t a t ， 这 是 在 读 取 文 件 的 元 信 息 。 现 在 我 们 已 经 知 道 了 调 用 什 么 系 统 调 用 ， 可 是 一 个 新 的 问 题 再 次 出 现 ， 那 就 是 我 们 为 什 么 调 用 这 个 系 统 调 用 后 最 终 会 因 为 等 待 一 个   r p c   被 卡 死 呢 ？ 显 然 我 们 需 要 调 用 栈 信 息 来 验 证 。 跟 踪 内 核 运 行 时 栈 跟 踪 内 核 运 行 时 栈 O O O O K e y ， 是 时 候 请 出 重 量 级 工 具 了 ， 这 就 是 / p r o c / P I D / s t a c k ， 通 过 简 单 的 查 看 这 个 文 件 我 们 就 能 知 道 通 过 简 单 的 查 看 这 个 文 件 我 们 就 能 知 道 相 应 进 程 在 内 核 中 的 调 用 栈 相 应 进 程 在 内 核 中 的 调 用 栈 ！ ！ ！ ！ ！ ！ 就 问 你   L i n u x   这 种 设 计 有 没 有 很 厉 害 ， 有 没 有 ！ ！ ！ 这 个 内 核 调 用 栈 最 终 揭 开 了 所 有 秘 密 。 真 相 大 白 真 相 大 白 首 先 我 们 来 看 调 用 栈 的 栈 顶 ， 栈 顶 正 是   p s   命 令   W C H A N   那 一 列 打 印 出 来 的 ， 进 程 在 内 核 中 正 是 因 为 调 用 这 个 函 数 被 卡 死 的 。
接 下 来 我 们 从 调 用 栈 的 最 底 层 看 ， 我 们 发 现 了 系 统 调 用 ， 印 证 了 正 是 进 程 调 用 这 个 系 统 调 用 而 导 致 卡 住 的 。 那 么 调 用 这 个 系 统 调 用 发 生 了 什 么 呢 ？ 我 们 接 着 往 上 看 ， 注 意 这 几 行 ：
F i n a l l y ！ ！ ！ ！ ！ ！ 从 调 用 栈 中 我 们 看 到 了 一 系 列   N F S   相 关 的 函 数 ， N F S 全 称 N e t w o r k   F i l e   S y s t e m ， 也 就 是 网 络 文 件 系 统 ， 我 们 平 时 挂 载 ( m o u n t ) 一 个 远 程 文 件 系 统 就 是 N F S 来 实 现 的 ， 正 是   N F S   进 行 网 络 通 信 才 导 致 在   r p c   上 等 待 ， 从 内 核 调 用 栈 我 们 知 道 ， 进 程 在 查 询 某 个 远 程 主 机 上 文 件 的 元 数 据 时 因 网 络 问 题 导 致 被 卡 死 。 通 过 这 一 线 索 我 们 最 终 锁 定 了 出 现 问 题 的 代 码 。 总 结 总 结 本 文 为 大 家 完 整 展 示 了 一 次   b u g   的 定 位 过 程 ， 可 以 看 到   L i n u x   为 我 们 提 供 了 极 为 丰 富 的 调 试 工 具 ， 当 然 这 离 不 开   L i n u x   系 统 本 身 优 秀 的 设 计 思 想 ， 那 就 是 将 进 程 和 内 核 的 运 行 时 信 息 通 过 文 件 系 统 提 供 出 来 那 就 是 将 进 程 和 内 核 的 运 行 时 信 息 通 过 文 件 系 统 提 供 出 来 ， 这 极 大 的 方 便 了 问 题 的 排 查 与 定 位 。 希 望 本 文 对 大 家 理 解   L i n u x   系 统 下 问 题   d e b u g   有 所 帮 助 。 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理