搜索

[26326] 2020-12-10_图说Linux高性能网络架构的那些事

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2020-12-10_图说Linux高性能网络架构的那些事 图 说   L i n u x   高 性 能 网 络 架 构 的 那 些 事 L i n u x 学 习   2 0 2 0 - 1 2 - 1 0 以 下 文 章 来 源 于 后 端 技 术 指 南 针   ， 作 者 指 南 针 氪 金 入 口 来 自 公 众 号 ： 来 自 公 众 号 ： 后 端 技 术 指 南 针 后 端 技 术 指 南 针 1 .   落 寞 的 小 黑 落 寞 的 小 黑 上 周 北 京 很 冷 ， 周 五 晚 上 大 白 下 班 奔 地 铁 站 ， 收 到 了 好 基 友 小 黑 的 微 信 : 后 端 技 术 指 南 针 后 端 技 术 指 南 针   . 专 注 后 端 开 发 ， 记 录 所 思 所 得 。

于 是 大 白 掉 头 扫 了 个 单 车 奔 五 道 口 了 ， 小 黑 靠 谱 地 选 了 个 不 错 的 位 置 。 小 黑 小 黑 :   你 今 天 下 班 挺 早 呀 ！ 大 白 大 白 :   就 咱 这 觉 悟 ， 心 里 有 工 作 ， 哪 里 都 是 办 公 桌 ， 不 要 拘 泥 于 形 式 嘛 。 明 显 能 感 觉 得 到 小 黑 哥 最 近 好 像 比 较 累 ， 之 前 眼 里 b u l i n g b u l i n g 闪 的 光 是 看 不 到 了 。 大 白 大 白 :   下 午 去 面 的 哪 家 ？ 啥 岗 位 ？ 咋 样 ？ 小 黑 小 黑 :   是 一 家 做 自 动 驾 驶 的 创 业 公 司 ， 网 站 是 看 团 队 介 绍 还 不 错 ， 就 去 看 看 了 ， 这 次 没 咋 准 备 ， 很 多 问 题 其 实 都 熟 悉 ， 但 是 回 答 的 不 到 位 。 大 白 大 白 :   哦 ， 明 白 了 ， 那 就 是 当 时 理 解 的 不 到 位 ， 稀 里 糊 涂 过 去 了 ， 现 在 忽 然 问 起 来 ， 想 不 起 重 点 。 小 黑 小 黑 :   差 不 多 吧 ， 问 我 都 做 过 哪 些 高 性 能 的 网 络 框 架 模 型 ， 也 就 是 I O 和 事 件 驱 动 那 一 套 。 话 说 完 ， 小 黑 喝 了 一 大 口 啤 酒 ， 大 白 看 出 了 小 黑 心 里 有 一 些 落 寞 。 毕 竟 在 帝 都 这 个 地 方 竞 争 和 工 作 压 力 ， 以 及 生 活 琐 事 都 一 直 围 绕 着 我 们 ， 但 是 金 钱 和 好 运 都 巧 妙 地 避 开 了 自 己 . . . 想 到 这 里 ， 大 白 也 深 深 喝 了 一 大 口 ， 我 命 由 我 不 由 天 ， 开 整 ！ 大 白 大 白 ： 黑 哥 ， 你 说 这 个 问 题 确 实 不 好 回 答 ， 全 是 术 语 和 略 带 歧 义 的 东 西 ， 我 觉 得 我 们 抓 住 本 质 去 阐 述 就 好 。 小 黑 小 黑 ： 来 ， 请 开 始 你 的 表 演 ， 我 学 习 学 习 。 大 白 决 定 和 小 黑 好 好 聊 聊 ， L i n u x 开 发 中 常 用 的 高 性 能 网 络 框 架 中 的 一 些 事 儿 ， 火 锅 的 映 衬 下 让 夜 色 和 天 气 都 不 那 么 寒 冷 了 。
通 过 本 文 你 将 会 了 解 到 以 下 内 容 ： I O 事 件 和 事 件 和 I O 复 用 复 用 线 程 模 型 和 事 件 驱 动 模 型 的 架 构 线 程 模 型 和 事 件 驱 动 模 型 的 架 构 基 于 事 件 驱 动 的 基 于 事 件 驱 动 的 R e a c t o r 模 式 详 解 模 式 详 解 同 步 同 步 I O 和 异 步 和 异 步 I O 简 介 简 介 2 .   I O 事 件 和 事 件 和 I O 复 用 复 用 2 . 1   什 么 是 什 么 是 I O 事 件 事 件 I O 指 的 是 输 入 I n p u t / 输 出 O u t p u t ， 但 是 从 汉 语 角 度 来 说 ， 出 和 入 是 相 对 的 ， 所 以 我 们 需 要 个 参 照 物 。 这 里 我 们 的 参 照 物 选 择 为 程 序 运 行 时 的 主 存 储 空 间 ， 外 部 通 常 包 括 网 卡 、 磁 盘 等 。 有 了 上 述 的 设 定 理 解 起 来 就 方 便 多 了 ， 我 们 来 一 起 看 下 ： I O 的 本 质 是 数 据 的 流 动 ， 数 据 可 以 从 网 卡 到 程 序 内 存 ， 也 可 以 从 程 序 内 存 写 到 网 卡 ， 磁 盘 操 作 也 是 如 此 。 的 本 质 是 数 据 的 流 动 ， 数 据 可 以 从 网 卡 到 程 序 内 存 ， 也 可 以 从 程 序 内 存 写 到 网 卡 ， 磁 盘 操 作 也 是 如 此 。 所 以 可 以 把 常 见 的 I O 分 为 : 网 络 网 络 I O ： 内 存 和 网 卡 的 数 据 交 互 文 件 文 件 I O ： 内 存 和 磁 盘 的 数 据 交 互
那 什 么 又 是 I O 事 件 呢 ？ 事 件 可 以 理 解 为 一 种 状 态 或 者 动 作 ， 也 就 是 状 态 的 迁 移 会 触 发 一 种 相 应 的 动 作 。 网 络 I O 的 事 件 通 常 包 括 ： 可 读 事 件 可 读 事 件 可 写 事 件 可 写 事 件 异 常 事 件 异 常 事 件 理 解 可 读 可 写 事 件 是 非 常 有 必 要 的 ， 一 般 来 说 一 个 s o c k e t 大 部 分 时 候 是 可 写 的 ， 但 是 并 不 是 都 可 读 。 可 读 一 般 代 表 是 一 个 新 连 接 或 者 原 有 连 接 有 新 数 据 交 互 ， 对 于 服 务 端 程 序 来 说 也 是 重 点 关 注 的 事 件 。 2 . 2   什 么 是 什 么 是 I O 复 用 复 用 设 想 假 如 有 几 万 个 I O 事 件 ， 那 么 应 用 程 序 该 如 何 管 理 呢 ？ 这 就 要 提 到 I O 复 用 了 。 I O 复 用 从 本 质 上 来 说 就 是 应 用 程 序 借 助 于 复 用 从 本 质 上 来 说 就 是 应 用 程 序 借 助 于 I O 复 用 函 数 向 内 核 注 册 很 多 类 型 的 复 用 函 数 向 内 核 注 册 很 多 类 型 的 I O 事 件 ， 当 这 些 注 册 的 事 件 ， 当 这 些 注 册 的 I O 事 件 发 生 变 化 时 内 核 就 通 过 事 件 发 生 变 化 时 内 核 就 通 过 I O 复 用 函 数 来 通 知 应 用 程 序 。 复 用 函 数 来 通 知 应 用 程 序 。
从 图 中 可 以 看 到 ， I O 复 用 中 复 用 的 就 是 一 个 负 责 监 听 管 理 这 些 I O 事 件 的 线 程 。 之 所 以 可 以 实 现 一 个 线 程 管 理 成 百 上 千 个 I O 事 件 ， 是 因 为 大 部 分 时 间 里 某 个 时 刻 只 有 少 量 I O 事 件 被 触 发 。 大 概 就 像 这 样 ： 草 原 上 的 一 只 大 狗 可 以 看 管 几 十 只 绵 羊 ， 因 为 大 部 分 时 候 只 有 个 别 绵 羊 不 守 规 矩 乱 跑 ， 其 草 原 上 的 一 只 大 狗 可 以 看 管 几 十 只 绵 羊 ， 因 为 大 部 分 时 候 只 有 个 别 绵 羊 不 守 规 矩 乱 跑 ， 其 他 的 都 是 乖 乖 吃 草 他 的 都 是 乖 乖 吃 草 。 3 .   网 络 框 架 设 计 要 素 网 络 框 架 设 计 要 素 要 理 解 网 络 框 架 有 哪 些 ， 必 须 要 清 楚 网 络 框 架 完 成 了 哪 些 事 情 。
大 致 描 述 下 这 个 请 求 处 理 的 流 程 ： 远 端 的 机 器 A 发 送 了 一 个 H T T P 请 求 到 服 务 器 B ， 此 时 服 务 器 B 网 卡 接 收 到 数 据 并 产 生 一 个 I O 可 读 事 件 ; 我 们 以 同 步 I O 为 例 ， 此 时 内 核 将 该 可 读 事 件 通 知 到 应 用 程 序 的 L i s t e n 线 程 ; L i s t e n 线 程 将 任 务 甩 给 H a n d l e r 线 程 ， 由 H a n d l e r 将 数 据 从 内 核 读 缓 冲 区 拷 贝 到 用 户 空 间 读 缓 冲 区 ; 请 求 数 据 包 在 应 用 程 序 内 部 进 行 计 算 和 处 理 并 封 装 响 应 包 ; H a n d l e r 线 程 等 待 可 写 事 件 的 到 来 ; 当 这 个 连 接 可 写 时 将 数 据 从 用 户 态 写 缓 冲 区 拷 贝 到 内 核 缓 冲 区 ， 并 通 过 网 卡 发 送 出 去 ; 备 注 ： 上 述 例 子 是 以 同 步 I O 为 例 ， 并 且 将 线 程 中 的 角 色 分 为 L i s t e n 线 程 、 H a n d l e r 线 程 、 W o r k e r 线 程 ， 分 别 完 成 不 同 的 工 作 ， 后 续 会 详 细 展 开 。 所 以 我 们 可 以 知 道 ， 要 完 成 一 个 数 据 交 互 ， 涉 及 了 几 大 块 内 容 ： I O 事 件 监 听 事 件 监 听 数 据 拷 贝 数 据 拷 贝 数 据 处 理 和 计 算 数 据 处 理 和 计 算 大 白 认 为 ， 这 三 大 块 内 容 ， 不 论 什 么 形 式 的 框 架 都 绕 不 开 ， 也 是 理 解 网 络 架 构 的 关 键 所 在 。
4 .   高 性 能 网 络 框 架 实 践 高 性 能 网 络 框 架 实 践 4 . 1   基 于 线 程 模 型 基 于 线 程 模 型 在 早 期 并 发 数 不 多 的 场 景 中 ， 有 一 种 O n e   R e q u e s t   O n e   T h r e a d 的 架 构 模 式 。 该 模 式 下 每 次 接 收 一 个 新 请 求 就 创 建 一 个 处 理 线 程 ， 线 程 虽 然 消 耗 资 源 并 不 多 ， 但 是 成 千 上 万 请 求 打 过 来 ， 性 能 也 是 扛 不 住 的 。
这 是 一 种 比 较 原 始 的 架 构 ， 思 路 也 非 常 清 晰 ， 创 建 多 个 线 程 来 提 供 处 理 能 力 ， 但 在 高 并 发 生 产 环 境 中 几 乎 没 有 应 用 ， 本 文 不 再 展 开 。 4 . 2   基 于 事 件 驱 动 模 型 基 于 事 件 驱 动 模 型 当 前 流 行 的 是 基 于 事 件 驱 动 的 I O 复 用 模 型 ， 相 比 多 线 程 模 型 优 势 很 明 显 。 在 此 我 们 先 理 解 一 下 什 么 是 事 件 驱 动 E v e n t - D r i v e - M o d e l 。 事 件 驱 动 编 程 是 一 种 编 程 范 式 ， 程 序 的 执 行 流 由 外 部 事 件 来 决 定 ， 它 的 特 点 是 包 含 一 个 事 件 循 环 ， 当 外 部 事 件 发 生 时 使 用 回 调 机 制 来 触 发 相 应 的 处 理 。 通 俗 来 说 就 是 ： 有 一 个 循 环 装 置 在 一 直 等 待 各 种 事 件 的 到 来 ， 并 将 到 达 的 事 件 放 到 队 列 中 ， 再 由 一 个 分 拣 有 一 个 循 环 装 置 在 一 直 等 待 各 种 事 件 的 到 来 ， 并 将 到 达 的 事 件 放 到 队 列 中 ， 再 由 一 个 分 拣 装 置 来 调 用 对 应 的 处 理 装 置 来 响 应 装 置 来 调 用 对 应 的 处 理 装 置 来 响 应 。 4 . 3   R e a c t o r 反 应 堆 模 式 反 应 堆 模 式 第 一 次 听 到 这 个 模 式 的 时 候 很 困 惑 ， 究 竟 反 应 堆 是 个 啥 ？ 研 究 了 一 下 发 现 ， 反 应 堆 是 个 核 物 理 的 概 念 ， 大 致 是 这 个 样 子 的 ： 核 反 应 堆 是 核 电 站 的 心 脏   ， 它 的 工 作 原 理 是 这 样 的 ： 原 子 由 原 子 核 与 核 外 电 子 组 成 ， 原 子 核 由 质 子 与 中 子 组 成 。 当 铀 当 铀 2 3 5 的 原 子 核 受 到 外 来 中 子 轰 击 时 ， 一 个 原 子 核 会 吸 收 一 个 中 子 分 裂 成 两 个 质 量 较 小 的 原 子 核 ， 同 时 放 出 的 原 子 核 受 到 外 来 中 子 轰 击 时 ， 一 个 原 子 核 会 吸 收 一 个 中 子 分 裂 成 两 个 质 量 较 小 的 原 子 核 ， 同 时 放 出 2 - 3 个 中 子 。 个 中 子 。
这 裂 变 产 生 的 中 子 又 去 轰 击 另 外 的 铀 这 裂 变 产 生 的 中 子 又 去 轰 击 另 外 的 铀 2 3 5 原 子 核 ， 引 起 新 的 裂 变 原 子 核 ， 引 起 新 的 裂 变 ， 如 此 持 续 进 行 就 是 裂 变 的 链 式 反 应 。 如 此 持 续 进 行 就 是 裂 变 的 链 式 反 应 。 结 合 这 种 核 裂 变 的 图 ， 好 像 是 一 个 请 求 打 过 来 ， 服 务 器 内 部 瞬 间 延 伸 出 很 多 分 支 来 完 成 响 应 ， 一 变 二 ， 二 是 一 个 请 求 打 过 来 ， 服 务 器 内 部 瞬 间 延 伸 出 很 多 分 支 来 完 成 响 应 ， 一 变 二 ， 二 变 四 ， 甚 至 更 多 变 四 ， 甚 至 更 多 ， 确 实 有 种 反 应 堆 的 感 觉 。 接 下 来 我 们 看 看 究 竟 反 应 堆 模 式 是 如 何 构 建 高 性 能 网 络 框 架 的 。 5 . 反 应 堆 模 式 详 解 反 应 堆 模 式 详 解 反 应 堆 模 式 是 一 种 思 想 ， 形 式 却 有 很 多 种 。 反 应 堆 模 式 是 一 种 思 想 ， 形 式 却 有 很 多 种 。 5 . 1   反 应 堆 模 式 的 本 质 是 什 么 反 应 堆 模 式 的 本 质 是 什 么 从 本 质 上 理 解 ， 无 论 什 么 网 络 框 架 都 要 完 成 两 部 分 操 作 ： I O 操 作 操 作 ： 数 据 包 的 读 取 和 写 入 C P U 操 作 操 作 ： 数 据 请 求 的 处 理 和 封 装 所 以 上 述 这 些 问 题 由 谁 来 做 以 及 多 少 线 程 来 做 ， 就 衍 生 出 了 很 多 形 式 由 谁 来 做 以 及 多 少 线 程 来 做 ， 就 衍 生 出 了 很 多 形 式 ， 所 以 不 要 被 表 面 现 象 迷 惑 ， 出 现 必 有 原 因 ， 追 溯 之 后 我 们 才 能 真 正 掌 握 它 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理