搜索

[26429] 2021-05-08_这次答应我，一举拿下IO多路复用！

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-19
2021-05-08_这次答应我，一举拿下IO多路复用！ 这 次 答 应 我 ， 一 举 拿 下   I / O   多 路 复 用 ！ L i n u x 学 习   2 0 2 1 - 0 5 - 0 8 以 下 文 章 来 源 于 小 林 c o d i n g   ， 作 者 小 林 c o d i n g 来 自 公 众 号 ： 来 自 公 众 号 ： 小 林 小 林 c o d i n g 这 次 ， 我 们 以 最 简 单   s o c k e t   网 络 模 型 ， 一 步 一 步 的 过 度 到   I / O   多 路 复 用 。 但 我 不 会 具 体 细 节 说 到 每 个 系 统 调 用 的 参 数 ， 这 方 面 书 上 肯 定 比 我 说 的 详 细 。 好 了 ， 发 车 ！ 发 车 ！ 小 林 小 林 c o d i n g   . 图 解 得 了 技 术 ， 谈 吐 得 了 烟 火 。
最 基 本 的   S o c k e t   模 型 要 想 客 户 端 和 服 务 器 能 在 网 络 中 通 信 ， 那 必 须 得 使 用   S o c k e t     编 程 ， 它 是 进 程 间 通 信 里 比 较 特 别 的 方 式 ， 特 别 之 处 在 于 它 是 可 以 跨 主 机 间 通 信 。 S o c k e t     的 中 文 名 叫 作 插 口 ， 咋 一 看 还 挺 迷 惑 的 。 事 实 上 ， 双 方 要 进 行 网 络 通 信 前 ， 各 自 得 创 建 一 个 S o c k e t ， 这 相 当 于 客 户 端 和 服 务 器 都 开 了 一 个 “ 口 子 ” ， 双 方 读 取 和 发 送 数 据 的 时 候 ， 都 通 过 这 个 “ 口 子 ” 。 这 样 一 看 ， 是 不 是 觉 得 很 像 弄 了 一 根 网 线 ， 一 头 插 在 客 户 端 ， 一 头 插 在 服 务 端 ， 然 后 进 行 通 信 。 创 建   S o c k e t   的 时 候 ， 可 以 指 定 网 络 层 使 用 的 是   I P v 4   还 是   I P v 6 ， 传 输 层 使 用 的 是   T C P   还 是   U D P 。 U D P   的   S o c k e t   编 程 相 对 简 单 些 ， 这 里 我 们 只 介 绍 基 于   T C P   的   S o c k e t   编 程 。 服 务 器 的 程 序 要 先 跑 起 来 ， 然 后 等 待 客 户 端 的 连 接 和 数 据 ， 我 们 先 来 看 看 服 务 端 的   S o c k e t   编 程 过 程 是 怎 样 的 。 服 务 端 首 先 调 用     函 数 ， 创 建 网 络 协 议 为   I P v 4 ， 以 及 传 输 协 议 为   T C P   的   S o c k e t   ， 接 着 调 用     函 数 ， 给 这 个   S o c k e t   绑 定 一 个   I P   地 址 和 端 口 地 址 和 端 口 ， 绑 定 这 两 个 的 目 的 是 什 么 ？ 绑 定 端 口 的 目 的 ： 当 内 核 收 到   T C P   报 文 ， 通 过   T C P   头 里 面 的 端 口 号 ， 来 找 到 我 们 的 应 用 程 序 ， 然 后 把 数 据 传 递 给 我 们 。 绑 定   I P   地 址 的 目 的 ： 一 台 机 器 是 可 以 有 多 个 网 卡 的 ， 每 个 网 卡 都 有 对 应 的   I P   地 址 ， 当 绑 定 一 个 网 卡 时 ， 内 核 在 收 到 该 网 卡 上 的 包 ， 才 会 发 给 我 们 ； 绑 定 完   I P   地 址 和 端 口 后 ， 就 可 以 调 用     函 数 进 行 监 听 ， 此 时 对 应   T C P   状 态 图 中 的   ， 如 果 我 们 要 判 定 服 务 器 中 一 个 网 络 程 序 有 没 有 启 动 ， 可 以 通 过     命 令 查 看 对 应 的 端 口 号 是 否 有 被 监 听 。 服 务 端 进 入 了 监 听 状 态 后 ， 通 过 调 用     函 数 ， 来 从 内 核 获 取 客 户 端 的 连 接 ， 如 果 没 有 客 户 端 连 接 ， 则 会 阻 塞 等 待 客 户 端 连 接 的 到 来 。 那 客 户 端 是 怎 么 发 起 连 接 的 呢 ？ 客 户 端 在 创 建 好   S o c k e t   后 ， 调 用     函 数 发 起 连 接 ， 该 函 数 的 参 数 要 指 明 服 务 端 的   I P   地 址 和 端 口 号 ， 然 后 万 众 期 待 的   T C P   三 次 握 手 就 开 始 了 。 在     T C P   连 接 的 过 程 中 ， 服 务 器 的 内 核 实 际 上 为 每 个   S o c k e t   维 护 了 两 个 队 列 ： s o c k e t ( ) b i n d ( ) l i s t e n ( ) l i s t e n n e t s t a t e a c c e p t ( ) c o n n e c t ( )
一 个 是 还 没 完 全 建 立 连 接 的 队 列 ， 称 为   T C P   半 连 接 队 列 半 连 接 队 列 ， 这 个 队 列 都 是 没 有 完 成 三 次 握 手 的 连 接 ， 此 时 服 务 端 处 于     的 状 态 ； 一 个 是 一 件 建 立 连 接 的 队 列 ， 称 为   T C P   全 连 接 队 列 全 连 接 队 列 ， 这 个 队 列 都 是 完 成 了 三 次 握 手 的 连 接 ， 此 时 服 务 端 处 于     状 态 ； 当   T C P   全 连 接 队 列 不 为 空 后 ， 服 务 端 的     函 数 ， 就 会 从 内 核 中 的   T C P   全 连 接 队 列 里 拿 出 一 个 已 经 完 成 连 接 的     S o c k e t   返 回 应 用 程 序 ， 后 续 数 据 传 输 都 用 这 个   S o c k e t 。 注 意 ， 监 听 的   S o c k e t   和 真 正 用 来 传 数 据 的   S o c k e t   是 两 个 ： 一 个 叫 作 监 听 监 听   S o c k e t ； 一 个 叫 作 已 连 接 已 连 接   S o c k e t ； 连 接 建 立 后 ， 客 户 端 和 服 务 端 就 开 始 相 互 传 输 数 据 了 ， 双 方 都 可 以 通 过     和     函 数 来 读 写 数 据 。 至 此 ，   T C P   协 议 的   S o c k e t   程 序 的 调 用 过 程 就 结 束 了 ， 整 个 过 程 如 下 图 ： s y n _ r c v d e s t a b l i s h e d a c c e p t ( ) r e a d ( ) w r i t e ( )
看 到 这 ， 不 知 道 你 有 没 有 觉 得 读 写   S o c k e t     的 方 式 ， 好 像 读 写 文 件 一 样 。 是 的 ， 基 于   L i n u x   一 切 皆 文 件 的 理 念 ， 在 内 核 中   S o c k e t   也 是 以 「 文 件 」 的 形 式 存 在 的 ， 也 是 有 对 应 的 文 件 描 述 符 。 P S   :   下 面 会 说 到 内 核 里 的 数 据 结 构 ， 不 感 兴 趣 的 可 以 跳 过 这 一 部 分 ， 不 会 对 后 续 的 内 容 有 影 响 。 文 件 描 述 符 的 作 用 是 什 么 ？ 每 一 个 进 程 都 有 一 个 数 据 结 构   ， 该 结 构 体 里 有 一 个 指 向 「 文 件 描 述 符 数 组 」 的 成 员 指 针 。 该 数 组 里 列 出 这 个 进 程 打 开 的 所 有 文 件 的 文 件 描 述 符 。 数 组 的 下 标 是 文 件 描 述 符 ， 是 一 个 整 数 ， 而 数 组 的 内 容 是 一 个 指 针 ， 指 向 内 核 中 所 有 打 开 的 文 件 的 列 表 ， 也 就 是 说 内 核 可 以 通 过 文 件 描 述 符 找 到 对 应 打 开 的 文 件 。 然 后 每 个 文 件 都 有 一 个   i n o d e ， S o c k e t   文 件 的   i n o d e   指 向 了 内 核 中 的   S o c k e t   结 构 ， 在 这 个 结 构 体 里 有 两 个 队 列 ， 分 别 是 发 送 队 列 发 送 队 列 和 接 收 队 列 接 收 队 列 ， 这 个 两 个 队 列 里 面 保 存 的 是 一 个 个   ， 用 链 表 的 组 织 形 式 串 起 来 。 s k _ b u f f   可 以 表 示 各 个 层 的 数 据 包 ， 在 应 用 层 数 据 包 叫   d a t a ， 在   T C P   层 我 们 称 为   s e g m e n t ， 在   I P   层 我 们 叫   p a c k e t ， 在 数 据 链 路 层 称 为   f r a m e 。 t a s k _ s t r u c t s t r u c t   s k _ b u f f
你 可 能 会 好 奇 ， 为 什 么 全 部 数 据 包 只 用 一 个 结 构 体 来 描 述 呢 ？ 协 议 栈 采 用 的 是 分 层 结 构 ， 上 层 向 下 层 传 递 数 据 时 需 要 增 加 包 头 ， 下 层 向 上 层 数 据 时 又 需 要 去 掉 包 头 ， 如 果 每 一 层 都 用 一 个 结 构 体 ， 那 在 层 之 间 传 递 数 据 的 时 候 ， 就 要 发 生 多 次 拷 贝 ， 这 将 大 大 降 低   C P U   效 率 。 于 是 ， 为 了 在 层 级 之 间 传 递 数 据 时 ， 不 发 生 拷 贝 ， 只 用   s k _ b u f f   一 个 结 构 体 来 描 述 所 有 的 网 络 包 ， 那 它 是 如 何 做 到 的 呢 ？ 是 通 过 调 整   s k _ b u f f   中     的 指 针 ， 比 如 ： 当 接 收 报 文 时 ， 从 网 卡 驱 动 开 始 ， 通 过 协 议 栈 层 层 往 上 传 送 数 据 报 ， 通 过 增 加   s k b - > d a t a   的 值 ， 来 逐 步 剥 离 协 议 首 部 。 当 要 发 送 报 文 时 ， 创 建   s k _ b u f f   结 构 体 ， 数 据 缓 存 区 的 头 部 预 留 足 够 的 空 间 ， 用 来 填 充 各 层 首 部 ， 在 经 过 各 下 层 协 议 时 ， 通 过 减 少   s k b - > d a t a   的 值 来 增 加 协 议 首 部 。 你 可 以 从 下 面 这 张 图 看 到 ， 当 发 送 报 文 时 ， d a t a   指 针 的 移 动 过 程 。 如 何 服 务 更 多 的 用 户 ？ 前 面 提 到 的   T C P   S o c k e t   调 用 流 程 是 最 简 单 、 最 基 本 的 ， 它 基 本 只 能 一 对 一 通 信 ， 因 为 使 用 的 是 同 步 阻 塞 的 方 式 ， 当 服 务 端 在 还 没 处 理 完 一 个 客 户 端 的 网 络   I / O   时 ， 或 者   读 写 操 作 发 生 阻 塞 时 ， 其 他 客 户 端 是 无 法 与 服 务 端 连 接 的 。 可 如 果 我 们 服 务 器 只 能 服 务 一 个 客 户 ， 那 这 样 就 太 浪 费 资 源 了 ， 于 是 我 们 要 改 进 这 个 网 络   I / O   模 型 ， 以 支 持 更 多 的 客 户 端 。 在 改 进 网 络   I / O   模 型 前 ， 我 先 来 提 一 个 问 题 ， 你 知 道 服 务 器 单 机 理 论 最 大 能 连 接 多 少 个 客 户 端 ？ 相 信 你 知 道   T C P   连 接 是 由 四 元 组 唯 一 确 认 的 ， 这 个 四 元 组 就 是 ： 本 机 本 机 I P ,   本 机 端 口 本 机 端 口 ,   对 端 对 端 I P ,   对 端 端 口 对 端 端 口 。 d a t a
服 务 器 作 为 服 务 方 ， 通 常 会 在 本 地 固 定 监 听 一 个 端 口 ， 等 待 客 户 端 的 连 接 。 因 此 服 务 器 的 本 地   I P   和 端 口 是 固 定 的 ， 于 是 对 于 服 务 端   T C P   连 接 的 四 元 组 只 有 对 端   I P   和 端 口 是 会 变 化 的 ， 所 以 最 大 最 大   T C P   连 接 数 连 接 数   = 客 户 端 客 户 端   I P   数 数 × 客 户 端 端 口 数 客 户 端 端 口 数 。 对 于   I P v 4 ， 客 户 端 的   I P   数 最 多 为   2   的   3 2   次 方 ， 客 户 端 的 端 口 数 最 多 为   2   的   1 6   次 方 ， 也 就 是 服 务 端 服 务 端 单 机 最 大 单 机 最 大   T C P   连 接 数 约 为 连 接 数 约 为   2   的 的   4 8   次 方 次 方 。 这 个 理 论 值 相 当 “ 丰 满 ” ， 但 是 服 务 器 肯 定 承 载 不 了 那 么 大 的 连 接 数 ， 主 要 会 受 两 个 方 面 的 限 制 ： 文 件 描 述 符 文 件 描 述 符 ， S o c k e t   实 际 上 是 一 个 文 件 ， 也 就 会 对 应 一 个 文 件 描 述 符 。 在   L i n u x   下 ， 单 个 进 程 打 开 的 文 件 描 述 符 数 是 有 限 制 的 ， 没 有 经 过 修 改 的 值 一 般 都 是   1 0 2 4 ， 不 过 我 们 可 以 通 过   u l i m i t   增 大 文 件 描 述 符 的 数 目 ； 系 统 内 存 系 统 内 存 ， 每 个   T C P   连 接 在 内 核 中 都 有 对 应 的 数 据 结 构 ， 意 味 着 每 个 连 接 都 是 会 占 用 一 定 内 存 的 ； 那 如 果 服 务 器 的 内 存 只 有   2   G B ， 网 卡 是 千 兆 的 ， 能 支 持 并 发   1   万 请 求 吗 ？ 并 发   1   万 请 求 ， 也 就 是 经 典 的   C 1 0 K   问 题   ， C   是   C l i e n t   单 词 首 字 母 缩 写 ， C 1 0 K   就 是 单 机 同 时 处 理   1 万 个 请 求 的 问 题 。 从 硬 件 资 源 角 度 看 ， 对 于   2 G B   内 存 千 兆 网 卡 的 服 务 器 ， 如 果 每 个 请 求 处 理 占 用 不 到   2 0 0 K B   的 内 存 和 1 0 0 K b i t   的 网 络 带 宽 就 可 以 满 足 并 发   1   万 个 请 求 。 不 过 ， 要 想 真 正 实 现   C 1 0 K   的 服 务 器 ， 要 考 虑 的 地 方 在 于 服 务 器 的 网 络   I / O   模 型 ， 效 率 低 的 模 型 ， 会 加 重 系 统 开 销 ， 从 而 会 离   C 1 0 K   的 目 标 越 来 越 远 。 多 进 程 模 型 基 于 最 原 始 的 阻 塞 网 络   I / O ，   如 果 服 务 器 要 支 持 多 个 客 户 端 ， 其 中 比 较 传 统 的 方 式 ， 就 是 使 用 多 进 程 模 多 进 程 模 型 型 ， 也 就 是 为 每 个 客 户 端 分 配 一 个 进 程 来 处 理 请 求 。 服 务 器 的 主 进 程 负 责 监 听 客 户 的 连 接 ， 一 旦 与 客 户 端 连 接 完 成 ， a c c e p t ( )   函 数 就 会 返 回 一 个 「 已 连 接 S o c k e t 」 ， 这 时 就 通 过     函 数 创 建 一 个 子 进 程 ， 实 际 上 就 把 父 进 程 所 有 相 关 的 东 西 都 复 制 复 制 一 份 ， 包 括 文 件 描 述 符 、 内 存 地 址 空 间 、 程 序 计 数 器 、 执 行 的 代 码 等 。 这 两 个 进 程 刚 复 制 完 的 时 候 ， 几 乎 一 摸 一 样 。 不 过 ， 会 根 据 返 回 值 返 回 值 来 区 分 是 父 进 程 还 是 子 进 程 ， 如 果 返 回 值 是   0 ， 则 是 子 进 程 ； 如 果 返 回 值 是 其 他 的 整 数 ， 就 是 父 进 程 。 正 因 为 子 进 程 会 复 制 父 进 程 的 文 件 描 述 符 复 制 父 进 程 的 文 件 描 述 符 ， 于 是 就 可 以 直 接 使 用 「 已 连 接   S o c k e t   」 和 客 户 端 通 信 了 ， 可 以 发 现 ， 子 进 程 不 需 要 关 心 「 监 听   S o c k e t 」 ， 只 需 要 关 心 「 已 连 接   S o c k e t 」 ； 父 进 程 则 相 反 ， 将 客 户 服 务 交 给 子 进 程 来 处 理 ， 因 此 父 进 程 不 需 要 关 心 「 已 连 接   S o c k e t 」 ， 只 需 要 关 心 「 监 听   S o c k e t 」 。 下 面 这 张 图 描 述 了 从 连 接 请 求 到 连 接 建 立 ， 父 进 程 创 建 生 子 进 程 为 客 户 服 务 。 f o r k ( )
另 外 ， 当 「 子 进 程 」 退 出 时 ， 实 际 上 内 核 里 还 会 保 留 该 进 程 的 一 些 信 息 ， 也 是 会 占 用 内 存 的 ， 如 果 不 做 好 “ 回 收 ” 工 作 ， 就 会 变 成 僵 尸 进 程 僵 尸 进 程 ， 随 着 僵 尸 进 程 越 多 ， 会 慢 慢 耗 尽 我 们 的 系 统 资 源 。 因 此 ， 父 进 程 要 “ 善 后 ” 好 自 己 的 孩 子 ， 怎 么 善 后 呢 ？ 那 么 有 两 种 方 式 可 以 在 子 进 程 退 出 后 回 收 资 源 ， 分 别 是 调 用     和     函 数 。 这 种 用 多 个 进 程 来 应 付 多 个 客 户 端 的 方 式 ， 在 应 对   1 0 0   个 客 户 端 还 是 可 行 的 ， 但 是 当 客 户 端 数 量 高 达 一 万 时 ， 肯 定 扛 不 住 的 ， 因 为 每 产 生 一 个 进 程 ， 必 会 占 据 一 定 的 系 统 资 源 ， 而 且 进 程 间 上 下 文 切 换 的 “ 包 袱 ” 是 很 重 的 ， 性 能 会 大 打 折 扣 。 进 程 的 上 下 文 切 换 不 仅 包 含 了 虚 拟 内 存 、 栈 、 全 局 变 量 等 用 户 空 间 的 资 源 ， 还 包 括 了 内 核 堆 栈 、 寄 存 器 等 内 核 空 间 的 资 源 。 多 线 程 模 型 既 然 进 程 间 上 下 文 切 换 的 “ 包 袱 ” 很 重 ， 那 我 们 就 搞 个 比 较 轻 量 级 的 模 型 来 应 对 多 用 户 的 请 求   — —   多 线 程 模 多 线 程 模 型 型 。 线 程 是 运 行 在 进 程 中 的 一 个 “ 逻 辑 流 ” ， 单 进 程 中 可 以 运 行 多 个 线 程 ， 同 进 程 里 的 线 程 可 以 共 享 进 程 的 部 分 资 源 的 ， 比 如 文 件 描 述 符 列 表 、 进 程 空 间 、 代 码 、 全 局 数 据 、 堆 、 共 享 库 等 ， 这 些 共 享 些 资 源 在 上 下 文 切 换 时 是 不 需 要 切 换 ， 而 只 需 要 切 换 线 程 的 私 有 数 据 、 寄 存 器 等 不 共 享 的 数 据 ， 因 此 同 一 个 进 程 下 的 线 程 上 下 文 切 换 的 开 销 要 比 进 程 小 得 多 。 当 服 务 器 与 客 户 端   T C P   完 成 连 接 后 ， 通 过     函 数 创 建 线 程 ， 然 后 将 「 已 连 接   S o c k e t 」 的 文 件 描 述 符 传 递 给 线 程 函 数 ， 接 着 在 线 程 里 和 客 户 端 进 行 通 信 ， 从 而 达 到 并 发 处 理 的 目 的 。 如 果 每 来 一 个 连 接 就 创 建 一 个 线 程 ， 线 程 运 行 完 后 ， 还 得 操 作 系 统 还 得 销 毁 线 程 ， 虽 说 线 程 切 换 的 上 写 文 开 w a i t ( ) w a i t p i d ( ) p t h r e a d _ c r e a t e ( )
销 不 大 ， 但 是 如 果 频 繁 创 建 和 销 毁 线 程 ， 系 统 开 销 也 是 不 小 的 。 那 么 ， 我 们 可 以 使 用 线 程 池 线 程 池 的 方 式 来 避 免 线 程 的 频 繁 创 建 和 销 毁 ， 所 谓 的 线 程 池 ， 就 是 提 前 创 建 若 干 个 线 程 ， 这 样 当 由 新 连 接 建 立 时 ， 将 这 个 已 连 接 的   S o c k e t   放 入 到 一 个 队 列 里 ， 然 后 线 程 池 里 的 线 程 负 责 从 队 列 中 取 出 已 连 接   S o c k e t   进 程 处 理 。 需 要 注 意 的 是 ， 这 个 队 列 是 全 局 的 ， 每 个 线 程 都 会 操 作 ， 为 了 避 免 多 线 程 竞 争 ， 线 程 在 操 作 这 个 队 列 前 要 加 锁 。 上 面 基 于 进 程 或 者 线 程 模 型 的 ， 其 实 还 是 有 问 题 的 。 新 到 来 一 个   T C P   连 接 ， 就 需 要 分 配 一 个 进 程 或 者 线 程 ， 那 么 如 果 要 达 到   C 1 0 K ， 意 味 着 要 一 台 机 器 维 护   1   万 个 连 接 ， 相 当 于 要 维 护   1   万 个 进 程 / 线 程 ， 操 作 系 统 就 算 死 扛 也 是 扛 不 住 的 。 I / O   多 路 复 用 既 然 为 每 个 请 求 分 配 一 个 进 程 / 线 程 的 方 式 不 合 适 ， 那 有 没 有 可 能 只 使 用 一 个 进 程 来 维 护 多 个   S o c k e t   呢 ？ 答 案 是 有 的 ， 那 就 是   I / O   多 路 复 用 多 路 复 用 技 术 。 一 个 进 程 虽 然 任 一 时 刻 只 能 处 理 一 个 请 求 ， 但 是 处 理 每 个 请 求 的 事 件 时 ， 耗 时 控 制 在   1   毫 秒 以 内 ， 这 样   1
秒 内 就 可 以 处 理 上 千 个 请 求 ， 把 时 间 拉 长 来 看 ， 多 个 请 求 复 用 了 一 个 进 程 ， 这 就 是 多 路 复 用 ， 这 种 思 想 很 类 似 一 个   C P U   并 发 多 个 进 程 ， 所 以 也 叫 做 时 分 多 路 复 用 。 我 们 熟 悉 的   s e l e c t / p o l l / e p o l l   内 核 提 供 给 用 户 态 的 多 路 复 用 系 统 调 用 ， 进 程 可 以 通 过 一 个 系 统 调 用 函 数 从 进 程 可 以 通 过 一 个 系 统 调 用 函 数 从 内 核 中 获 取 多 个 事 件 内 核 中 获 取 多 个 事 件 。 s e l e c t / p o l l / e p o l l   是 如 何 获 取 网 络 事 件 的 呢 ？ 在 获 取 事 件 时 ， 先 把 所 有 连 接 （ 文 件 描 述 符 ） 传 给 内 核 ， 再 由 内 核 返 回 产 生 了 事 件 的 连 接 ， 然 后 在 用 户 态 中 再 处 理 这 些 连 接 对 应 的 请 求 即 可 。 s e l e c t / p o l l / e p o l l   这 是 三 个 多 路 复 用 接 口 ， 都 能 实 现   C 1 0 K   吗 ？ 接 下 来 ， 我 们 分 别 说 说 它 们 。 s e l e c t / p o l l s e l e c t   实 现 多 路 复 用 的 方 式 是 ， 将 已 连 接 的   S o c k e t   都 放 到 一 个 文 件 描 述 符 集 合 文 件 描 述 符 集 合 ， 然 后 调 用   s e l e c t   函 数 将 文 件 描 述 符 集 合 拷 贝 拷 贝 到 内 核 里 ， 让 内 核 来 检 查 是 否 有 网 络 事 件 产 生 ， 检 查 的 方 式 很 粗 暴 ， 就 是 通 过 遍 历 遍 历 文 件 描 述 符 集 合 的 方 式 ， 当 检 查 到 有 事 件 产 生 后 ， 将 此   S o c k e t   标 记 为 可 读 或 可 写 ，   接 着 再 把 整 个 文 件 描 述 符 集 合 拷 贝 拷 贝 回 用 户 态 里 ， 然 后 用 户 态 还 需 要 再 通 过 遍 历 遍 历 的 方 法 找 到 可 读 或 可 写 的   S o c k e t ， 然 后 再 对 其 处 理 。 所 以 ， 对 于   s e l e c t   这 种 方 式 ， 需 要 进 行   2   次 「 遍 历 」 文 件 描 述 符 集 合 次 「 遍 历 」 文 件 描 述 符 集 合 ， 一 次 是 在 内 核 态 里 ， 一 个 次 是 在 用 户 态 里   ， 而 且 还 会 发 生   2   次 「 拷 贝 」 文 件 描 述 符 集 合 次 「 拷 贝 」 文 件 描 述 符 集 合 ， 先 从 用 户 空 间 传 入 内 核 空 间 ， 由 内 核 修 改 后 ， 再 传 出 到 用 户 空 间 中 。 s e l e c t   使 用 固 定 长 度 的   B i t s M a p ， 表 示 文 件 描 述 符 集 合 ， 而 且 所 支 持 的 文 件 描 述 符 的 个 数 是 有 限 制 的 ， 在 L i n u x   系 统 中 ， 由 内 核 中 的   F D _ S E T S I Z E   限 制 ，   默 认 最 大 值 为   ， 只 能 监 听   0 ~ 1 0 2 3   的 文 件 描 述 符 。 p o l l   不 再 用   B i t s M a p   来 存 储 所 关 注 的 文 件 描 述 符 ， 取 而 代 之 用 动 态 数 组 ， 以 链 表 形 式 来 组 织 ， 突 破 了 s e l e c t   的 文 件 描 述 符 个 数 限 制 ， 当 然 还 会 受 到 系 统 文 件 描 述 符 限 制 。 但 是   p o l l   和   s e l e c t   并 没 有 太 大 的 本 质 区 别 ， 都 是 使 用 「 线 性 结 构 」 存 储 进 程 关 注 的 都 是 使 用 「 线 性 结 构 」 存 储 进 程 关 注 的   S o c k e t   集 合 ， 因 此 集 合 ， 因 此 都 需 要 遍 历 文 件 描 述 符 集 合 来 找 到 可 读 或 可 写 的 都 需 要 遍 历 文 件 描 述 符 集 合 来 找 到 可 读 或 可 写 的   S o c k e t ， 时 间 复 杂 度 为 ， 时 间 复 杂 度 为   O ( n ) ， 而 且 也 需 要 在 用 户 态 与 ， 而 且 也 需 要 在 用 户 态 与 内 核 态 之 间 拷 贝 文 件 描 述 符 集 合 内 核 态 之 间 拷 贝 文 件 描 述 符 集 合 ， 这 种 方 式 随 着 并 发 数 上 来 ， 性 能 的 损 耗 会 呈 指 数 级 增 长 。 e p o l l e p o l l   通 过 两 个 方 面 ， 很 好 解 决 了   s e l e c t / p o l l   的 问 题 。 第 一 点 ， e p o l l   在 内 核 里 使 用 红 黑 树 来 跟 踪 进 程 所 有 待 检 测 的 文 件 描 述 字 红 黑 树 来 跟 踪 进 程 所 有 待 检 测 的 文 件 描 述 字 ， 把 需 要 监 控 的   s o c k e t   通 过     函 数 加 入 内 核 中 的 红 黑 树 里 ， 红 黑 树 是 个 高 效 的 数 据 结 构 ， 增 删 查 一 般 时 间 复 杂 度 是   ， 通 过 对 这 棵 黑 红 树 进 行 操 作 ， 这 样 就 不 需 要 像   s e l e c t / p o l l   每 次 操 作 时 都 传 入 整 个   s o c k e t   集 合 ， 只 需 要 传 入 一 个 待 检 测 的   s o c k e t ， 减 少 了 内 核 和 用 户 空 间 大 量 的 数 据 拷 贝 和 内 存 分 配 。 第 二 点 ，   e p o l l   使 用 事 件 驱 动 的 机 制 ， 内 核 里 维 护 了 一 个 链 表 来 记 录 就 绪 事 件 维 护 了 一 个 链 表 来 记 录 就 绪 事 件 ， 当 某 个   s o c k e t   有 事 件 发 1 0 2 4 e p o l l _ c t l ( ) O ( l o g n )
生 时 ， 通 过 回 调 函 数 内 核 会 将 其 加 入 到 这 个 就 绪 事 件 列 表 中 ， 当 用 户 调 用     函 数 时 ， 只 会 返 回 有 事 件 发 生 的 文 件 描 述 符 的 个 数 ， 不 需 要 像   s e l e c t / p o l l   那 样 轮 询 扫 描 整 个   s o c k e t   集 合 ， 大 大 提 高 了 检 测 的 效 率 。 从 下 图 你 可 以 看 到   e p o l l   相 关 的 接 口 作 用 ： e p o l l   的 方 式 即 使 监 听 的   S o c k e t   数 量 越 多 的 时 候 ， 效 率 不 会 大 幅 度 降 低 ， 能 够 同 时 监 听 的   S o c k e t   的 数 目 也 非 常 的 多 了 ， 上 限 就 为 系 统 定 义 的 进 程 打 开 的 最 大 文 件 描 述 符 个 数 。 因 而 ， e p o l l   被 称 为 解 决 被 称 为 解 决   C 1 0 K   问 问 题 的 利 器 题 的 利 器 。 插 个 题 外 话 ， 网 上 文 章 不 少 说 ，   返 回 时 ， 对 于 就 绪 的 事 件 ， e p o l l 使 用 的 是 共 享 内 存 的 方 式 ， 即 用 户 态 和 内 核 态 都 指 向 了 就 绪 链 表 ， 所 以 就 避 免 了 内 存 拷 贝 消 耗 。 这 是 错 的 ！ 看 过   e p o l l   内 核 源 码 的 都 知 道 ， 压 根 就 没 有 使 用 共 享 内 存 这 个 玩 意 压 根 就 没 有 使 用 共 享 内 存 这 个 玩 意 。 你 可 以 从 下 面 这 份 代 码 看 到 ，   e p o l l _ w a i t   实 现 的 内 核 代 码 中 调 用 了     函 数 ， 这 个 函 数 就 是 将 数 据 从 内 核 拷 贝 到 用 户 空 间 。 e p o l l _ w a i t ( ) e p o l l _ w a i t _ _ p u t _ u s e r
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理