搜索

[23277] 2014-11-12_内核层网络栈优化项目Fastsocket背后的故事

文档创建者：s7ckTeam
浏览次数：31
最后更新：2025-01-18
2014-11-12_内核层网络栈优化项目Fastsocket背后的故事 内 核 层 网 络 栈 优 化 项 目 F a s t s o c k e t 背 后 的 故 事 L i n u x 中 国   2 0 1 4 - 1 1 - 1 2 2 0 1 4 年 1 0 月 1 8 日 ， 当 时 就 职 于 新 浪 操 作 系 统 团 队 的 林 晓 峰 在 G i t h u b 上 开 源 了 名 为 F a s t s o c k e t 的 项 目 ， 并 在 之 后 一 天 的 中 国 L i n u x 内 核 开 发 者 大 会 上 对 该 项 目 的 原 理 和 应 用 效 果 进 行 了 介 绍 （ 演 讲 s l i d e s 在 此 ） 。 根 据 G i t h u b 官 网 的 介 绍 ， F a s t s o c k e t 是 ： 高 度 可 扩 展 的 s o c k e t 是 L i n u x 内 核 层 面 的 底 层 网 络 实 现 在 多 核 机 器 上 可 实 现 极 佳 性 能 ， 2 4 核 以 内 的 性 能 增 长 呈 线 性 ， 远 超 过 默 认 内 核 在 1 2 核 以 上 的 机 器 就 会 出 现 性 能 下 降 的 情 况 非 常 容 易 使 用 和 维 护 ， 应 用 代 码 无 需 变 更 针 对 k e r n e l - 2 . 6 . 3 2 - 4 3 1 . 1 7 . 1 . e l 6 / C e n t O S - 6 . 5 的 实 现 已 经 在 新 浪 的 生 产 环 境 部 署 由 新 浪 的 操 作 系 统 团 队 发 起 清 华 大 学 操 作 系 统 实 验 室 、 I n t e l 、 哲 思 自 由 软 件 社 区 （ Z e u u x ） 对 该 项 目 均 有 支 持 开 源 协 议 为 G P L v 2
开 源 之 后 的 两 周 之 内 ， 该 项 目 迅 速 收 获 了 1 8 0 0 多 个 s t a r 和 2 0 0 多 个 f o r k ， 可 以 说 成 为 了 开 源 社 区 又 一 新 的 热 点 项 目 。 近 日 ， I n f o Q 编 辑 对 F a s t s o c k e t 的 主 要 维 护 人 员 林 晓 峰 、 新 浪 操 作 系 统 团 队 的 负 责 人 李 晓 栋 进 行 了 邮 件 采 访 ， 了 解 有 关 F a s t s o c k e t 项 目 的 更 多 背 景 。 I n f o Q ： 简 单 介 绍 一 下 ： 简 单 介 绍 一 下 f a s t s o c k e t 的 开 发 背 景 吧 。 这 个 项 目 主 要 是 你 在 新 浪 这 边 跟 清 华 大 学 的 操 作 系 统 实 验 室 一 起 合 作 。 一 开 始 是 在 的 开 发 背 景 吧 。 这 个 项 目 主 要 是 你 在 新 浪 这 边 跟 清 华 大 学 的 操 作 系 统 实 验 室 一 起 合 作 。 一 开 始 是 在 什 么 时 候 发 起 的 ？ 发 起 的 动 机 是 什 么 ？ 与 清 华 大 学 的 操 作 系 统 实 验 室 、 什 么 时 候 发 起 的 ？ 发 起 的 动 机 是 什 么 ？ 与 清 华 大 学 的 操 作 系 统 实 验 室 、 I n t e l 和 哲 思 自 由 软 件 社 区 的 合 作 模 式 是 怎 样 的 ？ 和 哲 思 自 由 软 件 社 区 的 合 作 模 式 是 怎 样 的 ？ 李 晓 栋 ： 要 说 明 清 楚 这 点 ， 需 要 从 我 们 在 新 浪 内 部 发 起 的 F a s t O S 计 划 谈 起 。 从 技 术 上 讲 ， F a s t O S   计 划 要 做 的 是 对 L i n u x 内 核 “ 协 议 栈 、 文 件 系 统 、 I O ” 等 不 同 子 系 统 进 行 定 向 性 的 优 化 ， 以 满 足 高 性 能 网 站 的 实 际 需 要 。 F a s t s o c k e t 是 F a s t O S 计 划 中 的 第 一 个 子 项 目 ， 今 后 我 们 还 会 推 出 F a s t T C P 、 F a s t I O … … 从 管 理 理 念 上 讲 ， F a s t O S 期 望 打 造 的 是 一 个 有 公 司 保 障 、 但 没 有 公 司 边 界 、 开 放 式 的 生 态 系 统 ， 可 参 与 该 计 划 的 不 仅 有 新 浪 ， 而 且 还 包 括 ： 各 类 硬 件 提 供 商 、 高 校 实 验 室 、 国 内 外 自 由 软 件 组 织 、 I T 媒 体 、 互 联 网 技 术 同 行 以 及 对 我 们 计 划 感 兴 趣 的 任 何 开 发 者 。 所 有 正 式 加 入 我 们 F a s t O S 合 作 计 划 的 组 织 和 个 人 ， 不 仅 可 从 共 享 通 道 中 获 得 各 合 作 方 提 供 的 软 硬 件 及 宣 传 资 源 ， 更 为 重 要 的 是 ：   在 对 其 它 合 作 方 利 益 无 损 的 前 提 下 ， 可 以 各 取 所 需 ， 实 现 合 作 成 果 的 最 大 化 分 享 。 前 面 提 到 F a s t O S 计 划 是 有 公 司 保 障 的 ， 一 是 指 该 计 划 中 所 有 的 子 项 目 都 是 在 新 浪 生 产 环 境 中 被 正 式 使 用 的 ， 所 有 公 开 的 测 试 数 据 都 是 真 实 的 ， 有 可 信 度 方 面 的 保 障 ； 二 是 指 F a s t O S 计 划 的 日 常 运 作 管 理 由 新 浪 操 作 系 统 团 队 做 长 期 保 障 ， 有 一 套 明 确 的 治 理 细 节 和 管 理 流 程 ， 同 时 我 们 会 充 分 考 虑 并 切 实 避 免 合 作 方 之 间 的 利 益 冲 突 。   在 这 里 ， 我 们 也 诚 邀 请 大 家 加 入 进 来 。 林 晓 峰 ： F a s t s o c k e t 项 目 与 2 0 1 3 年 初 正 式 立 项 ， 该 项 目 最 初 要 解 决 的 问 题 就 是 要 提 升 七 层 交 换 服 务 的 H a p r o x y 的 单 机 性 能 。 提 升 单 机 性 能 根 本 原 因 在 于 降 低 成 本 ， 包 括 硬 件 相 关 成 本 和 集 群 运 维 成 本 。 经 过 H a p r o x y 系 统 详 尽 分 析 后 ， 我 们 发 现 大 部 分 C P U 资 源 消 耗 在 k e r n e l 里 ， 并 且 在 多 核 平 台 下 ， k e r n e l 在 网 络 协 议 栈 处 理 过 程 中 存 在 着 大 量 同 步 开 销 。 据 此 ， 我 们 将 开 发 k e r n e l 并 行 网 络 协 议 栈 作 为 核 心 目 标 ， 来 满
足 未 来 多 核 平 台 下 万 兆 高 性 能 的 网 络 需 求 。 随 着 F a s t s o c k e t 展 现 出 强 劲 的 性 能 优 势 ， 以 及 在 新 浪 生 产 环 境 落 地 ， 我 们 希 望 可 以 将 项 目 成 果 整 理 过 学 术 论 文 ， 并 有 信 心 冲 击 国 际 顶 级 系 统 和 网 络 方 面 的 技 术 会 议 。 借 助 合 作 伙 伴 I n t e l 的 牵 线 ， 我 们 联 系 到 了 清 华 操 作 系 统 中 心 的 陈 渝 教 授 ， 我 们 一 拍 即 合 的 开 始 F a s t s o c k e t 项 目 的 深 入 合 作 ， 并 且 完 成 了 F a s t s o c k e t 论 文 ， 并 已 经 向 相 关 会 议 投 稿 ， 目 前 在 等 待 结 果 。 I n f o Q ： 如 你 之 前 的 分 享 所 说 ， 多 核 机 器 在 没 有 优 化 之 前 ， ： 如 你 之 前 的 分 享 所 说 ， 多 核 机 器 在 没 有 优 化 之 前 ， C P U 资 源 大 多 消 耗 在 锁 上 面 了 。 多 线 程 的 性 能 提 升 一 般 有 哪 些 手 段 ， 各 资 源 大 多 消 耗 在 锁 上 面 了 。 多 线 程 的 性 能 提 升 一 般 有 哪 些 手 段 ， 各 自 的 原 理 是 什 么 ？ 自 的 原 理 是 什 么 ？ 林 晓 峰 ： 我 并 不 是 多 线 程 编 程 专 家 ， 不 过 可 以 给 一 些 有 关 多 核 平 台 性 能 优 化 的 通 用 建 议 。 设 计 程 序 框 架 的 时 候 ， 要 尽 可 能 的 避 免 多 线 程 访 问 需 要 同 步 的 共 享 资 源 ， 互 斥 上 锁 是 多 核 平 台 性 能 第 一 杀 手 ， 每 个 线 程 只 访 问 自 己 的 数 据 是 多 核 平 台 最 高 效 ， 用 户 程 序 和 系 统 内 核 里 都 一 样 。 另 外 ， 线 程 数 量 不 宜 太 多 ， 并 最 好 和 核 心 绑 定 ， 线 程 调 度 也 是 有 开 销 的 ， 保 持 线 程 在 一 个 核 心 上 运 行 可 以 让 C P U   c a c h e 更 高 效 。 I n f o Q ： 简 单 介 绍 一 下 ： 简 单 介 绍 一 下 F a s t s o c k e t 提 升 性 能 的 技 术 原 理 ？ 做 了 哪 些 技 术 上 的 实 现 或 优 化 ？ 提 升 性 能 的 技 术 原 理 ？ 做 了 哪 些 技 术 上 的 实 现 或 优 化 ？ 林 晓 峰 ： F a s t s o c k e t 提 升 性 能 ， 主 要 在 于 提 高 了 k e r n e l 网 络 协 议 栈 的 效 率 ， 所 以 网 络 I / O 密 集 的 应 用 可 以 收 到 很 好 的 性 能 提 升 效 果 。 F a s t s o c k e t 对 网 络 协 议 栈 内 部 优 化 ， 在 g i t h u b 上 的 主 线 有 总 计 7 个 优 化 特 性 。 这 些 优 化 可 以 分 为 两 个 维 度 。 第 一 个 维 度 是 多 核 扩 展 性 的 优 化 ， 也 就 是 让 k e r n e l 网 络 协 议 栈 在 多 核 平 台 发 挥 多 核 的 并 行 处 理 优 势 。 这 个 维 度 又 可 以 分 为 两 个 方 向 ： 一 是 ， 将 网 络 协 议 栈 处 理 的 关 键 数 据 结 构 做 C P U 核 心 间 的 隔 离 ， 使 得 每 个 核 心 有 完 全 本 地 的 访 问 数 据 ， 从 而 消 除 了 执 行 路 径 上 核 心 间 的 同 步 开 销 。 二 是 ， 使 得 任 意 的 某 个 T C P 连 接 的 全 部 处 理 ， 都 在 一 个 核 心 上 完 成 ， 这 样 可 以 最 大 化 的 提 高 C P U   c a c h e 利 用 率 。 第 二 个 维 度 是 单 核 性 能 的 提 升 ， 也 就 是 不 考 虑 多 核 同 步 的 情 况 下 ， 如 何 提 升 网 络 协 议 栈 在 单 个 核 心 上 的 绝 对 性 能 。 这 个 维 度 也 可 以 分 为 两 个 方 向 ： 一 是 ， 将 k e r n e l 中 的 通 用 服 务 为 网 络 I / O 做 专 用 定 制 ， 来 提 升 网 络 协 议 栈 的 性 能 。 二 是 ， 做 网 络 协 议 栈 的 跨 层 优 化 ， 改 变 传 统 协 议 栈 T C P / I P 协 议 栈 的 严 格 分 层 处 理 ， 将 传 输 的 关 键 信 息 垂 直 贯 穿 网 络 协 议 栈 ， 来 做 全 局 的 优 化 。 I n f o Q ： ： N g i n x 在 在 C P U 均 衡 上 已 很 不 错 了 ， 均 衡 上 已 很 不 错 了 ， f a c t s o c k e t 对 于 吞 吐 量 的 增 加 是 如 何 实 现 的 ？ 后 续 是 否 考 虑 做 成 对 于 吞 吐 量 的 增 加 是 如 何 实 现 的 ？ 后 续 是 否 考 虑 做 成 n g i n x   m o d u l e s ？ 针 对 ？ 针 对 H A P r o x y 的 实 现 与 的 实 现 与 N g i n x 一 样 吗 ？ 有 什 么 差 异 ？ 一 样 吗 ？ 有 什 么 差 异 ？ 林 晓 峰 ： F a s t s o c k e t 是 内 核 层 面 的 优 化 ， 对 用 户 程 序 是 透 明 的 ， 并 不 需 要 开 发 N g i n x 模 块 来 支 持 。 F a s t s o c k e t 对 应 用 程 序 来 说 通 用 的 ， 提 升 的 是 内 核 网 络 协 议 栈 的 效 率 。 I n f o Q ： 吞 吐 量 的 提 升 通 用 于 ： 吞 吐 量 的 提 升 通 用 于 4 、 、 7 层 代 理 吗 ？ 层 代 理 吗 ？ 林 晓 峰 ： F a s t s o c k e t 对 于 网 络 性 能 的 提 升 ， 适 用 于 使 用 s o c k e t   A P I 来 进 行 网 络 I / O 的 应 用 程 序 ， 所 以 我 们 将 它 命 名 为 F a s t s o c k e t 。 如 果 4 层 代 理 是 指 L V S ， 那 是 F a s t s o c k e t 是 不 适 用 的 ， 因 为 L V S 功 能 是 借 助 k e r n e l 里 N e t f i l t e r 框 架 实 现 的 。 I n f o Q ： 像 ： 像 F a s t s o c k e t 这 类 以 性 能 优 化 为 主 打 的 开 源 项 目 ， 品 质 保 障 、 技 术 方 案 选 择 、 成 本 管 控 非 常 重 要 ， 你 能 介 绍 一 下 这 方 面 的 经 这 类 以 性 能 优 化 为 主 打 的 开 源 项 目 ， 品 质 保 障 、 技 术 方 案 选 择 、 成 本 管 控 非 常 重 要 ， 你 能 介 绍 一 下 这 方 面 的 经 验 吗 ？ 验 吗 ？
李 晓 栋 ： 在 做 性 能 优 化 的 过 程 中 ， 很 多 时 候 我 们 往 往 会 陷 入 到 仅 关 注 性 能 指 标 的 误 区 ， 而 忽 视 了 程 序 交 付 给 运 维 人 员 后 的 部 署 成 本 、 运 维 成 本 。 比 方 说 ： 是 否 跟 现 有 的 上 层 软 件 、 运 维 手 段 兼 容 ？ 有 无 自 动 化 的 部 署 脚 本 ？ 应 急 回 滚 是 否 方 便 ？ 是 否 提 供 了 良 好 的 统 计 和 追 踪 机 制 ？ 等 等 等 等 。 这 些 都 需 要 在 方 案 设 计 环 节 充 分 考 虑 ， 否 则 很 有 可 能 出 现 “ 运 维 成 本 ”   大 于 “ 性 能 提 升 所 节 省 的 硬 件 成 本 ” ， 最 终 导 致 无 法 在 生 产 环 境 中 很 好 地 使 用 起 来 。 也 就 是 说 ， 我 们 需 要 在 性 能 和 可 运 维 之 间 找 到 一 个 最 佳 平 衡 点 。 其 实 在 F a s t s o c k e t 之 前 我 们 还 有 一 版 内 部 代 号 为 “ H y d r a ” 的 预 览 版 ， 性 能 比 现 在 的 F a s t s o c k e t 要 更 好 ， 但 需 要 修 改 h a p r o x y 、 n g i n x 等 上 层 软 件 的 代 码 ， 运 维 成 本 过 高 ， 因 此 被 我 们 果 断 放 弃 了 。 关 于 品 质 保 障 ， 我 觉 得 最 好 的 办 法 就 是 ， 在 设 计 测 试 用 例 时 ， 要 把 生 产 环 境 中 可 能 出 现 的 各 类 正 常 、 非 正 常 操 作 和 情 景 尽 量 都 考 虑 进 去 ， 最 好 能 让 比 较 资 深 的 运 维 人 员 参 与 到 测 试 用 例 设 计 中 。 当 然 ， 测 试 过 程 中 ， 细 心 必 不 可 少 ， 要 能 敏 锐 捕 捉 异 常 情 况 。 I n f o Q ： ： F a s t s o c k e t 开 源 之 后 立 刻 在 开 源 之 后 立 刻 在 G i t h u b 上 得 到 了 上 千 个 上 得 到 了 上 千 个 s t a r ， 看 来 很 多 人 也 有 这 方 面 的 需 求 。 目 前 主 要 得 到 的 反 馈 有 哪 些 ？ ， 看 来 很 多 人 也 有 这 方 面 的 需 求 。 目 前 主 要 得 到 的 反 馈 有 哪 些 ？ 林 晓 峰 ： F a s t s o c k e t 在 G i t h u b 上 正 式 开 源 到 现 在 刚 两 周 多 ， 到 写 稿 时 已 经 接 近 两 千 s t a r ， 这 是 出 乎 我 们 意 料 的 。 我 们 收 到 的 反 馈 主 要 分 为 两 方 面 。 一 是 ， 具 体 是 如 何 实 现 的 ， 对 其 性 能 的 大 幅 性 能 的 技 术 点 很 有 兴 趣 。 二 是 ， 比 较 关 注 F a s t s o c k e t 是 否 有 移 植 到 3 . X   k e r n e l 版 本 和 合 并 到 k e r n e l 主 线 的 计 划 。 在 H a p r o x y 的 m a i l i n g   l i s t 上 也 看 到 关 于 F a s t s o c k e t 的 讨 论 ， 很 高 兴 的 看 到 H a p r o x y 作 者 对 我 们 项 目 也 很 感 兴 趣 ， 并 表 示 可 以 考 虑 对 F a s t s o c k e t 进 行 直 接 支 持 。 I n f o Q ： 有 其 他 公 司 的 人 来 参 与 支 持 这 个 吗 ？ 未 来 以 开 源 模 式 更 新 ， 对 于 项 目 的 ： 有 其 他 公 司 的 人 来 参 与 支 持 这 个 吗 ？ 未 来 以 开 源 模 式 更 新 ， 对 于 项 目 的 c o m m i t 、 、 r e v i e w 机 制 有 什 么 计 划 ？ 机 制 有 什 么 计 划 ？ 林 晓 峰 ： 据 我 个 人 所 知 ， 已 经 几 家 大 型 互 联 网 公 司 对 F a s t s o c k e t 有 试 用 的 兴 趣 。 目 前 项 目 的 c o m m i t 主 要 采 用 G i t h u b 的 p u l l   r e q u e s t 机 制 ， 由 我 来 r e v i e w 代 码 。 未 来 希 望 可 以 吸 纳 更 多 活 跃 的 开 发 者 作 为 c o m m i t t e r ， 用 社 区 方 式 去 维 护 F a s t s o c k e t 项 目 。 I n f o Q ： ： F a s t s o c k e t 后 续 对 新 版 本 的 内 核 、 新 版 本 的 后 续 对 新 版 本 的 内 核 、 新 版 本 的 C e n t O S 的 支 持 ， 计 划 用 怎 样 的 方 式 去 长 期 维 持 ？ 的 支 持 ， 计 划 用 怎 样 的 方 式 去 长 期 维 持 ？ 李 晓 栋 ： F a s t s o c k e t 对 不 同 版 本 内 核 和 C e n t O S 发 行 版 的 持 续 支 持 ， 采 用 两 种 方 式 ： 一 是 由 新 浪 根 据 生 产 环 境 需 要 和 操 作 系 统 使 用 策 略 ， 适 时 升 级 ， 这 种 方 式 相 对 比 较 稳 健 和 持 续 ， 但 更 新 周 期 相 对 要 长 一 些 。 第 二 种 方 式 是 依 托 社 区 的 支 持 ， 目 前 已 有 热 心 贡 献 者 愿 意 帮 助 我 们 将 f a s t s o c k e t 移 植 到 C e n t O S 7 下 ， 在 这 里 我 们 也 表 示 深 深 感 谢 。 受 访 者 简 介 林 晓 峰 ， 前 新 浪 网 高 级 系 统 开 发 工 程 师 ， 关 注 网 络 ， 关 注 高 性 能 ， 关 注 L i n u x 内 核 。 李 晓 栋 ， 新 浪 网 研 发 中 心 高 级 技 术 经 理 ， 有 十 年 的 互 联 网 工 作 经 验 ， 是 “ 新 浪 软 件 负 载 均 衡 系 统 ”   和 “   新 浪 操 作 系 统 管 理 与 优 化 ” 方 面 的 重 要 开 拓 者 ， 也 是 F a s t O S 计 划 和 管 理 理 念 的 提 出 者 。 原 文 ：   h t t p : / / w w w . i n f o q . c o m / c n / n e w s / 2 0 1 4 / 1 1 / f a s t s o c k e t - g i t h u b - o p e n s o u r c e
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理