搜索

[18068] 2020-05-02_铁路“12306”的架构太牛了！

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2020-05-02_铁路“12306”的架构太牛了！ （ 别 快 走 开 ， 文 末 有 人 人 可 拿 的 奖 品 喔 ） ， 一 二 线 城 市 返 乡 、 外 出 游 玩 的 人 们 几 乎 都 面 临 着 一 个 问 题 ： 抢 火 车 票 ！ 铁 路 “ 1 2 3 0 6 ” 的 架 构 太 牛 了 ！ 绘 你 一 世 倾 城   H A C K 之 道   2 0 2 0 - 0 5 - 0 2 “ 1 2 3 0 6   抢 票 ， 极 限 并 发 带 来 的 思 考 虽 然 现 在 大 多 数 情 况 下 都 能 订 到 票 ， 但 是 放 票 瞬 间 即 无 票 的 场 景 ， 相 信 大 家 都 深 有 体 会 。 尤 其 是 春 节 期 间 ， 大 家 不 仅 使 用   1 2 3 0 6 ， 还 会 考 虑 “ 智 行 ” 和 其 他 的 抢 票 软 件 ， 全 国 上 下 几 亿 人 在 这 段 时 间 都 在 抢 票 。 “ 1 2 3 0 6   服 务 ” 承 受 着 这 个 世 界 上 任 何 秒 杀 系 统 都 无 法 超 越 的   Q P S ， 上 百 万 的 并 发 再 正 常 不 过 了 ！ 笔 者 专 门 研 究 了 一 下 “ 1 2 3 0 6 ” 的 服 务 端 架 构 ， 学 习 到 了 其 系 统 设 计 上 很 多 亮 点 ， 在 这 里 和 大 家 分 享 一 下 并 模 拟 一 个 例 子 ： 如 何 在   1 0 0   万 人 同 时 抢   1   万 张 火 车 票 时 ， 系 统 提 供 正 常 、 稳 定 的 服 务 。 G i t h u b 代 码 地 址 ： h t t p s : / / g i t h u b . c o m / G u o Z h a o r a n / s p i k e S y s t e m
大 型 高 并 发 系 统 架 构 高 并 发 的 系 统 架 构 都 会 采 用 分 布 式 集 群 部 署 ， 服 务 上 层 有 着 层 层 负 载 均 衡 ， 并 提 供 各 种 容 灾 手 段 （ 双 火 机 房 、 节 点 容 错 、 服 务 器 灾 备 等 ） 保 证 系 统 的 高 可 用 ， 流 量 也 会 根 据 不 同 的 负 载 能 力 和 配 置 策 略 均 衡 到 不 同 的 服 务 器 上 。 下 边 是 一 个 简 单 的 示 意 图 ： 负 载 均 衡 简 介 负 载 均 衡 简 介 上 图 中 描 述 了 用 户 请 求 到 服 务 器 经 历 了 三 层 的 负 载 均 衡 ， 下 边 分 别 简 单 介 绍 一 下 这 三 种 负 载 均 衡 。 ① ① O S P F （ 开 放 式 最 短 链 路 优 先 （ 开 放 式 最 短 链 路 优 先 ） ） 是 一 个 内 部 网 关 协 议 （ 是 一 个 内 部 网 关 协 议 （ I n t e r i o r   G a t e w a y   P r o t o c o l ， 简 称 ， 简 称   I G P ） ） O S P F   通 过 路 由 器 之 间 通 告 网 络 接 口 的 状 态 来 建 立 链 路 状 态 数 据 库 ， 生 成 最 短 路 径 树 ， O S P F   会 自 动 计 算 路 由 接 口 上 的 C o s t   值 ， 但 也 可 以 通 过 手 工 指 定 该 接 口 的   C o s t   值 ， 手 工 指 定 的 优 先 于 自 动 计 算 的 值 。 O S P F   计 算 的   C o s t ， 同 样 是 和 接 口 带 宽 成 反 比 ， 带 宽 越 高 ， C o s t   值 越 小 。 到 达 目 标 相 同   C o s t   值 的 路 径 ， 可 以 执 行 负 载 均 衡 ， 最 多   6   条 链 路 同 时 执 行 负 载 均 衡 。 ② ② L V S   （ （ L i n u x   V i r t u a l   S e r v e r ） ） 它 是 一 种 集 群 （ C l u s t e r ） 技 术 ， 采 用   I P   负 载 均 衡 技 术 和 基 于 内 容 请 求 分 发 技 术 。
调 度 器 具 有 很 好 的 吞 吐 率 ， 将 请 求 均 衡 地 转 移 到 不 同 的 服 务 器 上 执 行 ， 且 调 度 器 自 动 屏 蔽 掉 服 务 器 的 故 障 ， 从 而 将 一 组 服 务 器 构 成 一 个 高 性 能 的 、 高 可 用 的 虚 拟 服 务 器 。 ③ ③ N g i n x 想 必 大 家 都 很 熟 悉 了 ， 是 一 款 非 常 高 性 能 的   H T T P   代 理 / 反 向 代 理 服 务 器 ， 服 务 开 发 中 也 经 常 使 用 它 来 做 负 载 均 衡 。 N g i n x   实 现 负 载 均 衡 的 方 式 主 要 有 三 种 ： 轮 询 轮 询 加 权 轮 询 加 权 轮 询 I P   H a s h   轮 询 轮 询 下 面 我 们 就 针 对   N g i n x   的 加 权 轮 询 做 专 门 的 配 置 和 测 试 。 N g i n x   加 权 轮 询 的 演 示 加 权 轮 询 的 演 示 N g i n x   实 现 负 载 均 衡 通 过   U p s t r e a m   模 块 实 现 ， 其 中 加 权 轮 询 的 配 置 是 可 以 给 相 关 的 服 务 加 上 一 个 权 重 值 ， 配 置 的 时 候 可 能 根 据 服 务 器 的 性 能 、 负 载 能 力 设 置 相 应 的 负 载 。 下 面 是 一 个 加 权 轮 询 负 载 的 配 置 ， 我 将 在 本 地 的 监 听   3 0 0 1 - 3 0 0 4   端 口 ， 分 别 配 置   1 ， 2 ， 3 ， 4   的 权 重 ： 我 在 本 地   / e t c / h o s t s   目 录 下 配 置 了   w w w . l o a d _ b a l a n c e . c o m   的 虚 拟 域 名 地 址 。 # 配 置 负 载 均 衡         u p s t r e a m   l o a d _ r u l e   {               s e r v e r   1 2 7 . 0 . 0 . 1 : 3 0 0 1   w e i g h t = 1 ;               s e r v e r   1 2 7 . 0 . 0 . 1 : 3 0 0 2   w e i g h t = 2 ;               s e r v e r   1 2 7 . 0 . 0 . 1 : 3 0 0 3   w e i g h t = 3 ;               s e r v e r   1 2 7 . 0 . 0 . 1 : 3 0 0 4   w e i g h t = 4 ;         }         . . .         s e r v e r   {         l i s t e n               8 0 ;         s e r v e r _ n a m e     l o a d _ b a l a n c e . c o m   w w w . l o a d _ b a l a n c e . c o m ;         l o c a t i o n   /   {               p r o x y _ p a s s   h t t p : / / l o a d _ r u l e ;         } }
接 下 来 使 用   G o   语 言 开 启 四 个   H T T P   端 口 监 听 服 务 ， 下 面 是 监 听 在   3 0 0 1   端 口 的   G o   程 序 ， 其 他 几 个 只 需 要 修 改 端 口 即 可 ： 我 将 请 求 的 端 口 日 志 信 息 写 到 了   . / s t a t . l o g   文 件 当 中 ， 然 后 使 用   A B   压 测 工 具 做 压 测 ： 统 计 日 志 中 的 结 果 ， 3 0 0 1 - 3 0 0 4   端 口 分 别 得 到 了   1 0 0 、 2 0 0 、 3 0 0 、 4 0 0   的 请 求 量 。 p a c k a g e   m a i n i m p o r t   (         " n e t / h t t p "         " o s "         " s t r i n g s " ) f u n c   m a i n ( )   {         h t t p . H a n d l e F u n c ( " / b u y / t i c k e t " ,   h a n d l e R e q )         h t t p . L i s t e n A n d S e r v e ( " : 3 0 0 1 " ,   n i l ) } / / 处 理 请 求 函 数 , 根 据 请 求 将 响 应 结 果 信 息 写 入 日 志 f u n c   h a n d l e R e q ( w   h t t p . R e s p o n s e W r i t e r ,   r   * h t t p . R e q u e s t )   {         f a i l e d M s g   : =     " h a n d l e   i n   p o r t : "         w r i t e L o g ( f a i l e d M s g ,   " . / s t a t . l o g " ) } / / 写 入 日 志 f u n c   w r i t e L o g ( m s g   s t r i n g ,   l o g P a t h   s t r i n g )   {         f d ,   _   : =   o s . O p e n F i l e ( l o g P a t h ,   o s . O _ R D W R | o s . O _ C R E A T E | o s . O _ A P P E N D ,   0 6 4 4 )         d e f e r   f d . C l o s e ( )         c o n t e n t   : =   s t r i n g s . J o i n ( [ ] s t r i n g { m s g ,   " r n " } ,   " 3 0 0 1 " )         b u f   : =   [ ] b y t e ( c o n t e n t )         f d . W r i t e ( b u f ) } a b   - n   1 0 0 0   - c   1 0 0   h t t p : / / w w w . l o a d _ b a l a n c e . c o m / b u y / t i c k e t
这 和 我 在   N g i n x   中 配 置 的 权 重 占 比 很 好 的 吻 合 在 了 一 起 ， 并 且 负 载 后 的 流 量 非 常 的 均 匀 、 随 机 。 具 体 的 实 现 大 家 可 以 参 考   N g i n x   的   U p s t e a m   模 块 实 现 源 码 ， 这 里 推 荐 一 篇 文 章 《 N g i n x   中   U p s t r e a m   机 制 的 负 载 均 衡 》 ： 秒 杀 抢 购 系 统 选 型 回 到 我 们 最 初 提 到 的 问 题 中 来 ： 火 车 票 秒 杀 系 统 如 何 在 高 并 发 情 况 下 提 供 正 常 、 稳 定 的 服 务 呢 ？ 从 上 面 的 介 绍 我 们 知 道 用 户 秒 杀 流 量 通 过 层 层 的 负 载 均 衡 ， 均 匀 到 了 不 同 的 服 务 器 上 ， 即 使 如 此 ， 集 群 中 的 单 机 所 承 受 的   Q P S   也 是 非 常 高 的 。 如 何 将 单 机 性 能 优 化 到 极 致 呢 ？ 要 解 决 这 个 问 题 ， 我 们 就 要 想 明 白 一 件 事 ： 要 解 决 这 个 问 题 ， 我 们 就 要 想 明 白 一 件 事 ： 通 常 订 票 系 统 要 处 理 生 成 订 单 、 减 扣 库 存 、 用 户 支 付 这 三 个 基 本 的 阶 段 。 我 们 系 统 要 做 的 事 情 是 要 保 证 火 车 票 订 单 不 超 卖 、 不 少 卖 ， 每 张 售 卖 的 车 票 都 必 须 支 付 才 有 效 ， 还 要 保 证 系 统 承 受 极 高 的 并 发 。 这 三 个 阶 段 的 先 后 顺 序 该 怎 么 分 配 才 更 加 合 理 呢 ？ 我 们 来 分 析 一 下 ： 下 单 减 库 存 下 单 减 库 存 当 用 户 并 发 请 求 到 达 服 务 端 时 ， 首 先 创 建 订 单 ， 然 后 扣 除 库 存 ， 等 待 用 户 支 付 。 这 种 顺 序 是 我 们 一 般 人 首 先 会 想 到 的 解 决 方 案 ， 这 种 情 况 下 也 能 保 证 订 单 不 会 超 卖 ， 因 为 创 建 订 单 之 后 就 会 减 库 存 ， 这 是 一 个 原 子 操 作 。 但 是 这 样 也 会 产 生 一 些 问 题 ： 在 极 限 并 发 情 况 下 ， 任 何 一 个 内 存 操 作 的 细 节 都 至 关 影 响 性 能 ， 尤 其 像 创 建 订 单 这 种 逻 辑 ， 一 般 都 需 要 存 储 到 磁 盘 数 据 库 的 ， 对 数 据 库 的 压 力 是 可 想 而 知 的 。 如 果 用 户 存 在 恶 意 下 单 的 情 况 ， 只 下 单 不 支 付 这 样 库 存 就 会 变 少 ， 会 少 卖 很 多 订 单 ， 虽 然 服 务 端 可 以 限 制   I P   和 用 户 的 购 买 订 单 数 量 ， 这 也 不 算 是 一 个 好 方 法 。 支 付 减 库 存 支 付 减 库 存 h t t p s : / / w w w . k a n c l o u d . c n / d i g e s t / u n d e r s t a n d i n g n g i n x / 2 0 2 6 0 7
如 果 等 待 用 户 支 付 了 订 单 在 减 库 存 ， 第 一 感 觉 就 是 不 会 少 卖 。 但 是 这 是 并 发 架 构 的 大 忌 ， 因 为 在 极 限 并 发 情 况 下 ， 用 户 可 能 会 创 建 很 多 订 单 。 当 库 存 减 为 零 的 时 候 很 多 用 户 发 现 抢 到 的 订 单 支 付 不 了 了 ， 这 也 就 是 所 谓 的 “ 超 卖 ” 。 也 不 能 避 免 并 发 操 作 数 据 库 磁 盘 I O 。 预 扣 库 存 预 扣 库 存 从 上 边 两 种 方 案 的 考 虑 ， 我 们 可 以 得 出 结 论 ： 只 要 创 建 订 单 ， 就 要 频 繁 操 作 数 据 库   I O 。 那 么 有 没 有 一 种 不 需 要 直 接 操 作 数 据 库   I O   的 方 案 呢 ， 这 就 是 预 扣 库 存 。 先 扣 除 了 库 存 ， 保 证 不 超 卖 ， 然 后 异 步 生 成 用 户 订 单 ， 这 样 响 应 给 用 户 的 速 度 就 会 快 很 多 ； 那 么 怎 么 保 证 不 少 卖 呢 ？ 用 户 拿 到 了 订 单 ， 不 支 付 怎 么 办 ？ 我 们 都 知 道 现 在 订 单 都 有 有 效 期 ， 比 如 说 用 户 五 分 钟 内 不 支 付 ， 订 单 就 失 效 了 ， 订 单 一 旦 失 效 ， 就 会 加 入 新 的 库 存 ， 这 也 是 现 在 很 多 网 上 零 售 企 业 保 证 商 品 不 少 卖 采 用 的 方 案 。
订 单 的 生 成 是 异 步 的 ， 一 般 都 会 放 到   M Q 、 K a f k a   这 样 的 即 时 消 费 队 列 中 处 理 ， 订 单 量 比 较 少 的 情 况 下 ， 生 成 订 单 非 常 快 ， 用 户 几 乎 不 用 排 队 。 扣 库 存 的 艺 术 从 上 面 的 分 析 可 知 ， 显 然 预 扣 库 存 的 方 案 最 合 理 。 我 们 进 一 步 分 析 扣 库 存 的 细 节 ， 这 里 还 有 很 大 的 优 化 空 间 ， 库 存 存 在 哪 里 ？ 怎 样 保 证 高 并 发 下 ， 正 确 的 扣 库 存 ， 还 能 快 速 的 响 应 用 户 请 求 ？ 在 单 机 低 并 发 情 况 下 ， 我 们 实 现 扣 库 存 通 常 是 这 样 的 ： 为 了 保 证 扣 库 存 和 生 成 订 单 的 原 子 性 ， 需 要 采 用 事 务 处 理 ， 然 后 取 库 存 判 断 、 减 库 存 ， 最 后 提 交 事 务 ， 整 个 流 程 有 很 多 I O ， 对 数 据 库 的 操 作 又 是 阻 塞 的 。 这 种 方 式 根 本 不 适 合 高 并 发 的 秒 杀 系 统 。 接 下 来 我 们 对 单 机 扣 库 存 的 方 案 做 优 化 ： 本 地 扣 库 存 。 我 们 把 一 定 的 库 存 量 分 配 到 本 地 机 器 ， 直 接 在 内 存 中 减 库 存 ， 然 后 按 照 之 前 的 逻 辑 异 步 创 建 订 单 。 改 进 过 之 后 的 单 机 系 统 是 这 样 的 ： 这 样 就 避 免 了 对 数 据 库 频 繁 的   I O   操 作 ， 只 在 内 存 中 做 运 算 ， 极 大 的 提 高 了 单 机 抗 并 发 的 能 力 。
但 是 百 万 的 用 户 请 求 量 单 机 是 无 论 如 何 也 抗 不 住 的 ， 虽 然   N g i n x   处 理 网 络 请 求 使 用   E p o l l   模 型 ， c 1 0 k   的 问 题 在 业 界 早 已 得 到 了 解 决 。 但 是   L i n u x   系 统 下 ， 一 切 资 源 皆 文 件 ， 网 络 请 求 也 是 这 样 ， 大 量 的 文 件 描 述 符 会 使 操 作 系 统 瞬 间 失 去 响 应 。 上 面 我 们 提 到 了   N g i n x   的 加 权 均 衡 策 略 ， 我 们 不 妨 假 设 将   1 0 0 W   的 用 户 请 求 量 平 均 均 衡 到   1 0 0   台 服 务 器 上 ， 这 样 单 机 所 承 受 的 并 发 量 就 小 了 很 多 。 然 后 我 们 每 台 机 器 本 地 库 存   1 0 0   张 火 车 票 ， 1 0 0   台 服 务 器 上 的 总 库 存 还 是   1   万 ， 这 样 保 证 了 库 存 订 单 不 超 卖 ， 下 面 是 我 们 描 述 的 集 群 架 构 ： 问 题 接 踵 而 至 ， 在 高 并 发 情 况 下 ， 现 在 我 们 还 无 法 保 证 系 统 的 高 可 用 ， 假 如 这   1 0 0   台 服 务 器 上 有 两 三 台 机 器 因 为 扛 不 住 并 发 的 流 量 或 者 其 他 的 原 因 宕 机 了 。 那 么 这 些 服 务 器 上 的 订 单 就 卖 不 出 去 了 ， 这 就 造 成 了 订 单 的 少 卖 。 要 解 决 这 个 问 题 ， 我 们 需 要 对 总 订 单 量 做 统 一 的 管 理 ， 这 就 是 接 下 来 的 容 错 方 案 。 服 务 器 不 仅 要 在 本 地 减 库 存 ， 另 外 要 远 程 统 一 减 库 存 。 有 了 远 程 统 一 减 库 存 的 操 作 ， 我 们 就 可 以 根 据 机 器 负 载 情 况 ， 为 每 台 机 器 分 配 一 些 多 余 的 “ B u f f e r   库 存 ” 用 来 防 止 机 器 中 有 机 器 宕 机 的 情 况 。 我 们 结 合 下 面 架 构 图 具 体 分 析 一 下 ：
我 们 采 用   R e d i s   存 储 统 一 库 存 ， 因 为   R e d i s   的 性 能 非 常 高 ， 号 称 单 机   Q P S   能 抗   1 0 W   的 并 发 。 在 本 地 减 库 存 以 后 ， 如 果 本 地 有 订 单 ， 我 们 再 去 请 求   R e d i s   远 程 减 库 存 ， 本 地 减 库 存 和 远 程 减 库 存 都 成 功 了 ， 才 返 回 给 用 户 抢 票 成 功 的 提 示 ， 这 样 也 能 有 效 的 保 证 订 单 不 会 超 卖 。 当 机 器 中 有 机 器 宕 机 时 ， 因 为 每 个 机 器 上 有 预 留 的   B u f f e r   余 票 ， 所 以 宕 机 机 器 上 的 余 票 依 然 能 够 在 其 他 机 器 上 得 到 弥 补 ， 保 证 了 不 少 卖 。 B u f f e r   余 票 设 置 多 少 合 适 呢 ， 理 论 上   B u f f e r   设 置 的 越 多 ， 系 统 容 忍 宕 机 的 机 器 数 量 就 越 多 ， 但 是   B u f f e r   设 置 的 太 大 也 会 对   R e d i s   造 成 一 定 的 影 响 。 虽 然   R e d i s   内 存 数 据 库 抗 并 发 能 力 非 常 高 ， 请 求 依 然 会 走 一 次 网 络   I O ， 其 实 抢 票 过 程 中 对   R e d i s   的 请 求 次 数 是 本 地 库 存 和   B u f f e r   库 存 的 总 量 。 因 为 当 本 地 库 存 不 足 时 ， 系 统 直 接 返 回 用 户 “ 已 售 罄 ” 的 信 息 提 示 ， 就 不 会 再 走 统 一 扣 库 存 的 逻 辑 。 这 在 一 定 程 度 上 也 避 免 了 巨 大 的 网 络 请 求 量 把   R e d i s   压 跨 ， 所 以   B u f f e r   值 设 置 多 少 ， 需 要 架 构 师 对 系 统 的 负 载 能 力 做 认 真 的 考 量 。 代 码 演 示 G o   语 言 原 生 为 并 发 设 计 ， 我 采 用   G o   语 言 给 大 家 演 示 一 下 单 机 抢 票 的 具 体 流 程 。 初 始 化 工 作 初 始 化 工 作 G o   包 中 的   I n i t   函 数 先 于   M a i n   函 数 执 行 ， 在 这 个 阶 段 主 要 做 一 些 准 备 性 工 作 。
我 们 系 统 需 要 做 的 准 备 工 作 有 ： 初 始 化 本 地 库 存 、 初 始 化 远 程   R e d i s   存 储 统 一 库 存 的   H a s h   键 值 、 初 始 化   R e d i s   连 接 池 。 另 外 还 需 要 初 始 化 一 个 大 小 为   1   的   I n t   类 型   C h a n ， 目 的 是 实 现 分 布 式 锁 的 功 能 。 也 可 以 直 接 使 用 读 写 锁 或 者 使 用   R e d i s   等 其 他 的 方 式 避 免 资 源 竞 争 ， 但 使 用   C h a n n e l   更 加 高 效 ， 这 就 是   G o   语 言 的 哲 学 ： 不 要 通 过 共 享 内 存 来 通 信 ， 而 要 通 过 通 信 来 共 享 内 存 。 R e d i s   库 使 用 的 是   R e d i g o ， 下 面 是 代 码 实 现 ： . . . / / l o c a l S p i k e 包 结 构 体 定 义 p a c k a g e   l o c a l S p i k e t y p e   L o c a l S p i k e   s t r u c t   {         L o c a l I n S t o c k           i n t 6 4         L o c a l S a l e s V o l u m e   i n t 6 4 } . . . / / r e m o t e S p i k e 对 h a s h 结 构 的 定 义 和 r e d i s 连 接 池 p a c k a g e   r e m o t e S p i k e / / 远 程 订 单 存 储 健 值 t y p e   R e m o t e S p i k e K e y s   s t r u c t   {         S p i k e O r d e r H a s h K e y   s t r i n g         / / r e d i s 中 秒 杀 订 单 h a s h 结 构 k e y         T o t a l I n v e n t o r y K e y   s t r i n g         / / h a s h 结 构 中 总 订 单 库 存 k e y         Q u a n t i t y O f O r d e r K e y   s t r i n g       / / h a s h 结 构 中 已 有 订 单 数 量 k e y } / / 初 始 化 r e d i s 连 接 池 f u n c   N e w P o o l ( )   * r e d i s . P o o l   {         r e t u r n   & r e d i s . P o o l {                 M a x I d l e :       1 0 0 0 0 ,                 M a x A c t i v e :   1 2 0 0 0 ,   / /   m a x   n u m b e r   o f   c o n n e c t i o n s                 D i a l :   f u n c ( )   ( r e d i s . C o n n ,   e r r o r )   {                         c ,   e r r   : =   r e d i s . D i a l ( " t c p " ,   " : 6 3 7 9 " )                         i f   e r r   ! =   n i l   {                                 p a n i c ( e r r . E r r o r ( ) )                         }                         r e t u r n   c ,   e r r
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理