搜索

[24936] 2016-04-30_亿级Web系统的容错性建设实践

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2016-04-30_亿级Web系统的容错性建设实践 亿 级   W e b   系 统 的 容 错 性 建 设 实 践 作 者 ： 徐 汉 彬   L i n u x 中 国   2 0 1 6 - 0 4 - 3 0 转 载 自 ：   h t t p : / / h a n s i o n x u . b l o g . 1 6 3 . c o m / b l o g / s t a t i c / 2 4 1 6 9 8 1 0 9 2 0 1 6 3 3 7 3 5 5 2 2 1 /   作 者 ：   徐 汉 彬 三 年 多 前 ， 我 在 腾 讯 负 责 的 活 动 运 营 系 统 ， 因 为 业 务 流 量 规 模 的 数 倍 增 长 ， 系 统 出 现 了 各 种 各 样 的 异 常 ， 当 时 ， 作 为 开 发 的 我 ， 7 * 2 4 小 时 地 没 日 没 夜 处 理 告 警 ， 周 末 和 凌 晨 也 经 常 上 线 ， 疲 于 奔 命 。 后 来 ， 当 时 的 老 领 导 对 我 说 ： 你 不 能 总 扮 演 一 个 “ 救 火 队 长 ” 的 角 色 ，   要 尝 试 从 系 统 整 体 层 面 思 考 产 生 问 题 的 根 本 原 因 ， 然 后 推 进 解 决 。 我 幡 然 醒 悟 ， “ 火 ” 是 永 远 救 不 完 的 ， 让 系 统 能 够 自 动 ” 灭 火 ” ， 才 是 解 决 问 题 的 正 确 方 向 。 简 而 言 之 ， 系 统 的 异 常 不 能 总 是 依 赖 于 “ 人 ” 去 恢 复 ， 让 系 统 本 身 具 备 “ 容 错 ” 能 力 ， 才 是 根 本 解 决 之 道 。 三 年 多 过 去 了 ， 我 仍 然 负 责 着 这 个 系 统 ， 而 它 也 已 经 从 一 个 日 请 求 百 万 级 的 小 W e b 系 统 ， 逐 步 成 长 为 一 个 高 峰 日 请 求 达 到 8 亿 规 模 的 平 台 级 系 统 ， 走 过 一 段 令 人 难 忘 的 技 术 历 程 。 容 错 其 实 是 系 统 健 壮 性 的 重 要 指 标 之 一 ， 而 本 文 会 主 要 聚 焦 于 “ 容 错 ” 能 力 的 实 践 ， 希 望 对 做 技 术 的 同 学 有 所 启 发 和 帮 助 。 （ 备 注 ： Q Q 会 员 活 动 运 营 平 台 ， 后 面 统 一 简 称 A M S ）   一 、 一 、   重 试 机 制 重 试 机 制 最 容 易 也 最 简 单 被 人 想 到 的 容 错 方 式 ， 当 然 就 是 “ 失 败 重 试 ” ， 总 而 言 之 ， 简 单 粗 暴 ！ 简 单 是 指 它 的 实 现 通 常 很 简 单 ， 粗 暴 则 是 指 使 用 不 当 ， 很 可 能 会 带 来 系 统 “ 雪 崩 ” 的 风 险 ， 因 为 重 试 意 味 着 对 后 端 服 务 的 双 倍 请 求 。   1 .   简 单 重 试 简 单 重 试 我 们 请 求 一 个 服 务 ， 如 果 服 务 请 求 失 败 ， 则 重 试 一 次 。 假 设 ， 这 个 服 务 在 常 规 状 态 下 是 9 9 . 9 % 的 成 功 率 ， 因 为 某 一 次 波 动 性 的 异 常 ， 成 功 率 下 跌 到 9 5 % ， 那 么 如 果 有 重 试 机 制 ， 那 么 成 功 率 大 概 还 能 保 持 在 9 9 . 7 5 % 。 而 简 单 重 试 的 缺 陷 也 很 明 显 ， 如 果 服 务 真 的 出 问 题 ， 很 可 能 带 来 双 倍 流 量 ， 冲 击 服 务 系 统 ， 有 可 能 直 接 将 服 务 冲 垮 。 而 在 实 际 的 真 实 业 务 场 景 ， 往 往 更 严 重 ， 一 个 功 能 不 可 用 ， 往 往 更 容 易 引 起 用 户 的 “ 反 复 点 击 ” ， 反 而 制 造 更 大 规 模 的 流 量 冲 击 。 比 起 服 务 的 成 功 率 比 较 低 ， 系 统 直 接 被 冲 击 到 “ 挂 掉 ” 的 后 果 明 显 更 严 重 。
简 单 重 试 ， 要 使 用 在 恰 当 的 场 景 。 或 者 ， 主 动 计 算 服 务 成 功 率 ， 成 功 率 过 低 ， 就 直 接 不 做 重 试 行 为 ， 避 免 带 来 过 高 的 流 量 冲 击 。 2 .   主 备 服 务 自 动 切 换 主 备 服 务 自 动 切 换 既 然 单 一 服 务 的 重 试 ， 可 能 会 给 该 带 来 双 倍 的 流 量 冲 击 ， 而 最 终 导 致 更 严 重 的 后 果 ， 那 么 我 们 不 如 将 场 景 变 为 主 备 服 务 的 自 动 重 试 或 者 切 换 。 例 如 ， 我 们 搭 建 了 两 套 获 取 o p e n i d 的 服 务 ， 如 果 服 务 A 获 取 失 败 ， 则 尝 试 从 服 务 B 中 获 取 。 因 为 重 试 的 请 求 压 力 是 压 到 了 服 务 B 上 ， 服 务 A 通 常 不 会 因 为 重 试 而 产 生 双 倍 的 流 量 冲 击 。
这 种 重 试 的 机 制 ， 看 似 比 较 可 用 ， 而 实 际 上 也 存 在 一 些 问 题 ： （ 1 ）   通 常 会 存 在 “ 资 源 浪 费 ” 的 问 题 。 因 为 备 份 服 务 系 统 ， 很 可 能 长 期 处 于 闲 置 状 态 ， 只 有 在 主 服 务 异 常 的 时 候 ， 它 的 资 源 才 会 被 比 较 充 分 地 使 用 。 不 过 ， 如 果 对 于 核 心 的 服 务 业 务 （ 例 如 核 心 数 据 、 营 收 相 关 ） 进 行 类 似 的 部 署 ， 虽 然 会 增 加 一 些 机 器 成 本 和 预 算 ， 但 这 个 付 出 通 常 也 是 物 有 所 值 的 。 （ 2 ）   触 发 重 试 机 制 ， 对 于 用 户 的 请 求 来 说 ， 耗 时 必 然 增 加 。 主 服 务 请 求 失 败 ， 然 后 再 到 备 份 服 务 请 求 ， 这 个 环 节 的 请 求 耗 时 就 至 少 翻 倍 增 长 ， 假 设 主 服 务 出 现 c o n n e c t 连 接 超 时 ， 那 么 耗 时 就 更 是 大 幅 度 增 加 。 一 个 服 务 在 正 常 状 态 下 ， 获 取 数 据 也 许 只 要 5 0 m s ， 而 服 务 的 超 时 时 间 通 常 会 设 置 到 5 0 0 - 1 0 0 0 m s ， 甚 至 更 多 ， 一 旦 出 现 超 时 重 试 的 场 景 ， 请 求 耗 时 必 然 大 幅 度 增 长 ， 很 可 能 会 比 较 严 重 地 影 响 用 户 体 验 。 （ 3 ）   主 备 服 务 一 起 陷 入 异 常 。 如 果 是 因 为 流 量 过 大 问 题 导 致 主 服 务 异 常 ， 那 么 备 份 服 务 很 可 能 也 会 承 受 不 住 这 种 级 别 的 流 量 而 挂 掉 。 重 试 的 容 错 机 制 ， 在 A M S 上 有 使 用 ， 但 是 相 对 比 较 少 ， 因 为 我 们 认 为 主 备 服 务 ， 还 是 不 足 够 可 靠 。 二 、 二 、   动 态 剔 除 或 者 恢 复 异 常 机 器 动 态 剔 除 或 者 恢 复 异 常 机 器 在 A M S 里 ， 我 们 的 后 端 涉 及 数 以 百 计 的 各 类 服 务 ， 来 支 撑 整 个 运 营 系 统 的 正 常 运 作 。 所 有 后 端 服 务 或 者 存 储 ， 首 先 是 部 署 为 无 状 态 的 方 式 提 供 服 务 （ 一 个 服 务 通 常 很 多 台 机 器 ） ， 然 后 ， 通 过 公 司 内 的 一 个 公 共 的 智 能 路 由 服 务 L 5 ， 纳 入 到 A M S 中 。 （ 1 ）   所 有 服 务 与 存 储 ， 无 状 态 路 由 。 这 样 做 的 目 的 ， 主 要 是 为 了 避 免 单 点 风 险 ， 就 是 避 免 某 个 服 务 节 点 挂 了 ， 导 致 整 个 服 务 就 瘫 痪 了 。 实 际 上 ， 即 使 像 一 些 具 有 主 备 性 质 （ 主 机 器 挂 了 ， 支 持 切 换 到 备 份 机 器 ） 的 接 入 服 务 ， 也 是 不 够 可 靠 的 ， 毕 竟 只 有 2 台 ， 它 们 都 挂 了 的 情 况 ， 还 是 可 能 发 生 的 。 我 们 后 端 的 服 务 ， 通 常 都 以 一 组 机 器 的 形 式 提 供 服 务 ， 彼 此 之 间 没 有 状 态 关 系 ， 支 撑 随 机 分 配 请 求 。 （ 2 ）   支 持 平 行 扩 容 。 遇 到 大 流 量 场 景 ， 支 持 加 机 器 扩 容 。 （ 3 ）   自 动 剔 除 异 常 机 器 。 在 我 们 的 路 由 服 务 ， 发 现 某 个 服 务 的 机 器 异 常 的 时 候 （ 成 功 率 低 于 5 0 % ） ， 就 会 自 动 剔 除 该 机 器 ， 后 续 ， 会 发 出 试 探 性 的 请 求 ， 确 认 等 它 恢 复 正 常 之 后 ， 再 重 新 加 回 到 服 务 机 器 组 。
例 如 ， 假 如 一 组 服 务 下 拥 有 服 务 机 器 四 台 （ A B C D ） ， 假 设 A 机 器 的 服 务 因 为 某 种 未 知 原 因 ， 完 全 不 可 用 了 ， 这 个 时 候 L 5 服 务 会 主 动 将 A 机 器 自 动 从 服 务 组 里 剔 除 ， 只 保 留 B C D 三 台 机 器 对 外 提 供 服 务 。 而 在 后 续 ， 假 如 A 机 器 从 异 常 中 恢 复 了 ， 那 么 L 5 再 主 动 将 机 器 A 加 回 来 ， 最 后 ， 又 变 成 A B C D 四 台 机 器 对 外 提 供 服 务 。 在 过 去 的 3 年 里 ， 我 们 逐 步 将 A M S 内 的 服 务 ， 渐 渐 从 写 死 I P 列 表 或 者 主 备 状 态 的 服 务 ， 全 部 升 级 和 优 化 为 L 5 模 式 的 服 务 ， 慢 慢 实 现 了 A M S 后 端 服 务 的 自 我 容 错 能 力 。 至 少 ， 我 们 已 经 比 较 少 遇 到 ， 再 因 为 某 一 台 机 器 的 软 件 或 者 硬 件 故 障 ， 而 不 得 不 人 工 介 入 处 理 的 情 况 。 我 们 也 慢 慢 地 从 疲 于 奔 命 地 处 理 告 警 的 苦 难 中 ， 被 解 放 出 来 。   三 、 三 、   超 时 时 间 超 时 时 间 1 .   为 服 务 和 存 储 设 置 合 理 的 超 时 时 间 为 服 务 和 存 储 设 置 合 理 的 超 时 时 间 调 用 任 何 一 个 服 务 或 者 存 储 ， 一 个 合 理 的 超 时 时 间 （ 超 时 时 间 ， 就 是 我 们 请 求 一 个 服 务 时 ， 等 待 的 最 长 时 间 ） ， 是 非 常 重 要 的 ， 而 这 一 点 往 往 比 较 容 易 被 忽 视 。 通 常 W e b 系 统 和 后 端 服 务 的 通 信 方 式 ， 是 同 步 等 待 的 模 式 。 这 种 模 式 ， 它 会 带 来 的 问 题 比 较 多 。 对 于 服 务 端 ， 影 响 比 较 大 的 一 个 问 题 ， 就 是 它 会 严 重 影 响 系 统 吞 吐 率 。 假 设 ， 我 们 一 个 服 务 的 机 器 上 ， 启 用 了 1 0 0 个 处 理 请 求 的 w o r k e r ， w o r k e r 的 超 时 时 间 设 置 为 5 秒 ， 1 个 w o r k e r 处 理 1 个 任 务 的 平 均 处 理 耗 时 是 1 0 0 m s 。 那 么 1 个 w o r k 在 5 秒 钟 的 时 间 里 ， 能 够 处 理 5 0 个 用 户 请 求 ， 然 而 ， 一 旦 网 络 或 者 服 务 偶 尔 异 常 ， 响 应 超 时 ， 那 么 在 本 次 处 理 的 后 续 整 整 5 秒 里 ， 它 仅 仅 处 理 了 1 个 等 待 超 时 的 失 败 任 务 。 一 旦 比 较 大 概 率 出 现 这 类 型 的 超 时 异 常 ， 系 统 的 吞 吐 率 就 会 大 面 积 下 降 ， 有 可 能 耗 尽 所 有 的 w o r k e r （ 资 源 被 占 据 ， 全 部 在 等 待 状 态 ， 直 到 5 s 超 时 才 释 放 ） ， 最 终 导 致 新 的 请 求 无 w o r k e r 可 用 ， 只 能 陷 入 异 常 状 态 。
算 上 网 络 通 信 和 其 他 环 节 的 耗 时 ， 用 户 就 等 待 了 超 过 5 s 时 间 ， 最 后 却 获 得 一 个 异 常 的 结 果 ， 用 户 的 心 情 通 常 是 崩 溃 的 。 解 决 这 个 问 题 的 方 式 ， 就 是 设 置 一 个 合 理 的 超 时 时 间 。 例 如 ， 回 到 上 面 的 的 例 子 ， 平 均 处 理 耗 时 是 1 0 0 m s ， 那 么 我 们 不 如 将 超 时 时 间 从 5 s 下 调 到 5 0 0 m s 。 从 直 观 上 看 ， 它 就 解 决 了 吞 吐 率 下 降 和 用 户 等 待 过 长 的 问 题 。 然 而 ， 这 样 做 本 身 又 比 较 容 易 带 来 新 的 问 题 ， 就 是 会 引 起 服 务 的 成 功 率 下 降 。 因 为 平 均 耗 时 是 1 0 0 m s ， 但 是 ， 部 分 业 务 请 求 本 身 耗 时 比 较 长 ， 耗 时 超 过 5 0 0 m s 也 比 较 多 。 例 如 ， 某 个 请 求 服 务 端 耗 时 6 0 0 m s 才 处 理 完 毕 ， 然 后 这 个 时 候 ， 客 户 端 认 为 等 待 超 过 5 0 0 m s ， 已 经 断 开 了 连 接 。 处 理 耗 时 比 较 长 的 这 类 型 业 务 请 求 会 受 到 比 较 明 显 的 影 响 。
2 .   超 时 时 间 设 置 过 短 带 来 的 成 功 率 下 降 超 时 时 间 设 置 过 短 带 来 的 成 功 率 下 降 超 时 时 间 设 置 过 短 ， 会 将 很 多 本 来 处 理 成 功 的 请 求 ， 当 做 服 务 超 时 处 理 掉 ， 进 而 引 起 服 务 成 功 率 下 降 。 将 全 部 业 务 服 务 ， 以 一 刀 切 的 方 式 设 置 一 个 超 时 时 间 ， 是 比 较 不 可 取 的 。 优 化 的 方 法 ， 我 们 分 为 两 个 方 向 。 （ 1 ）   快 慢 分 离 根 据 实 际 的 业 务 维 度 ， 区 分 对 待 地 给 各 个 业 务 服 务 配 置 不 同 的 超 时 时 间 ， 同 时 ， 最 好 也 将 它 们 的 部 署 服 务 也 分 离 出 来 。 例 如 ， 天 天 酷 跑 的 查 询 服 务 耗 时 通 常 为 1 0 0 m s ， 那 么 超 时 时 间 我 们 就 设 置 为 1 s ， 某 新 手 游 的 查 询 服 务 通 常 耗 时 为 7 0 0 m s ， 那 么 我 们 就 设 置 为 5 s 。 这 样 的 话 ， 整 体 系 统 的 成 功 率 ， 就 不 会 受 到 比 较 大 的 影 响 。   （ 2 ）   解 决 同 步 阻 塞 等 待 “ 快 慢 分 离 ” 可 以 改 善 系 统 的 同 步 等 待 问 题 ， 但 是 ， 对 于 某 些 耗 时 本 来 就 比 较 长 的 服 务 而 言 ， 系 统 的 进 程 / 线 程 资 源 仍 然 在 同 步 等 待 过 程 中 ， 无 法 响 应 其 他 新 的 请 求 ， 只 能 阻 塞 等 待 ， 它 的 资 源 仍 然 是 被 占 据 ， 系 统 的 整 体 吞 吐 率 仍 然 被 大 幅 度 拉 低 。 解 决 的 思 路 ， 当 然 是 利 用 I / O 多 路 复 用 ， 通 过 异 步 回 调 的 方 式 ， 解 决 同 步 等 待 过 程 中 的 资 源 浪 费 。 A M S 的 一 些 核 心 服 务 ， 采 用 的 就 是 “ 协 程 ” （ 又 叫 “ 微 线 程 ” ， 简 单 的 说 ， 常 规 异 步 程 序 代 码 里 嵌 套 比 较 多 层 的 函 数 回 调 ， 编 写 复 杂 。 而 协 程 则 提 供 了 一 种 类 似 写 同 步 代 码 的 方 式 ， 来 写 异 步 回 调 程 序 ） ， 以 解 决 同 步 等 待 的 问 题 。 异 步 处 理 的 简 单 描 述 ， 就 是 当 进 程 遇 到 I / O 网 络 阻 塞 时 ， 就 保 留 现 场 ， 立 刻 切 换 去 处 理 下 一 个 业 务 请 求 ， 进 程 不 会 因 为 某 个 网 络 等 待 而 停 止 处 理 业 务 ， 进 而 ， 系 统 吞 吐 率 即 使 遇 到 网 络 等 待 时 间 过 长 的 场 景 ， 通 常 都 能 保 持 在 比 较 高 的 水 平 。 值 得 补 充 一 点 的 是 ， 异 步 处 理 只 是 解 决 系 统 的 吞 吐 率 问 题 ， 对 于 用 户 的 体 验 问 题 ， 并 不 会 有 改 善 ， 用 户 需 要 等 待 的 时 间 并 不 会 减 少 。 3 .   防 重 入 ， 防 止 重 复 发 货 防 重 入 ， 防 止 重 复 发 货 前 面 我 们 提 到 ， 我 们 设 置 了 一 个 比 较 “ 合 理 的 超 时 时 间 ” ， 简 而 言 之 ， 就 是 一 个 比 较 短 的 超 时 时 间 。 而 在 数 据 写 入 的 场 景 ， 会 引 起 新 的 问 题 ， 就 我 们 的 A M S 系 统 而 言 ， 就 是 发 货 场 景 。 如 果 是 发 货 请 求 超 时 ， 这 个 时 候 ， 我 们 需 要 思 考 的 问 题 就 比 较 多 了 。
（ 1 ）   发 货 等 待 超 时 ， 发 货 服 务 执 行 发 货 失 败 。 这 种 场 景 ， 问 题 不 大 ， 后 续 用 户 重 新 点 击 领 取 按 钮 ， 就 可 以 触 发 下 一 次 重 新 发 货 。 （ 2 ）   发 货 等 待 超 时 ， 发 货 服 务 实 际 在 更 晚 的 时 候 执 行 发 货 成 功 ， 我 们 称 之 为 “ 超 时 成 功 ” 。 比 较 麻 烦 的 场 景 ， 则 是 每 次 都 是 发 货 超 时 ， 而 实 际 上 都 发 货 成 功 ， 如 果 系 统 设 计 不 当 ， 有 可 能 导 致 用 户 可 以 无 限 领 取 礼 包 ， 最 终 造 成 活 动 运 营 事 故 。 第 二 种 场 景 ， 给 我 们 带 来 了 比 较 麻 烦 的 问 题 ， 如 果 处 理 不 当 ， 用 户 再 次 点 击 ， 就 触 发 第 多 次 “ 额 外 ” 发 货 。 例 如 ， 我 们 假 设 某 个 发 货 服 务 超 时 时 间 设 置 为 6 s ， 用 户 点 击 按 钮 ， 我 们 的 A M S 收 到 请 求 后 ， 请 求 发 货 服 务 发 货 ， 等 待 6 s 后 ， 无 响 应 ， 我 们 给 用 户 提 示 “ 领 取 失 败 ” ， 而 实 际 上 发 货 服 务 却 在 第 8 秒 执 行 发 货 成 功 ， 礼 包 到 了 用 户 的 账 户 上 。 而 用 户 看 见 “ 领 取 失 败 ” ， 则 又 再 次 点 击 按 钮 ， 最 终 导 致 “ 额 外 ” 多 发 一 个 礼 包 给 到 这 个 用 户 。 例 子 的 时 序 和 流 程 图 大 致 如 下 ： 这 里 就 提 到 了 防 重 入 ， 简 单 的 说 ， 就 是 如 何 确 认 不 管 用 户 点 击 多 少 次 这 个 领 取 按 钮 ， 我 们 都 确 保 结 果 只 有 一 种 预 期 结 果 ， 就 是 只 会 给 用 户 发 一 次 礼 包 ， 而 不 引 起 重 复 发 货 。 我 们 的 A M S 活 动 运 营 平 台 一 年 上 线 的 活 动 超 过 4 0 0 0 个 ， 涉 及 数 以 万 计 的 各 种 类 型 、 不 同 业 务 系 统 的 礼 包 发 货 ， 业 务 通 信 场 景 比 较 复 杂 。 针 对 不 同 的 业 务 场 景 ， 我 们 做 了 不 同 的 解 决 方 案 ： （ 1 ）   业 务 层 面 限 制 ， 设 置 礼 包 单 用 户 限 量 。 在 发 货 服 务 器 的 源 头 ， 设 置 好 一 个 用 户 仅 能 最 多 获 得 1 个 礼 包 ， 直 接 避 免 重 复 发 放 。 但 是 ， 这 种 业 务 限 制 ， 并 非 每 个 业 务 场 景 都 通 用 的 ， 只 限 于 内 部 具 备 该 限 制 能 力 的 业 务 发 货 系 统 ， 并 且 ， 有 一 些 礼 包 本 身 就 可 以 多 次 领 取 的 ， 就 不 适 用 了 。 （ 2 ）   订 单 号 机 制 。 用 户 的 每 一 次 符 合 资 格 的 发 货 请 求 ， 都 生 成 一 个 订 单 号 与 之 对 应 ， 通 过 它 来 确 保 1 个 订 单 号 ， 只 发 货 1 次 。 这 个 方 案 虽 然 比 较 完 善 ， 但 是 ， 它 是 依 赖 于 发 货 服 务 方 配 合 做 “ 订 单 号 发 货 状 态 更 新 “ 的 ， 而 我 们 的 发 货 业 务 方 众 多 ， 并 非 每 一 个 都 能 支 持 ” 订 单 号 更 新 “ 的
场 景 。 （ 3 ）   自 动 重 试 的 异 步 发 货 模 式 。 用 户 点 击 领 取 礼 包 按 钮 后 ， W e b 端 直 接 返 回 成 功 ， 并 且 提 示 礼 包 在 3 0 分 钟 内 到 账 。 对 于 后 台 ， 则 将 该 发 货 录 入 到 发 货 队 列 或 者 存 储 中 ， 等 待 发 货 服 务 异 步 发 货 。 因 为 是 异 步 处 理 ， 可 以 多 次 执 行 发 货 重 试 操 作 ， 直 到 发 货 成 功 为 止 。 同 时 ， 异 步 发 货 是 可 以 设 置 一 个 比 较 长 的 超 时 等 待 时 间 ， 通 常 不 会 出 现 “ 超 时 成 功 ” 的 场 景 ， 并 且 对 于 前 端 响 应 来 说 ， 不 需 要 等 待 后 台 发 货 状 态 的 返 回 。 但 是 ， 这 种 模 式 ， 会 给 用 户 带 来 比 较 不 好 的 体 验 ， 就 是 没 有 实 时 反 馈 ， 无 法 立 刻 告 诉 用 户 ， 礼 包 是 否 到 账 。   4 .   非 订 单 号 的 特 殊 防 刷 机 制 非 订 单 号 的 特 殊 防 刷 机 制 某 些 特 殊 的 合 作 场 景 ， 我 们 无 法 使 用 双 方 约 定 订 单 号 方 式 ， 例 如 一 个 完 全 隔 离 独 立 的 外 部 发 货 接 口 ， 不 能 和 我 们 做 订 单 号 的 约 定 。 基 于 这 种 场 景 ， 我 们 A M S 专 门 做 了 一 种 防 刷 的 机 制 ， 就 是 通 过 限 制 r e a d 超 时 的 次 数 。 但 是 ， 这 种 方 案 并 非 完 美 解 决 重 复 发 货 问 题 ， 只 是 能 起 到 够 尽 可 能 减 少 避 免 被 刷 的 作 用 。 一 次 网 络 通 信 ， 通 常 包 含 ： 建 立 连 接 （ c o n n e c t ） ， 写 入 数 据 发 包 （ w r i t e ） ， 等 待 并 且 读 取 回 包 （ r e a d ） ， 断 开 连 接 （ c l o s e ） 。 通 常 一 个 发 货 服 务 如 果 出 现 异 常 ， 大 多 数 情 况 ， 在 c o n n e c t 步 骤 就 是 失 败 或 者 超 时 ， 而 如 果 一 个 请 求 走 到 等 待 回 包 （ r e a d ） 时 超 时 ， 那 么 发 货 服 务 另 外 一 边 就 有 可 能 发 生 了 “ 超 时 但 发 货 成 功 ” 的 场 景 。 这 个 时 候 ， 我 们 将 r e a d 超 时 的 发 生 次 数 记 录 起 来 ， 然 后 提 供 了 一 个 配 置 限 制 次 数 的 能 力 。 假 如 设 置 为 2 次 ， 那 么 当 一 个 用 户 第 一 次 领 取 礼 包 ， 遇 到 r e a d 超 时 ， 我 们 就 允 许 它 重 试 ， 当 还 遇 到 第 二 次 r e a d 超 时 ， 就 达 到 我 们 之 前 设
置 的 阀 值 2 ， 我 们 就 认 为 它 可 能 发 货 成 功 ， 拒 绝 用 户 的 第 三 次 领 取 请 求 。 这 种 做 法 ， 假 设 发 货 服 务 真 的 出 现 很 多 超 时 成 功 ， 那 么 用 户 也 最 多 只 能 刷 到 2 次 礼 包 （ 次 数 可 配 置 ） ， 而 避 免 发 生 礼 包 无 限 制 被 刷 的 场 景 。 但 是 ， 这 种 方 案 并 不 完 全 可 靠 ， 谨 慎 使 用 。 在 发 货 场 景 ， 还 会 涉 及 分 布 式 场 景 下 的 C A P （ 一 致 性 、 可 用 性 、 分 区 容 错 性 ） 问 题 ， 不 过 ， 我 们 的 系 统 并 非 是 一 个 电 商 服 务 ， 大 部 分 的 发 货 并 没 有 强 烈 的 一 致 性 要 求 。 因 此 ， 总 体 而 言 ， 我 们 是 弱 化 了 一 致 性 问 题 （ 核 心 服 务 ， 通 过 异 步 重 试 的 方 式 ， 达 到 最 终 一 致 性 ） ， 以 追 求 可 用 性 和 分 区 容 错 性 的 保 证 。   四 、 四 、   服 务 降 级 ， 自 动 屏 蔽 非 核 心 分 支 异 常 服 务 降 级 ， 自 动 屏 蔽 非 核 心 分 支 异 常 对 于 一 次 礼 包 领 取 请 求 ， 在 我 们 的 后 端 C G I 会 经 过 1 0 多 个 环 节 和 服 务 的 逻 辑 判 断 ， 包 括 礼 包 配 置 读 取 、 礼 包 限 量 检 查 、 登 陆 态 校 验 、 安 全 保 护 等 等 。 而 这 些 服 务 中 ， 就 有 不 可 以 跳 过 的 核 心 环 节 ， 例 如 读 取 礼 包 配 置 的 服 务 ， 也 有 非 核 心 环 节 ， 例 如 数 据 上 报 。 对 于 非 核 心 环 节 ， 我 们 的 做 法 ， 就 是 设 置 一 个 比 较 低 的 超 时 时 间 。 例 如 我 们 其 中 一 个 统 计 上 报 服 务 ， 平 均 耗 时 是 3 m s ， 那 么 我 们 就 将 超 时 时 间 设 置 为 2 0 m s ， 一 旦 超 时 则 旁 路 掉 ， 继 续 按 照 正 常 逻 辑 走 业 务 流 程 。   五 、 五 、   服 务 解 耦 、 物 理 隔 离 服 务 解 耦 、 物 理 隔 离 虽 然 ， 大 家 都 知 道 一 个 服 务 的 设 计 ， 要 尽 可 能 小 和 分 离 部 署 ， 如 此 ， 服 务 之 间 的 耦 合 会 比 较 小 ， 一 旦 某 个 模 块 出 问 题 ， 受 到 影 响 的 模 块 就 比 较 少 ， 容 错 能 力 就 会 更 强 。 可 是 ， 从 设 计 之 初 ， 就 将 每 一 个 服 务 有 序 的 切 割 地 很 小 ， 这 个 需 要 设 计 者 具 备 超 前 的 意 识 ， 能 够 提 前 意 识 到 业 务 和 系 统 的 发 展 形 态 ， 而 实 际 上 ， 业 务 的 发 展 往 往 是 比 较 难 以 预 知 的 ， 因 为 业 务 的 形 态 会 随 着 产 品 的 策 略 的 改 变 而 变 化 。 在 业 务 早 期 流 量 比 较 小 的 时 候 ， 通 常 也 没 有 足 够 的 人 力 和 资 源 ， 将 服 务 细 细 的 切 分 。 A M S 从 日 请 求 百 万 级 的 W e b 系 统 ， 逐 渐 成 长 为 亿 级 ， 在 这 个 过 程 中 ， 流 量 规 模 增 长 了 1 0 0 倍 ， 我 们 经 历 了 不 少 服 务 耦 合 带 来 的 阵 痛 。
1 .   服 务 分 离 ， 大 服 务 变 成 多 个 小 服 务 服 务 分 离 ， 大 服 务 变 成 多 个 小 服 务   我 们 常 常 说 ， 鸡 蛋 不 能 都 放 在 一 个 篮 子 里 。 A M S 以 前 是 一 个 比 较 小 的 系 统 （ 日 请 求 百 万 级 ， 在 腾 讯 公 司 内 完 全 是 一 个 不 起 眼 的 小 W e b 系 统 ） ， 因 此 ， 很 多 服 务 和 存 储 在 早 起 都 是 部 署 在 一 起 的 ， 查 询 和 发 货 服 务 都 放 在 一 起 ， 不 管 哪 一 个 出 问 题 ， 都 相 互 影 响 。 后 来 ， 我 们 逐 渐 的 将 这 些 核 心 的 服 务 和 存 储 ， 慢 慢 地 分 离 出 来 ， 细 细 切 分 和 重 新 部 署 。 在 数 据 存 储 方 面 ， 我 们 将 原 来 3 - 5 个 存 储 的 服 务 ， 慢 慢 地 切 为 2 0 多 个 独 立 部 署 的 存 储 。 例 如 ， 2 0 1 5 年 下 半 年 ， 我 们 就 将 其 中 一 个 核 心 的 存 储 数 据 ， 从 1 个 分 离 为 3 个 。 这 样 做 带 来 了 很 多 好 处 ： （ 1 ）   原 来 主 存 储 的 压 力 被 分 流 。 （ 2 ）   稳 定 性 更 高 ， 不 再 是 其 中 一 个 出 问 题 ， 影 响 整 个 大 的 模 块 。 （ 3 ）   存 储 之 间 是 彼 此 物 理 隔 离 的 ， 即 使 服 务 器 硬 件 故 障 ， 也 不 会 相 互 影 响 。 2 .   轻 重 分 离 ， 物 理 隔 离 轻 重 分 离 ， 物 理 隔 离 另 外 一 方 面 ， 我 们 对 于 一 些 核 心 的 业 务 ， 进 行 “ 轻 重 分 离 ” 。 例 如 ， 我 们 支 持 2 0 1 6 年 “ 手 Q 春 节 红 包 ” 活 动 项 目 的 服 务 集 群 。 就 将 负 责 信 息 查 询 和 红 包 礼 包 发 货 的 集 群 分 别 独 立 部 署 ， 信 息 查 询 的 服 务 相 对 没 有 那 么 重 要 ， 业 务 流 程 比 较 轻 量 级 ， 而 红 包 礼 包 发 货 则 属 于 非 常 核 心 的 业 务 ， 业 务 流 程 比 较 重 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理