搜索

[23843] 2015-04-29_微博“异地多活”部署经验谈

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2015-04-29_微博“异地多活”部署经验谈 微 博 “ 异 地 多 活 ” 部 署 经 验 谈 L i n u x 中 国   2 0 1 5 - 0 4 - 2 9 异 地 多 活 的 好 处 阿 里 巴 巴 的 同 学 已 经 充 分 阐 述 ， 微 博 的 初 始 出 发 点 包 括 异 地 灾 备 、 提 升 南 方 电 信 用 户 访 问 速 度 、 提 升 海 外 用 户 访 问 速 度 、 降 低 部 署 成 本 （ 北 京 机 房 机 架 费 太 贵 了 ） 等 。 通 过 实 践 ， 我 们 发 现 优 势 还 包 括 异 地 容 灾 、 动 态 加 速 、 流 量 均 衡 、 在 线 压 测 等 ， 而 挑 战 包 括 增 加 研 发 复 杂 度 、 增 加 存 储 成 本 等 。 （ 题 图 来 自 ： j i m i j o n e s . c o m ） 微 博 外 部 历 程 先 说 说 微 博 外 部 的 历 程 ， 整 个 过 程 可 谓 是 一 波 多 折 。 微 博 的 主 要 机 房 都 集 中 在 北 京 ， 只 有 很 小 一 部 分 业 务 在 广 州 部 署 ， 2 0 1 0 年 1 0 月 ， 因 微 博 高 速 发 展 ， 所 以 准 备 扩 大 广 州 机 房 服 务 器 规 模 ， 并 对 微 博 做 异 地 双 活 部 署 。 第 一 版 跨 机 房 消 息 同 步 方 案 采 取 的 是 基 于 自 研 的 M y t r i g g e r Q （ 借 助 M y S Q L 从 库 的 触 发 器 将 I N S E R T 、 U P D A T E 、 D E L E T E 等 事 件 转 为 消 息 ） 的 方 案 ， 这 个 方 案 的 好 处 是 ， 跨 机 房 的 消 息 同 步 是 通 过 M y S Q L 的 主 从 完 成 的 ， 方 案 成 熟 度 高 。 而 缺 点 则 是 ， 微 博 同 一 个 业 务 会 有 好 几 张 表 ， 而 每 张 表 的 信 息 又 不 全 ， 这 样 每 发 一 条 微 博 会 有 多 条 消 息 先 后 到 达 ， 这 样 导 致 有 较 多 时 序 问 题 ， 缓 存 容 易 花 。 第 一 套 方 案 未 能 成 功 ， 但 也 让 我 们 认 识 到 跨 机 房 消 息 同 步 的 核 心 问 题 ， 并 促 使 我 们 全 面 下 线 M y t r i g g e r Q 的 消 息 同 步 方 案 ， 而 改 用 基 于 业 务 写 消 息 到 M C Q （ M e m c a c h e Q ， 新 浪 自 研 的 一 套 消 息 队 列 ， 类 M C 协 议 ） 的 解 决 方 案 。
2 0 1 1 年 底 在 微 博 平 台 化 完 成 后 ， 开 始 启 用 基 于 M C Q 的 跨 机 房 消 息 同 步 方 案 ， 并 开 发 出 跨 机 房 消 息 同 步 组 件 W M B （ W e i b o   M e s s a g e   B r o k e r ） 。 经 过 与 微 博 P C 端 等 部 门 同 学 的 共 同 努 力 ， 终 于 在 2 0 1 2 年 5 月 完 成 W e i b o . c o m 在 广 州 机 房 的 上 线 ， 实 现 了 “ 异 地 双 活 ” 。 由 于 广 州 机 房 总 体 的 机 器 规 模 较 小 ， 为 了 提 升 微 博 核 心 系 统 容 灾 能 力 ， 2 0 1 3 年 年 中 我 们 又 将 北 京 的 机 房 进 行 拆 分 ， 至 此 微 博 平 台 实 现 了 异 地 三 节 点 的 部 署 模 式 。 依 托 于 此 模 式 ， 微 博 具 备 了 在 线 容 量 评 估 、 分 级 上 线 、 快 速 流 量 均 衡 等 能 力 ， 应 对 极 端 峰 值 能 力 和 应 对 故 障 能 力 大 大 提 升 ， 之 后 历 次 元 旦 、 春 晚 峰 值 均 顺 利 应 对 ， 日 常 上 线 导 致 的 故 障 也 大 大 减 少 。 上 线 后 ， 根 据 微 博 运 营 情 况 及 成 本 的 需 要 ， 也 曾 数 次 调 整 各 个 机 房 的 服 务 器 规 模 ， 但 是 整 套 技 术 上 已 经 基 本 成 熟 。 异 地 多 活 面 临 的 挑 战 根 据 微 博 的 实 践 ， 一 般 做 异 地 多 活 都 会 遇 到 如 下 的 问 题 ： 机 房 之 间 的 延 时 ： 微 博 北 京 的 两 个 核 心 机 房 间 延 时 在 1 m s 左 右 ， 但 北 京 机 房 到 广 州 机 房 则 有 近 4 0 m s 的 延 时 。 对 比 一 下 ， 微 博 核 心 F e e d 接 口 的 总 平 均 耗 时 也 就 在 1 2 0 m s 左 右 。 微 博 F e e d 会 依 赖 几 十 个 服 务 上 百 个 资 源 ， 如 果 都 跨 机 房 请 求 ， 性 能 将 会 惨 不 忍 睹 ； 专 线 问 题 ： 为 了 做 广 州 机 房 外 部 ， 微 博 租 了 两 条 北 京 到 广 州 的 专 线 ， 成 本 巨 大 。 同 时 单 条 专 线 的 稳 定 性 也 很 难 保 障 ， 基 本 上 每 个 月 都 会 有 或 大 或 小 的 问 题 ； 数 据 同 步 问 题 ： M y S Q L 如 何 做 数 据 同 步 ？ H B a s e 如 何 做 数 据 同 步 ？ 还 有 各 种 自 研 的 组 件 ， 这 些 统 统 要 做 多 机 房 数 据 同 步 。 几 十 毫 秒 的 延 时 ， 加 上 路 途 遥 远 导 致 的 较 弱 网 络 质 量 （ 我 们 的 专 线 每 个 月 都 会 有 或 大 或 小 的 问 题 ） ， 数 据 同 步 是 非 常 大 的 挑 战 ； 依 赖 服 务 部 署 问 题 ： 如 同 阿 里 巴 巴 目 前 只 做 了 交 易 单 元 的 “ 异 地 双 活 ” ， 微 博 部 署 时 也 面 临 核 心 服 务 过 多 依 赖 小 服 务 的 问 题 。 将 小 服 务 全 部 部 署 ， 改 造 成 本 、 维 护 成 本 过 大 ， 不 部 署 则 会 遇 到 之 前 提 到 的 机 房 之 间 延 时 导 致 整 体 性 能 无 法 接 受 的 问 题 ； 配 套 体 系 问 题 ： 只 是 服 务 部 署 没 有 流 量 引 入 就 不 能 称 为 “ 双 活 ” ， 而 要 引 入 流 量 就 要 求 配 套 的 服 务 和 流 程 都 能 支 持 异 地 部 署 ， 包 括 预 览 、 发 布 、 测 试 、 监 控 、 降 级 等 都 要 进 行 相 应 改 造 。 微 博 异 地 多 活 解 决 方 案 由 于 几 十 毫 秒 的 延 时 ， 跨 机 房 服 务 调 用 性 能 很 差 ， 异 地 多 活 部 署 的 主 体 服 务 必 须 要 做 数 据 的 冗 余 存 储 ， 并 辅 以 缓 存 等 构 成 一 套 独 立 而 相 对 完 整 的 服 务 。 数 据 同 步 有 很 多 层 面 ， 包 括 消 息 层 面 、 缓 存 层 面 、 数 据 库 层 面 ， 每 一 个 层 面 都 可 以 做 数 据 同 步 。 由 于 基 于 M y t r i g g e r Q 的 方 案 的 失 败 ， 微 博 后 来 采 取 的 是 基 于 M C Q 的 W M B 消 息 同 步 方 案 ， 并 通 过 消 息 对 缓 存 更 新 ， 加 上 微 博 缓 存 高 可 用 架 构 ， 可 以 做 到 即 便 数 据 库 同 步 有 问 题 ， 从 用 户 体 验 看 服 务 还 是 正 常 的 。 这 套 方 案 中 ， 每 个 机 房 的 缓 存 是 完 全 独 立 的 ， 由 每 个 机 房 的 P r o c e s s o r （ 专 门 负 责 消 息 处 理 的 程 序 ， 类 S t o r m ） 根 据 收 到 的 消 息 进 行 缓 存 更 新 。 由 于 消 息 不 会 重 复 分 发 ， 而 且 信 息 完 备 ， 所 以 M y t r i g g e r Q 方 案 存 在 的 缓 存 更 新 脏 数 据 问 题 就 解 决 了 。 而 当 缓 存 不 存 在 时 ， 会 穿 透 到 M y S Q L 从 库 ， 然 后 进 行 回 种 。 可 能 出 现 的 问 题 是 ， 缓 存 穿 透 ， 但 是 M y S Q L 从 库 如 果 此 时 出 现 延 迟 ， 这 样 就 会 把 脏 数 据 种 到 缓 存 中 。 我 们 的 解 决 方 案 是 做 一 个 延 时 1 0 分 钟 的 消 息 队 列 ， 然 后 由 一 个 处 理 程 序 来 根 据 这 个 消 息 做 数 据 的 重 新 载 入 。 一 般 从 库 延 时 时 间 不 超 过 1 0 分 钟 ， 而 1 0 分 钟 内 的 脏 数 据 在 微 博 的 业 务 场 景 下 也 是 可 以 接 受 的 。
微 博 的 异 地 多 活 方 案 如 下 图 （ 三 个 节 点 类 似 ， 消 息 同 步 都 是 通 过 W M B ） ： 跟 阿 里 巴 巴 遇 到 的 问 题 类 似 ， 我 们 也 遇 到 了 数 据 库 同 步 的 问 题 。 由 于 微 博 对 数 据 库 不 是 强 依 赖 ， 加 上 数 据 库 双 写 的 维 护 成 本 过 大 ， 我 们 选 择 的 方 案 是 数 据 库 通 过 主 从 同 步 的 方 式 进 行 。 这 套 方 案 可 能 的 缺 点 是 如 果 主 从 同 步 慢 ， 并 且 缓 存 穿 透 ， 这 时 可 能 会 出 现 脏 数 据 。 这 种 同 步 方 式 已 运 行 了 三 年 ， 整 体 上 非 常 稳 定 ， 没 有 发 生 因 为 数 据 同 步 而 导 致 的 服 务 故 障 。 从 2 0 1 3 年 开 始 ， 微 博 启 用 H B a s e 做 在 线 业 务 的 存 储 解 决 方 案 ， 由 于 H B a s e 本 身 不 支 持 多 机 房 部 署 ， 加 上 早 期 H B a s e 的 业 务 比 较 小 ， 且 有 单 独 接 口 可 以 回 调 北 京 机 房 ， 所 以 没 有 做 异 地 部 署 。 到 今 年 由 于 H B a s e 支 撑 的 对 象 库 服 务 已 经 成 为 微 博 非 常 核 心 的 基 础 服 务 ， 我 们 也 在 规 划 H B a s e 的 异 地 部 署 方 案 ， 主 要 的 思 路 跟 M y S Q L 的 方 案 类 似 ， 同 步 也 在 考 虑 基 于 M C Q 同 步 的 双 机 房 H B a s e 独 立 部 署 方 案 。 阿 里 巴 巴 选 择 了 单 元 化 的 解 决 方 案 ， 这 套 方 案 的 优 势 是 将 用 户 分 区 ， 然 后 所 有 这 个 用 户 相 关 的 数 据 都 在 一 个 单 元 里 。 通 过 这 套 方 案 ， 可 以 较 好 的 控 制 成 本 。 但 缺 点 是 除 了 主 维 度 （ 阿 里 巴 巴 是 买 家 维 度 ） ， 其 他 所 有 的 数 据 还 是 要 做 跨 机 房 同 步 ， 整 体 的 复 杂 度 基 本 没 降 低 。 另 外 就 是 数 据 分 离 后 由 于 拆 成 了 至 少 两 份 数 据 ， 数 据 查 询 、 扩 展 、 问 题 处 理 等 成 本 均 会 增 加 较 多 。 总 的 来 讲 ， 个 人 认 为 这 套 方 案 更 适 用 于 W h a t s A p p 、 I n s t a g r a m 等 国 外 业 务 相 对 简 单 的 应 用 ， 而 不 适 用 于 国 内 功 能 繁 杂 、 依 赖 众 多 的 应 用 。 数 据 同 步 问 题 解 决 之 后 ， 紧 接 着 就 要 解 决 依 赖 服 务 部 署 的 问 题 。 由 于 微 博 平 台 对 外 提 供 的 都 是 R e s t f u l 风 格 的 A P I 接 口 ， 所 以 独 立 业 务 的 接 口 可 以 直 接 通 过 专 线 引 流 回 北 京 机 房 。 但 是 对 于 微 博 F e e d 接 口 的 依 赖 服 务 ， 直 接 引 流 回 北 京 机 房 会 将 平 均 处 理 时 间 从 百 毫 秒 的 量 级 直 接 升 至 几 秒 的 量 级 ， 这 对 服 务 是 无 法 接 受 的 。 所 以 ， 在 2 0 1 2 年 我 们 对 微 博 F e e d 依 赖 的 主 要 服 务 也 做 了 异 地 多 活 部 署 ， 整 体 的 处 理 时 间 终 于 降 了 下 来 。 当 然 这 不 是 最 优 的 解 决 方 案 ， 但 在 当 时 微 博 业 务 体 系 还 相 对 简 单 的 情 况 下 ， 很 好 地 解 决 了 问 题 ， 确 保 了 2 0 1 2 年 5 月 的 广 州 机 房 部 署 任 务 的 达 成 。 而 配 套 体 系 的 问 题 ， 技 术 上 不 是 很 复 杂 ， 但 是 操 作 时 却 很 容 易 出 问 题 。 比 如 ， 微 博 刚 开 始 做 异 地 多 活 部 署 时 ， 测 试 同 学 没 有 在 上 线 时 对 广 州 机 房 做 预 览 测 试 ， 曾 经 导 致 过 一 些 线 上 问 题 。 配 套 体 系 需 要 覆 盖 整 个 业 务 研 发 周 期 ， 包 括 方 案 设 计 阶 段 的 是 否 要 做 多 机 房 部 署 、 部 署 阶 段 的 数 据 同 步 、 发 布 预 览 、 发 布 工 具 支 持 、 监 控 覆 盖 支 持 、 降 级 工 具 支 持 、 流 量 迁 移 工 具 支 持 等 方 方 面 面 ， 并 需 开 发 、 测 试 、 运 维 都 参 与 进 来 ， 将 关 键 点 纳 入 到 流 程 当 中 。 关 于 为 应 对 故 障 而 进 行 数 据 冗 余 的 问 题 ， 阿 里 巴 巴 的 同 学 也 做 了 充 分 的 阐 述 ， 在 此 也 补 充 一 下 我 们 的 一 些 经 验 。 微 博 核 心 池 容 量 冗 余 分 两 个 层 面 来 做 ， 前 端 W e b 层 冗 余 同 用 户 规 模 成 正 比 ， 并 预 留 日 常 峰 值 5 0 % 左 右 的 冗 余 度 ， 而 后 端 缓 存 等 资 源 由 于 相 对 成 本 较 低 ， 每 个 机 房 均 按 照 整 体 两 倍 的 规 模 进 行 冗 余 。 这 样 如 果 某 一 个 机 房 不 可 用 ， 首 先 我 们 后 端 的 资 源 是 足 够 的 。 接 着 我 们 首 先 会 只 将 核 心 接 口 进 行 迁 移 ， 这 个 操 作 分 钟 级 即 可 完 成 ， 同 时 由 于 冗 余 是 按 照 整 体 的 5 0 % ， 所 以 即 使 所 有 的 核 心 接 口 流 量 全 部 迁 移 过 来 也 能 支 撑 住 。 接 下 来 ， 我 们 会 把 其 他 服 务 池
的 前 端 机 也 改 为 部 署 核 心 池 前 端 机 ， 这 样 在 一 小 时 内 即 可 实 现 整 体 流 量 的 承 接 。 同 时 ， 如 果 故 障 机 房 是 负 责 数 据 落 地 的 机 房 ， D B A 会 将 从 库 升 为 主 库 ， 运 维 调 整 队 列 机 开 关 配 置 ， 承 接 数 据 落 地 功 能 。 而 在 整 个 过 程 中 ， 由 于 我 们 核 心 缓 存 可 以 脱 离 数 据 库 支 撑 一 个 小 时 左 右 ， 所 以 服 务 整 体 会 保 持 平 稳 。 异 地 多 活 最 好 的 姿 势 以 上 介 绍 了 一 下 微 博 在 异 地 多 活 方 面 的 实 践 和 心 得 ， 也 对 比 了 一 下 阿 里 巴 巴 的 解 决 方 案 。 就 像 没 有 完 美 的 通 用 架 构 一 样 ， 异 地 多 活 的 最 佳 方 案 也 要 因 业 务 情 形 而 定 。 如 果 业 务 请 求 量 比 较 小 ， 则 根 本 没 有 必 要 做 异 地 多 活 ， 数 据 库 冷 备 足 够 了 。 不 管 哪 种 方 案 ， 异 地 多 活 的 资 源 成 本 、 开 发 成 本 相 比 与 单 机 房 部 署 模 式 ， 都 会 大 大 增 加 。 以 下 是 方 案 选 型 时 需 要 考 虑 的 一 些 维 度 ： 能 否 整 业 务 迁 移 ： 如 果 机 器 资 源 不 足 ， 建 议 优 先 将 一 些 体 系 独 立 的 服 务 整 体 迁 移 ， 这 样 可 以 为 核 心 服 务 节 省 出 大 量 的 机 架 资 源 。 如 果 这 样 之 后 ， 机 架 资 源 仍 然 不 足 ， 再 做 异 地 多 活 部 署 。 服 务 关 联 是 否 复 杂 ： 如 果 服 务 关 联 比 较 简 单 ， 则 单 元 化 、 基 于 跨 机 房 消 息 同 步 的 解 决 方 案 都 可 以 采 用 。 不 管 哪 种 方 式 ， 关 联 的 服 务 也 都 要 做 异 地 多 活 部 署 ， 以 确 保 各 个 机 房 对 关 联 业 务 的 请 求 都 落 在 本 机 房 内 。 是 否 方 便 对 用 户 分 区 ： 比 如 很 多 游 戏 类 、 邮 箱 类 服 务 ， 由 于 用 户 可 以 很 方 便 地 分 区 ， 就 非 常 适 合 单 元 化 ， 而 S N S 类 的 产 品 因 为 关 系 公 用 等 问 题 不 太 适 合 单 元 化 。 谨 慎 挑 选 第 二 机 房 ： 尽 量 挑 选 离 主 机 房 较 近 （ 网 络 延 时 在 1 0 m s 以 内 ） 且 专 线 质 量 好 的 机 房 做 第 二 中 心 。 这 样 大 多 数 的 小 服 务 依 赖 问 题 都 可 以 简 化 掉 ， 可 以 集 中 精 力 处 理 核 心 业 务 的 异 地 多 活 问 题 。 同 时 ， 专 线 的 成 本 占 比 也 比 较 小 。 以 北 京 为 例 ， 做 异 地 多 活 建 议 选 择 天 津 、 内 蒙 古 、 山 西 等 地 的 机 房 。 控 制 部 署 规 模 ： 在 数 据 层 自 身 支 持 跨 机 房 服 务 之 前 ， 不 建 议 部 署 超 过 两 个 的 机 房 。 因 为 异 地 两 个 机 房 ， 异 地 容 灾 的 目 的 已 经 达 成 ， 且 服 务 器 规 模 足 够 大 ， 各 种 配 套 的 设 施 也 会 比 较 健 全 ， 运 维 成 本 也 相 对 可 控 。 当 扩 展 到 三 个 点 之 后 ， 新 机 房 基 础 设 施 磨 合 、 运 维 决 策 的 成 本 等 都 会 大 幅 增 加 。 消 息 同 步 服 务 化 ： 建 议 扩 展 各 自 的 消 息 服 务 ， 从 中 间 件 或 者 服 务 层 面 直 接 支 持 跨 机 房 消 息 同 步 ， 将 消 息 体 大 小 控 制 在 1 0 k 以 下 ， 跨 机 房 消 息 同 步 的 性 能 和 成 本 都 比 较 可 控 。 机 房 间 的 数 据 一 致 性 只 通 过 消 息 同 步 服 务 解 决 ， 机 房 内 部 解 决 缓 存 等 与 消 息 的 一 致 性 问 题 。 跨 机 房 消 息 同 步 的 核 心 点 在 于 消 息 不 能 丢 ， 微 博 由 于 使 用 的 是 M C Q ， 通 过 本 地 写 远 程 读 的 方 式 ， 可 以 很 方 便 的 实 现 高 效 稳 定 的 跨 机 房 消 息 同 步 。 异 地 多 活 的 新 方 向 时 间 到 了 2 0 1 5 年 ， 新 技 术 层 出 不 穷 ， 之 前 很 多 成 本 很 高 的 事 情 目 前 都 有 了 很 好 的 解 决 方 案 。 接 下 来 我 们 将 在 近 五 年 异 地 多 活 部 署 探 索 的 基 础 上 ， 继 续 将 微 博 的 异 地 多 活 部 署 体 系 化 。 升 级 跨 机 房 消 息 同 步 组 件 为 跨 机 房 消 息 同 步 服 务 。 面 向 业 务 隔 离 跨 机 房 消 息 同 步 的 复 杂 性 ， 业 务 只 需 要 对 消 息 进 行 处 理 即 可 ， 消 息 的 跨 机 房 分 发 、 一 致 性 等 由 跨 机 房 同 步 服 务 保 障 。 且 可 以 作 为 所 有 业 务 跨 机 房 消 息 同 步 的 专 用 通 道 ， 各 个 业 务 均 可 以 复 用 ， 类 似 于 快 递 公 司 的 角 色 。 推 进 W e b 层 的 异 地 部 署 。 由 于 远 距 离 专 线 成 本 巨 大 且 稳 定 性 很 难 保 障 ， 我 们 已 暂 时 放 弃 远 程 异 地 部 署 ， 而 改 为 业 务 逻 辑 近 距 离 隔 离 部 署 ， 将 W e b 层 进 行 远 程 异 地 部 署 。 同 时 ， 计 划 不 再 依 赖 昂 贵 且 不 稳 定 的 专 线 ， 而 借 助 于 通 过 算 法 寻 找 较 优 路 径 的 方 法 通 过 公 网 进 行 数 据 传 输 。 这 样 我 们 就 可 以 将 W e b 层 部 署 到 离 用 户 更 近 的 机 房 ， 提 升 用 户 的 访 问 性 能 。 依 据 我 们 去 年 做 微 博 F e e d 全 链 路 的 经 验 ， 中 间 链 路 占 掉 了 9 0 % 以 上 的 用 户 访 问 时 间 ， 将 W e b 层 部 署 的 离 用 户 更 近 ， 将 能 大 大 提 升 用 户 访 问 性 能 和 体 验 。 借 助 微 服 务 解 决 中 小 服 务 依 赖 问 题 。 将 对 资 源 等 的 操 作 包 装 为 微 服 务 ， 并 将 中 小 业 务 迁 移 到 微 服 务 架 构 。 这 样 只 需 要 对 几 个 微 服 务 进 行 异 地 多 活 部 署 改 造 ， 众 多 的 中 小 业 务 就 不 再 需 要 关 心 异 地 部 署 问 题 ， 从 而 可 以 低 成 本 完 成 众 多 中 小 服 务 的 异 地 多 活 部 署 改 造 。 利 用 D o c k e r 提 升 前 端 快 速 扩 容 能 力 。 借 助 D o c k e r 的 动 态 扩 容 能 力 ， 当 流 量 过 大 时 分 钟 级 从 其 他 服 务 池 摘 下 一 批 机 器 ， 并 完 成 本 服 务 池 的 扩 容 。 之 后 可 以 将 各 种 资 源 也 纳 入 到 D o c k e r 动 态 部 署 的 范 围 ， 进 一 步 扩 大 动 态 调 度 的 机 器 源 范 围 。 以 上 是 对 微 博 异 地 多 活 部 署 的 一 些 总 结 和 思 考 ， 希 望 能 够 对 大 家 有 所 启 发 ， 也 希 望 看 到 更 多 的 同 学 分 享 一 下 各 自 公 司 的 异 地 多 活 架 构 方 案 。
原 文 ： h t t p : / / w w w . i n f o q . c o m / c n / a r t i c l e s / w e i b o - m u l t i - d a t a c e n t e r - d e p l o y m e n t s 作 者 ：   @ l i u d a o r u 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理