搜索

[25574] 2016-10-08_揭秘Twitter背后的基础设施：效率与优化篇

文档创建者：s7ckTeam
浏览次数：33
最后更新：2025-01-19
2016-10-08_揭秘Twitter背后的基础设施：效率与优化篇 揭 秘   T w i t t e r   背 后 的 基 础 设 施 ： 效 率 与 优 化 篇 原 创   译 者 ： e r i w o o n   L i n u x 中 国   2 0 1 6 - 1 0 - 0 8 本 文 导 航 - 数 据 中 心 的 效 率 优 化 - 历 史 - 挑 战 - 我 们 学 到 的 教 训 以 及 技 术 的 升 级 、 迁 移 和 选 型 - 下 一 步 工 作 - 硬 件 的 效 率 优 化 - 历 史 和 挑 战 - 关 键 技 术 变 更 与 选 择 - 学 到 的 教 训 - 从 裸 设 备 迁 移 到   m e s o s   集 群 - T w i t t e r   的 私 有   P a a S   云 平 台 过 去 我 们 曾 经 发 布 过 一 些 关 于   F i n a g l e [ 1 ]   、 M a n h a t t a n [ 2 ]   这 些 项 目 的 文 章 ， 还 写 过 一 些 针 对 大 型 事 件 活 动 的 架 构 优 化 [ 3 ] 的 文 章 ， 例 如 天 空 之 城 、 超 级 碗 、 2 0 1 4   世 界 杯 、 全 球 新 年 夜 庆 祝 活 动 等 。 在 这 篇 基 础 设 施 系 列 文 章 中 ， 我 主 要 聚 焦 于   T w i t t e r   的 一 些 关 键 设 施 和 组 件 。 我 也 会 写 一 些 我 们 在 系 统 的 扩 展 性 、 可 靠 性 、 效 率 方 面 的 做 过 的 改 进 ， 例 如 我 们 基 础 设 施 的 历 史 ， 遇 到 过 的 挑 战 ， 学 到 的 教 训 ， 做 过 的 升 级 ， 以 及 我 们 现 在 前 进 的 方 向 等 等 。 天 空 之 城 ： 2 0 1 3   年   8   月   2   日 ， 宫 崎 骏 的 《 C a s t l e   i n   t h e   S k y 天 空 之 城 》 在   N T V   迎 来 其 第   1 4   次 电 视 重 播 ， 剧 情 发 展 到 高 潮 之 时 ， T w i t t e r   的 T P S （ T w e e t s   P e r   S e c o n d ） 也 被 推 上 了 新 的 高 度 — — 1 4 3 , 1 9 9   T P S ， 是 平 均 值 的   2 5   倍 ， 这 个 记 录 保 持 至 今 。 - -   L C T T   译 注 数 据 中 心 的 效 率 优 化 数 据 中 心 的 效 率 优 化 历 史 历 史 当 前   T w i t t e r   硬 件 和 数 据 中 心 的 规 模 已 经 超 过 大 多 数 公 司 。 但 达 到 这 样 的 规 模 不 是 一 蹴 而 就 的 ， 系 统 是 随 着 软 硬 件 的 升 级 优 化 一 步 步 成 熟 起 来 的 ， 过 程 中 我 们 也 曾 经 犯 过 很 多 错 误 。
有 个 一 时 期 我 们 的 系 统 故 障 不 断 。 软 件 问 题 、 硬 件 问 题 ， 甚 至 底 层 设 备 问 题 不 断 爆 发 ， 常 常 导 致 系 统 运 营 中 断 。 出 现 故 障 的 地 方 存 在 于 各 个 方 面 ， 必 须 综 合 考 虑 才 能 确 定 其 风 险 和 受 到 影 响 的 服 务 。 随 着   T w i t t e r   在 客 户 、 服 务 、 媒 体 上 的 影 响 力 不 断 扩 大 ， 构 建 一 个 高 效 、 可 靠 的 系 统 来 提 供 服 务 成 为 我 们 的 战 略 诉 求 。 T w i t t e r 系 统 故 障 的 界 面 被 称 为 F a i l   W h a l e 失 败 鲸 ， 如 下 图   - -   L C T T   译 注 F a i l   W h a l e 挑 战 挑 战 一 开 始 ， 我 们 的 软 件 是 直 接 安 装 在 服 务 器 ， 这 意 味 着 软 件 可 靠 性 依 赖 硬 件 ， 电 源 、 网 络 以 及 其 他 的 环 境 因 素 都 是 威 胁 。 这 种 情 况 下 ， 如 果 要 增 加 容 错 能 力 ， 就 需 要 统 筹 考 虑 这 些 互 不 关 联 的 物 理 设 备 因 素 及 在 上 面 运 行 的 服 务 。 最 早 采 购 数 据 中 心 方 案 的 时 候 ， 我 们 都 还 是 菜 鸟 ， 对 于 站 点 选 择 、 运 营 和 设 计 都 非 常 不 专 业 。 我 们 先 直 接 托 管 主 机 ， 业 务 增 长 后 我 们 改 用 租 赁 机 房 。 早 期 遇 到 的 问 题 主 要 是 因 为 设 备 故 障 、 数 据 中 心 设 计 问 题 、 维 护 问 题 以 及 人 为 操 作 失 误 。 我 们 也 在 持 续 迭 代 我 们 的 硬 件 设 计 ， 从 而 增 强 硬 件 和 数 据 中 心 的 容 错 性 。 服 务 中 断 的 原 因 有 很 多 ， 其 中 硬 件 故 障 常 发 生 在 服 务 器 、 机 架 交 换 机 、 核 心 交 换 机 这 地 方 。 举 一 个 我 们 曾 经 犯 过 的 错 误 ， 硬 件 团 队 最 初 在 设 计 服 务 器 的 时 候 ， 认 为 双 路 电 源 对 减 少 供 电 问 题 的 意 义 不 大   - -   他 们 真 的 就 移 除 了 一 块 电 源 。 然 而 数 据 中 心 一 般 给 机 架 提 供 两 路 供 电 来 提 高 冗 余 性 ， 防 止 电 网 故 障 传 导 到 服 务 器 ， 而 这 需 要 两 块 电 源 。 最 终 我 们 不 得 不 在 机 架 上 增 加 了 一 个   A T S   单 元 （ A C   t r a n s f e r   s w i t c h 交 流 切 换 开 关 ） 来 接 入 第 二 路 供 电 。 提 高 系 统 的 可 靠 性 靠 的 就 是 这 样 的 改 进 ， 给 网 络 、 供 电 甚 至 机 房 增 加 冗 余 ， 从 而 将 影 响 控 制 到 最 小 范 围 。 我 们 学 到 的 教 训 以 及 技 术 的 升 级 、 迁 移 和 选 型 我 们 学 到 的 教 训 以 及 技 术 的 升 级 、 迁 移 和 选 型 我 们 学 到 的 第 一 个 教 训 就 是 要 先 建 模 ， 将 可 能 出 故 障 的 地 方 （ 例 如 建 筑 的 供 电 和 冷 却 系 统 、 硬 件 、 光 纤 网 络 等 ） 和 运 行 在 上 面 的 服 务 之 间 的 依 赖 关 系 弄 清 楚 ， 这 样 才 能 更 好 地 分 析 ， 从 而 优 化 设 计 提 升 容 错 能 力 。 我 们 增 加 了 更 多 的 数 据 中 心 提 升 地 理 容 灾 能 力 ， 减 少 自 然 灾 害 的 影 响 。 而 且 这 种 站 点 隔 离 也 降 低 了 软 件 的 风 险 ， 减 少 了 例 如 软 件 部 署 升 级 和 系 统 故 障 的 风 险 。 这 种 多 活 的 数 据 中 心 架 构 提 供 了 s t a g e d   c o d e   d e p l o y m e n t 代 码 灰 度 发 布 的 能 力 ， 减 少 代 码 首 次 上 线 时 候 的 影 响 。
我 们 设 计 新 硬 件 使 之 能 够 在 更 高 温 度 下 正 常 运 行 ， 数 据 中 心 的 能 源 效 率 因 此 有 所 提 升 。 下 一 步 工 作 下 一 步 工 作 随 着 公 司 的 战 略 发 展 和 运 营 增 长 ， 我 们 在 不 影 响 我 们 的 最 终 用 户 的 前 提 下 ， 持 续 不 断 改 进 我 们 的 数 据 中 心 。 下 一 步 工 作 主 要 是 在 当 前 能 耗 和 硬 件 的 基 础 上 ， 通 过 维 护 和 优 化 来 提 升 效 率 。 硬 件 的 效 率 优 化 硬 件 的 效 率 优 化 历 史 和 挑 战 历 史 和 挑 战 我 们 的 硬 件 工 程 师 团 队 刚 成 立 的 时 候 只 能 测 试 市 面 上 现 有 硬 件 ， 而 现 在 我 们 能 自 己 定 制 硬 件 以 节 省 成 本 并 提 升 效 率 。 T w i t t e r   是 一 个 很 大 的 公 司 ， 它 对 硬 件 的 要 求 对 任 何 团 队 来 说 都 是 一 个 不 小 的 挑 战 。 为 了 满 足 整 个 公 司 的 需 求 ， 我 们 的 首 要 工 作 是 能 检 测 并 保 证 购 买 的 硬 件 的 品 质 。 团 队 重 点 关 注 的 是 性 能 和 可 靠 性 这 两 部 分 。 对 于 硬 件 我 们 会 做 系 统 性 的 测 试 来 保 证 其 性 能 可 预 测 ， 保 证 尽 量 不 引 入 新 的 问 题 。 随 着 我 们 一 些 关 键 组 件 的 负 荷 越 来 越 大 （ 如   M e s o s 、 H a d o o p 、 M a n h a t t a n 、 M y S Q L   等 ） ， 市 面 上 的 产 品 已 经 无 法 满 足 我 们 的 需 求 。 同 时 供 应 商 提 供 的 一 些 高 级 服 务 器 功 能 ， 例 如   R a i d   管 理 或 者 电 源 热 切 换 等 ， 可 靠 性 提 升 很 小 ， 反 而 会 拖 累 系 统 性 能 而 且 价 格 高 昂 ， 例 如 一 些   R a i d   控 制 器 价 格 高 达 系 统 总 报 价 的 三 分 之 一 ， 还 拖 累 了   S S D   的 性 能 。 那 时 ， 我 们 也 是   M y S Q L   数 据 库 的 一 个 大 型 用 户 。 S A S （ S e r i a l   A t t a c h e d   S C S I 串 行 连 接   S C S I ） 设 备 的 供 应 和 性 能 都 有 很 大 的 问 题 。 我 们 大 量 使 用   1 U   规 格 的 服 务 器 ， 它 的 磁 盘 和 回 写 缓 存 一 起 也 只 能 支 撑 每 秒   2 0 0 0   次 的 顺 序   I O 。 为 了 获 得 更 好 的 效 果 ， 我 们 只 得 不 断 增 加   C P U   核 心 数 并 加 强 磁 盘 能 力 。 我 们 那 时 候 找 不 到 更 节 省 成 本 的 方 案 。 后 来 随 着 我 们 对 硬 件 需 求 越 来 越 大 ， 我 们 成 立 了 一 个 硬 件 团 队 ， 从 而 自 己 来 设 计 更 便 宜 更 高 效 的 硬 件 。 关 键 技 术 变 更 与 选 择 关 键 技 术 变 更 与 选 择 我 们 不 断 的 优 化 硬 件 相 关 的 技 术 ， 下 面 是 我 们 采 用 的 新 技 术 和 自 研 平 台 的 时 间 轴 。 2 0 1 2   -   采 用   S S D   作 为 我 们   M y S Q L   和   K e y - V a l u e   数 据 库 的 主 要 存 储 。 2 0 1 3   -   我 们 开 发 了 第 一 个 定 制 版   H a d o o p   工 作 站 ， 它 现 在 是 我 们 主 要 的 大 容 量 存 储 方 案 。 2 0 1 3   -   我 们 定 制 的 解 决 方 案 应 用 在   M e s o s 、 T F E （   T w i t t e r   F r o n t - E n d   ） 以 及 缓 存 设 备 上 。 2 0 1 4   -   我 们 定 制 的   S S D   K e y - V a l u e   服 务 器 完 成 开 发 。 2 0 1 5   -   我 们 定 制 的 数 据 库 解 决 方 案 完 成 开 发 。 2 0 1 6   -   我 们 开 发 了 一 个   G P U   系 统 来 做 模 糊 推 理 和 训 练 机 器 学 习 。 学 到 的 教 训 学 到 的 教 训 硬 件 团 队 的 工 作 本 质 是 通 过 做 取 舍 来 优 化   T C O （ 总 体 拥 有 成 本 ） ， 最 终 达 到 达 到 降 低   C A P E X （ 资 本 支 出 ） 和   O P E X （ 运 营 支 出 ） 的 目 的 。 概 括 来 说 ， 服 务 器 降 成 本 就 是 ： 1 .   删 除 无 用 的 功 能 和 组 件 2 .   提 升 利 用 率
T w i t t e r   的 设 备 总 体 来 说 有 这 四 大 类 ： 存 储 设 备 、 计 算 设 备 、 数 据 库 和   G P U   。   T w i t t e r   对 每 一 类 都 定 义 了 详 细 的 需 求 ， 让 硬 件 工 程 师 更 针 对 性 地 设 计 产 品 ， 从 而 优 化 掉 那 些 用 不 到 或 者 极 少 用 的 冗 余 部 分 。 例 如 ， 我 们 的 存 储 设 备 就 专 门 为   H a d o o p 优 化 过 ， 设 备 的 购 买 和 运 营 成 本 相 比 于   O E M   产 品 降 低 了   2 0 %   。 同 时 ， 这 样 做 减 法 还 提 高 了 设 备 的 性 能 和 可 靠 性 。 同 样 的 ， 对 于 计 算 设 备 ， 硬 件 工 程 师 们 也 通 过 移 除 无 用 的 特 性 获 得 了 效 率 提 升 。 一 个 服 务 器 可 以 移 除 的 组 件 总 是 有 限 的 ， 我 们 很 快 就 把 能 移 除 的 都 扔 掉 了 。 于 是 我 们 想 出 了 其 他 办 法 ， 例 如 在 存 储 设 备 里 ， 我 们 认 为 降 低 成 本 最 好 的 办 法 是 用 一 个 节 点 替 换 多 个 节 点 ， 并 通 过   A u r o r a / M e s o s   来 管 理 任 务 负 载 。 这 就 是 我 们 现 在 正 在 做 的 东 西 。 对 于 这 个 我 们 自 己 新 设 计 的 服 务 器 ， 首 先 要 通 过 一 系 列 的 标 准 测 试 ， 然 后 会 再 做 一 系 列 负 载 测 试 ， 我 们 的 目 标 是 一 台 新 设 备 至 少 能 替 换 两 台 旧 设 备 。 最 大 的 性 能 提 升 来 自 增 加   C P U   的 线 程 数 ， 我 们 的 测 试 结 果 表 示 新   C P U   的   单 线 程 能 力 提 高 了 2 0 ~ 5 0 %   。 同 时 由 于 整 个 服 务 器 的 线 程 数 增 加 ， 我 们 看 到 单 线 程 能 效 提 升 了   2 5 % 。 这 个 新 设 备 首 次 部 署 的 时 候 ， 监 控 发 现 新 设 备 只 能 替 换   1 . 5   台 旧 设 备 ， 这 比 我 们 的 目 标 低 了 很 多 。 对 性 能 数 据 检 查 后 发 现 ， 我 们 之 前 对 负 载 特 性 的 一 些 假 定 是 有 问 题 的 ， 而 这 正 是 我 们 在 做 性 能 测 试 需 要 发 现 的 问 题 。 对 此 我 们 硬 件 团 队 开 发 了 一 个 模 型 ， 用 来 预 测 在 不 同 的 硬 件 配 置 下 当 前   A u r o r a   任 务 的 填 充 效 率 。 这 个 模 型 正 确 的 预 测 了 新 旧 硬 件 的 性 能 比 例 。 模 型 还 指 出 了 我 们 一 开 始 没 有 考 虑 到 的 存 储 需 求 ， 并 因 此 建 议 我 们 增 加   C P U   核 心 数 。 另 外 ， 它 还 预 测 ， 如 果 我 们 修 改 内 存 的 配 置 ， 那 系 统 的 性 能 还 会 有 较 大 提 高 。 硬 件 配 置 的 改 变 都 需 要 花 时 间 去 操 作 ， 所 以 我 们 的 硬 件 工 程 师 们 就 首 先 找 出 几 个 关 键 痛 点 。 例 如 我 们 和   S R E （ S i t e   R e l i a b i l i t y   E n g i n e e r 网 站 可 靠 性 工 程 师 ） 团 队 一 起 调 整 任 务 顺 序 来 降 低 存 储 需 求 ， 这 种 修 改 很 简 单 也 很 有 效 ， 新 设 备 可 以 代 替   1 . 8 5   个 旧 设 备 了 。 为 了 更 好 的 优 化 效 率 ， 我 们 对 新 硬 件 的 配 置 做 了 修 改 ， 只 是 扩 大 了 内 存 和 磁 盘 容 量 就 将   C P U   利 用 率 提 高 了 2 0 %   ， 而 这 只 增 加 了 非 常 小 的 成 本 。 同 时 我 们 的 硬 件 工 程 师 也 和 合 作 生 产 厂 商 一 起 为 那 些 服 务 器 的 最 初 出 货 调 整 了 物 料 清 单 。 后 续 的 观 察 发 现 我 们 的 自 己 的 新 设 备 实 际 上 可 以 代 替   2 . 4   台 旧 设 备 ， 这 个 超 出 了 预 定 的 目 标 。 从 裸 设 备 迁 移 到 从 裸 设 备 迁 移 到   m e s o s   集 群 集 群 直 到   2 0 1 2   年 为 止 ， 软 件 团 队 在   T w i t t e r   开 通 一 个 新 服 务 还 需 要 自 己 操 心 硬 件 ： 配 置 硬 件 的 规 格 需 求 ， 研 究 机 架 尺 寸 ， 开 发 部 署 脚 本 以 及 处 理 硬 件 故 障 。 同 时 ， 系 统 中 没 有 所 谓 的 “ 服 务 发 现 ” 机 制 ， 当 一 个 服 务 需 要 调 用 一 个 另 一 个 服 务 时 候 ， 需 要 读 取 一 个   Y A M L   配 置 文 件 ， 这 个 配 置 文 件 中 有 目 标 服 务 对 应 的 主 机   I P   和 端 口 信 息 （ 预 留 的 端 口 信 息 是 由 一 个 公 共   w i k i   页 面 维 护 的 ） 。 随 着 硬 件 的 替 换 和 更 新 ， Y A M L   配 置 文 件 里 的 内 容 也 会 不 断 的 编 辑 更 新 。 在 缓 存 层 做 修 改 意 味 着 我 们 可 以 按 小 时 或 按 天 做 很 多 次 部 署 ， 每 次 添 加 少 量 主 机 并 按 阶 段 部 署 。 我 们 经 常 遇 到 在 部 署 过 程 中   c a c h e   不 一 致 导 致 的 问 题 ， 因 为 有 的 主 机 在 使 用 旧 的 配 置 有 的 主 机 在 用 新 的 。 有 时 候 一 台 主 机 的 异 常 （ 例 如 在 部 署 过 程 中 它 临 时 宕 机 了 ） 会 导 致 整 个 站 点 都 无 法 正 常 工 作 。 在   2 0 1 2 / 2 0 1 3   年 的 时 候 ， T w i t t e r   开 始 尝 试 两 个 新 事 物 ： 服 务 发 现 （ 来 自   Z o o K e e p e r   集 群 和   F i n a g l e [ 4 ] 核 心 模 块 中 的 一 个 库 ） 和   M e s o s [ 5 ] （ 包 括 基 于   M e s o s   的 一 个 自 研 的 计 划 任 务 框 架   A u r o r a   ， 它 现 在 也 是   A p a c h e   基 金 会 的 一 个 项 目 ） 。 服 务 发 现 功 能 意 味 着 不 需 要 再 维 护 一 个 静 态   Y A M L   主 机 列 表 了 。 服 务 或 者 在 启 动 后 主 动 注 册 ， 或 者 自 动 被   m e s o s   接 入 到 一 个 “ 服 务 集 ” （ 就 是 一 个   Z o o K e e p e r   中 的   z n o d e   列 表 ， 包 含 角 色 、 环 境 和 服 务 名 信 息 ） 中 。 任 何 想 要 访 问 这 个 服 务 的 组 件 都 只
需 要 监 控 这 个 路 径 就 可 以 实 时 获 取 到 一 个 正 在 工 作 的 服 务 列 表 。 现 在 我 们 通 过   M e s o s / A u r o r a   ， 而 不 是 使 用 脚 本 （ 我 们 曾 经 是   C a p i s t r a n o [ 6 ]   的 重 度 用 户 ） 来 获 取 一 个 主 机 列 表 、 分 发 代 码 并 规 划 重 启 任 务 。 现 在 软 件 团 队 如 果 想 部 署 一 个 新 服 务 ， 只 需 要 将 软 件 包 上 传 到 一 个 叫   P a c k e r   的 工 具 上 （ 它 是 一 个 基 于 H D F S   的 服 务 ） ， 再 在   A u r o r a   配 置 上 描 述 文 件 （ 需 要 多 少   C P U   ， 多 少 内 存 ， 多 少 个 实 例 ， 启 动 的 命 令 行 代 码 ） ， 然 后 A u r o r a   就 会 自 动 完 成 整 个 部 署 过 程 。   A u r o r a   先 找 到 可 用 的 主 机 ， 从   P a c k e r   下 载 代 码 ， 注 册 到 “ 服 务 发 现 ” ， 最 后 启 动 这 个 服 务 。 如 果 整 个 过 程 中 遇 到 失 败 （ 硬 件 故 障 、 网 络 中 断 等 等 ） ，   M e s o s / A u r o r a   会 自 动 重 选 一 个 新 主 机 并 将 服 务 部 署 上 去 。 T w i t t e r   的 私 有 的 私 有   P a a S   云 平 台 云 平 台 M e s o s / A u r o r a   和 服 务 发 现 这 两 个 功 能 给 我 们 带 了 革 命 性 的 变 化 。 虽 然 在 接 下 来 几 年 里 ， 我 们 碰 到 了 无 数   b u g   ， 伤 透 了 无 数 脑 筋 ， 学 到 了 分 布 式 系 统 里 的 无 数 教 训 ， 但 是 这 套 架 还 是 非 常 赞 的 。 以 前 大 家 一 直 忙 于 处 理 硬 件 搭 配 和 管 理 ， 而 现 在 ， 大 家 只 需 要 考 虑 如 何 优 化 业 务 以 及 需 要 多 少 系 统 能 力 就 可 以 了 。 同 时 ， 我 们 也 从 根 本 上 解 决 了   T w i t t e r   之 前 经 历 过 的   C P U   利 用 率 低 的 问 题 ， 以 前 服 务 直 接 安 装 在 服 务 器 上 ， 这 种 方 式 无 法 充 分 利 用 服 务 器 资 源 ， 任 务 协 调 能 力 也 很 差 。 现 在   M e s o s   允 许 我 们 把 多 个 服 务 打 包 成 一 个 服 务 包 ， 增 加 一 个 新 服 务 只 需 要 修 改 配 额 ， 再 改 一 行 配 置 就 可 以 了 。 在 两 年 时 间 里 ， 多 数 “ 无 状 态 ” 服 务 迁 移 到 了   M e s o s   平 台 。 一 些 大 型 且 重 要 的 服 务 （ 包 括 我 们 的 用 户 服 务 和 广 告 服 务 系 统 ） 是 最 先 迁 移 上 去 的 。 因 为 它 们 的 体 量 巨 大 ， 所 以 它 们 从 这 些 服 务 里 获 得 的 好 处 也 最 多 ， 这 也 降 低 了 它 们 的 服 务 压 力 。 我 们 一 直 在 不 断 追 求 效 率 提 升 和 架 构 优 化 的 最 佳 实 践 。 我 们 会 定 期 去 测 试 公 有 云 的 产 品 ， 和 我 们 自 己 产 品 的   T C O   以 及 性 能 做 对 比 。 我 们 也 拥 抱 公 有 云 的 服 务 ， 事 实 上 我 们 现 在 正 在 使 用 公 有 云 产 品 。 最 后 ， 这 个 系 列 的 下 一 篇 将 会 主 要 聚 焦 于 我 们 基 础 设 施 的 体 量 方 面 。 特 别 感 谢   J e n n i f e r   F r a s e r [ 7 ] 、 D a v i d   B a r r [ 8 ] 、 G e o f f   P a p i l i o n [ 9 ] 、   M a t t   S i n g e r [ 1 0 ] 、 L a m   D o n g [ 1 1 ] 对 这 篇 文 章 的 贡 献 。 v i a :   h t t p s : / / b l o g . t w i t t e r . c o m / 2 0 1 6 / t h e - i n f r a s t r u c t u r e - b e h i n d - t w i t t e r - e f f i c i e n c y - a n d - o p t i m i z a t i o n 作 者 ： m a z d a k h [ 1 2 ]   译 者 ： e r i w o o n   校 对 ： w x y 本 文 由   L C T T [ 1 3 ]   原 创 编 译 ， L i n u x 中 国   荣 誉 推 出 [ 1 ] :   h t t p s : / / t w i t t e r . g i t h u b . i o / f i n a g l e / [ 2 ] :   h t t p s : / / b l o g . t w i t t e r . c o m / 2 0 1 4 / m a n h a t t a n - o u r - r e a l - t i m e - m u l t i - t e n a n t - d i s t r i b u t e d - d a t a b a s e - f o r - t w i t t e r - s c a l e [ 3 ] :   h t t p s : / / b l o g . t w i t t e r . c o m / 2 0 1 3 / n e w - t w e e t s - p e r - s e c o n d - r e c o r d - a n d - h o w [ 4 ] :   h t t p s : / / t w i t t e r . g i t h u b . i o / f i n a g l e / [ 5 ] :   h t t p : / / m e s o s . a p a c h e . o r g / [ 6 ] :   h t t p s : / / g i t h u b . c o m / c a p i s t r a n o / c a p i s t r a n o [ 7 ] :   h t t p s : / / t w i t t e r . c o m / j e n n i f e r f r a s e r [ 8 ] :   h t t p s : / / t w i t t e r . c o m / d a v e b a r r [ 9 ] :   h t t p s : / / t w i t t e r . c o m / g p a p i l i o n [ 1 0 ] :   h t t p s : / / t w i t t e r . c o m / m a t t b y t e s [ 1 1 ] :   h t t p s : / / t w i t t e r . c o m / l a m d o n g [ 1 2 ] :   h t t p s : / / t w i t t e r . c o m / i n t e n t / u s e r ? s c r e e n _ n a m e = m a z d a k h [ 1 3 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t 推 荐 文 章 推 荐 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理