搜索

[22455] 2014-03-13_什么样的硬件设备在支撑StackOverflow？

文档创建者：s7ckTeam
浏览次数：34
最后更新：2025-01-18
2014-03-13_什么样的硬件设备在支撑StackOverflow？ 什 么 样 的 硬 件 设 备 在 支 撑   S t a c k   O v e r f l o w ？ L i n u x 中 国   2 0 1 4 - 0 3 - 1 3 我 更 愿 意 把 S t a c k   O v e r f l o w 看 作 是 能 够 运 行 于 大 规 模 数 据 下 ， 但 本 身 并 不 算 大 规 模 的 （ r u n n i n g   w i t h   s c a l e   b u t   n o t   a t   s c a l e ） 。 意 思 是 我 们 的 网 站 非 常 有 效 率 ， 但 至 少 目 前 为 止 ， 我 们 的 规 模 还 不 够 “ 大 ” 。 让 我 们 通 过 一 些 数 字 来 介 绍 S t a c k   O v e r f l o w 当 前 是 一 个 怎 样 的 规 模 吧 。 以 下 是 一 些 核 心 的 数 字 ， 来 自 于 不 久 前 在 一 整 天 （ 2 4 小 时 小 时 ） 内 的 统 计 ， 准 确 说 是 2 0 1 3 年 1 1 月 1 2 日 。 这 是 一 个 典 型 的 工 作 日 ， 并 且 只 统 计 了 我 们 活 动 的 数 据 中 心 ， 也 就 是 我 们 自 己 的 服 务 器 。 那 些 对 C D N 节 点 的 请 求 和 流 量 被 排 除 在 外 ， 因 为 它 们 并 不 直 接 访 问 我 们 的 网 络 。 负 载 均 衡 器 接 受 了 1 4 8 , 0 8 4 , 8 3 3 次 H T T P 请 求 其 中 3 6 , 0 9 5 , 3 1 2 次 是 加 载 页 面 8 3 3 , 9 9 2 , 9 8 2 , 6 2 7   b y t e s   ( 7 7 6   G B )   的 H T T P 流 量 用 于 发 送 总 共 接 收 了 2 8 6 , 5 7 4 , 6 4 4 , 0 3 2   b y t e s   ( 2 6 7   G B )   数 据 总 共 发 送 了 1 , 1 2 5 , 9 9 2 , 5 5 7 , 3 1 2   b y t e s   ( 1 , 0 4 8   G B )   数 据 3 3 4 , 5 7 2 , 1 0 3 次 S Q L 查 询 （ 仅 包 含 来 自 于 H T T P 请 求 的 ） 4 1 2 , 8 6 5 , 0 5 1 次 R e d i s 请 求 3 , 6 0 3 , 4 1 8 次 标 签 引 擎 请 求 耗 时 5 5 8 , 2 2 4 , 5 8 5   m s   ( 1 5 5   h o u r s )   在 S Q L 查 询 上 耗 时 9 9 , 3 4 6 , 9 1 6   m s   ( 2 7   h o u r s )   在 R e d i s 请 求 上 耗 时 1 3 2 , 3 8 4 , 0 5 9   m s   ( 3 6   h o u r s )   在 标 签 引 擎 请 求 上 耗 时 2 , 7 2 8 , 1 7 7 , 0 4 5   m s   ( 7 5 7   h o u r s )   在 A S P . N e t 程 序 处 理 上 （ 我 觉 得 应 该 发 表 一 篇 文 章 介 绍 我 们 如 何 快 速 采 集 这 些 数 据 ， 以 及 为 什 么 值 得 耗 费 精 力 去 获 取 它 们 ） 注 意 以 上 数 字 包 括 了 整 个 S t a c k   E x c h a n g e 网 络 ， 但 那 并 不 是 我 们 全 部 的 。 除 此 之 外 ， 这 些 数 字 也 仅 仅 来 自 于 我 们 为 了 检 测 性 能 而 记 录 的 H T T P 请 求 。 “ 哇 ， 一 天 有 这 么 多 个 小 时 ， 你 们 怎 么 做 到 的 ？ ” 我 们 把 这 叫 做 魔 法 ， 当 然 有 些 人 喜 欢 说 成 “ 许 多 个 有 多 核 处 理 器 的 服 务 器 ” ， 但 我 们 依 然 坚 持 这 是 魔 法 。 以 下 是 那 个 数 据 中 心 里 运 行 S t a c k   E x c h a n g e 网 络 的 设 备 ： 4 个 M S   S Q L   服 务 器 1 1 个 I I S 服 务 器 2 个 R e d i s 服 务 器 3 个 标 签 引 擎 服 务 （ 任 何 针 对 标 签 的 请 求 都 会 访 问 它 们 ， 比 如 / q u e s t i o n s / t a g g e d / c + + ） 3 个 E l a s t i c S e a r c h 服 务 器 2 个 负 载 均 衡 器 （ H A P r o x y ）
2 个 交 换 机 （ N e x u s   5 5 9 6 和 F a b r i c   E x t e n d e r s ） 2 个 C i s c o   5 5 2 5 - X   A S A   ( 可 看 作 是 防 火 墙 ) 2 个 C i s c o   3 9 4 5   R o u t e r 有 图 有 真 相 ： 我 们 不 仅 仅 运 行 网 站 ， 旁 边 架 子 上 还 有 一 些 运 行 着 虚 拟 机 的 服 务 器 和 其 他 设 备 ， 它 们 并 不 直 接 服 务 于 网 站 ， 而 是 进 行 部 署 、 域 名 控 制 、 监 控 、 操 作 数 据 库 等 其 他 工 作 。 上 面 列 表 中 的 两 个 数 据 库 服 务 器 之 前 一 直 都 是 用 作 备 份 ， 直 到 最 近 才 作 为 只 读 的 负 载 （ 主 要 用 于 S t a c k E x c h a n g e   A P I ） ， 于 是 我 们 可 以 不 需 要 太 多 考 虑 便 继 续 扩 大 规 模 了 。 W e b 服 务 器 有 两 个 分 别 用 于 开 发 和 存 储 元 数 据 ， 运 行 负 载 非 常 低 。 核 心 设 备 核 心 设 备 如 果 除 去 那 些 多 余 的 设 备 ， 以 下 是 S t a c k   E x c h a n g e 运 行 需 要 的 （ 保 持 目 前 的 性 能 水 平 ） ：
2 个 M S   S Q L 服 务 器 （ S t a c k   O v e r f l o w 在 一 台 ， 其 他 的 在 另 一 台 ， 实 际 上 只 需 一 台 机 器 运 行 还 能 有 富 余 ） 2 个 W e b 服 务 器 （ 或 许 3 个 吧 ， 不 过 我 有 信 心 2 个 足 矣 ） 1 个 R e d i s 服 务 器 1 个 标 签 引 擎 服 务 器 1 个 E l a s t i c S e a r c h 服 务 器 1 个 负 载 均 衡 器 1 个 交 换 机 1 个 A S A 1 个 路 由 器 （ 我 们 真 该 找 个 机 会 尝 试 这 个 配 置 ， 关 闭 部 分 设 备 ， 看 看 极 限 在 哪 ） 现 在 还 有 一 些 虚 拟 机 运 行 在 后 台 ， 执 行 一 些 辅 助 功 能 ， 比 如 域 名 控 制 等 等 。 但 那 都 是 些 相 当 低 负 载 的 任 务 ， 我 们 就 不 做 讨 论 了 ， 这 里 把 重 心 放 在 S t a c k   O v e r f l o w 本 身 ， 看 看 它 是 怎 样 全 速 加 载 出 页 面 的 。 如 果 你 希 望 更 精 确 全 面 ， 可 以 增 加 一 个 V M w a r e 虚 拟 机 进 来 ， 用 于 执 行 所 有 的 辅 助 工 作 。 这 样 看 来 并 不 需 要 很 多 机 器 ， 但 是 这 些 机 器 的 规 格 通 常 在 云 上 难 以 实 现 ， 除 非 你 有 足 够 多 的 钱 。 以 下 是 这 些 “ 增 强 型 ” 服 务 器 简 要 的 配 置 介 绍 ： 数 据 库 服 务 器 有 3 8 4 G B 内 存 和 1 . 8 T B 的 S S D 硬 盘 R e d i s 服 务 器 有 9 6 G B 内 存 E l a s t i c S e a r c h 服 务 器 有 1 9 6 G B 内 存 标 签 引 擎 服 务 器 有 着 我 们 能 买 得 起 的 最 快 的 处 理 器 交 换 机 每 个 端 口 有 1 0 G b 的 带 宽 W e b 服 务 器 不 是 很 特 别 ， 有 3 2 G B 内 存 、 2 个 4 核 处 理 器 和 3 0 0 G B 的 S S D 硬 盘 有 些 服 务 器 有 2 个 1 0 G b 带 宽 的 接 口 （ 比 如 数 据 库 ） ， 其 他 有 4 个 1 G b 带 宽 的 2 0 G b 的 带 宽 太 多 余 了 ？ 你 还 真 特 么 说 对 了 ， 活 动 的 数 据 库 服 务 器 平 均 只 利 用 了 2 0 G b 通 道 中 的 1 0 0 - 2 0 0 M b 。 然 而 ， 像 备 份 、 重 建 等 等 操 作 ， 根 据 当 前 内 存 和 S S D 硬 盘 的 情 况 ， 可 以 使 带 宽 完 全 饱 和 ， 所 以 说 这 样 设 计 还 是 有 意 义 的 。 存 储 设 备 存 储 设 备 我 们 目 前 有 大 约 2 T B 的 数 据 库 存 储 （ 第 一 个 集 群 有 1 8 块 S S D 硬 盘 — —   总 共 1 . 6 3 T B ， 使 用 1 . 0 6 T B ； 第 二 个 集 群 由 4 块 S S D 硬 盘 组 成 — —   总 共 1 . 4 5 T B ， 使 用 8 8 9 G B ） ， 这 是 我 们 在 云 服 务 器 上 需 要 的 （ 嗯 哼 ， 又 要 吐 槽 价 格 了 吧 ） ， 请 记 住 这 全 部 都 是 S S D 硬 盘 。 归 功 于 存 储 器 良 好 的 表 现 ， 我 们 数 据 库 的 平 均 写 入 时 间 是 0 毫 秒 毫 秒 ， 甚 至 超 出 我 们 能 度 量 的 精 度 了 。 算 上 内 存 中 的 数 据 以 及 两 级 缓 存 ， S t a c k   O v e r f l o w 中 实 际 的 数 据 库 读 写 比 例 是 4 0 : 6 0 。 你 没 看 错 ， 6 0 % 是 写 操 作 （ 点 此 了 解 读 写 比 ） 。 此 外 ， 每 个 W e b 服 务 器 都 有 两 块 3 2 0 G B   S S D 硬 盘 组 成 的 R A I D 1 。 E l a s t i c S e a r c h 在 每 个 区 块 大 约 需 要 3 0 0 G B 的 容 量 ， 由 于 我 们 会 非 常 频 繁 的 写 入 或 重 建 索 引 ， S S D 硬 盘 在 这 里 是 更 好 的 选 择 。 值 得 注 意 的 是 我 们 拥 有 一 个 S A N （ 存 储 区 域 网 络 ） 连 接 到 核 心 网 络 ， 那 就 是   E q u a l   L o g i c   P S 6 1 1 0 X ， 它 有 2 4 个 可 热 交 换 的 1 0 K   S A S 磁 盘 和 2 个 1 0 G b 的 控 制 器 。 这 个 设 备 仅 仅 被 V M 服 务 器 用 作 共 享 储 存 空 间 以 保 证 虚 拟 机 高 度 的 可 用 性 ， 但 并 不 实 际 支 撑 网 站 的 运 行 。 换 句 话 说 ， 如 果 S A N 挂 掉 了 ， 在 一 段 时 间 内 网 站 甚 至 无 法 察 觉 （ 只 有 虚 拟 机 中 的 域 名 控 制 器 能 感 知 到 ） 。 整 合 到 一 起 整 合 到 一 起 这 所 有 的 设 备 在 一 起 是 为 了 什 么 ？ 性 能 。 我 们 需 要 很 高 的 性 能 ， 这 是 一 个 对 我 们 来 说 很 重 要 的 特 性 。 所 有 站 点 的 首 页 都 是 问 题 页 面 ， 我 们 内 部 把 它 亲 切 地 称 作 Q u e s t i o n / S h o w （ 路 由 的 名 字 ） 。 在 1 1 月 1 2 日 ， 这 个 页 面 平 均 渲 染 时 间 是 2 8 毫 秒 毫 秒 ， 而 我 们 的 要 求 是 至 多 5 0 m s 。 为 了 使 用 户 获 得 更 好 的 体 验 ， 我 们 尽 一 切 可 能 缩 短 页 面 加 载 的 时 间 ， 哪 怕 只 有 一 毫 秒 。 在 和 性 能 有 关 的 问 题 上 ， 我 们 所 有 的 开 发 人 员 都 是 “ 锱 铢 必 较 ” 的 ， 这 也 有 助 于 我 们 的 网 站 保 持 快 速 响 应 。 以 下 是 一 些 S t a c k   O v e r f l o w 上 热 门 页 面 的 平 均 渲 染 时 间 ， 数 据 还 是 来 自 于 前 面 统 计 的 那 2 4 小 时 ： Q u e s t i o n / S h o w :   2 8   m s   ( 2 9 7 0 万 次 点 击 )
U s e r   P r o f i l e s :   3 9   m s   ( 1 7 0 万 次 点 击 ) Q u e s t i o n   L i s t :   7 8   m s   ( 1 1 0 万 次 点 击 ) H o m e   p a g e :   6 5   m s   ( 1 0 0 万 次 点 击 )   （ 这 对 我 们 来 说 已 经 很 慢 了 ， K e v i n   M o n t r o s e 正 在 着 手 修 复 这 个 问 题 ） 凭 借 对 每 一 次 请 求 的 时 间 线 的 记 录 ， 我 们 能 够 准 确 观 察 到 页 面 加 载 的 过 程 。 我 们 需 要 这 样 的 数 据 ， 否 则 难 道 靠 脑 补 来 做 决 定 吗 ？ 否 则 难 道 靠 脑 补 来 做 决 定 吗 ？ 有 数 据 在 手 ， 我 们 就 可 以 这 样 监 控 性 能 ： 如 果 你 对 某 个 特 定 页 面 的 数 据 感 兴 趣 ， 我 也 很 乐 意 发 布 出 来 。 但 这 里 我 重 点 关 注 渲 染 时 间 ， 因 为 它 表 示 我 们 的 服 务 器 需 要 多 久 来 生 成 一 个 网 页 。 网 络 传 输 速 度 是 一 个 完 全 不 同 的 话 题 了 （ 尽 管 不 得 不 承 认 它 也 有 很 大 的 关 系 ） ， 不 过 将 来 我 会 讲 到 的 。 增 长 空 间 增 长 空 间 非 常 值 得 一 提 的 是 我 们 这 些 服 务 器 运 行 时 的 使 用 率 都 非 常 低 。 比 如 W e b 服 务 器 的 C P U 平 均 使 用 率 为 5 - 1 5 % ， 内 存 只 使 用 了 1 5 . 5 G B ， 网 络 流 量 只 有 2 0 - 4 0 M b / s ； 而 数 据 库 服 务 器 C P U 平 均 使 用 率 为 5 - 1 0 % ， 使 用 了 3 6 5 G B 内 存 ， 以 及 1 0 0 - 2 0 0 M b / s 的 网 络 。 这 使 我 们 能 做 到 几 件 重 要 的 事 情 ： 在 网 站 规 模 增 大 时 不 至 于 需 要 马 上 升 级 设 备 ； 当 出 现 问 题 时 （ 错 误 的 查 询 、 代 码 以 及 攻 击 等 等 ， 无 论 是 什 么 样 的 问 题 ） ， 我 们 能 保 持 网 站 始 终 不 挂 ； 在 必 要 的 时 候 降 低 功 耗 。 这 里 有 个 我 们 W e b 层 的 监 控 项 目 ： 利 用 率 如 此 之 低 的 主 要 原 因 是 高 效 的 代 码 。 尽 管 本 文 的 主 题 并 不 是 这 个 ， 但 是 高 效 的 代 码 对 挖 掘 服 务 器 的 性 能 也 有 着 决 定 性 的 作 用 。 做 一 件 非 必 要 的 事 情 所 损 失 的 ， 居 然 比 无 所 作 为 还 要 多 — — 把 这 引 申 到 代 码 中 就 是 说 ， 你 需 要 把 它 们 改 进 得 更 高 效 了 。 这 些 损 失 或 者 消 耗 可 以 是 能 源 、 硬 件 （ 你 需 要 更 多 更 快 的 服 务 器 ） 、 开 发 人 员 理 解 代 码 更 困 难 （ 平 心 而 论 ， 这 个 有 两 面 性 ， 高 效 的 代 码 并 不 一 定 那 么 简 单 ） ， 以 及 缓 慢 的 页 面 渲 染 — — 可 能 导 致 用 户 更 少 地 浏 览 网 站 其 他 页 面 甚 至 再 也 不 访 问 你 的 网 站 了 。 低 效 率 代 码 带 来 的 损 失 可 能 比 你 想 象 的 大 很 多 。 现 在 我 们 了 解 了 S t a c k   O v e r f l o w 运 行 在 怎 样 的 硬 件 上 ， 下 次 可 以 讨 论 一 下 为 何 我 们 不 使 用 云 。 原 文 链 接 ：   S O   团 队 成 员   N i c k   C r a v e r       翻 译 ：   伯 乐 在 线   -   蒋 生 武 译 文 链 接 ：   h t t p : / / b l o g . j o b b o l e . c o m / 6 1 6 4 6 /   本 文 地 址 ： h t t p : / / l i n u x . c n / a r t i c l e - 2 6 6 4 - 1 . h t m l
  阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理