搜索

[23513] 2015-01-21_亿级用户下的新浪微博平台架构

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2015-01-21_亿级用户下的新浪微博平台架构 亿 级 用 户 下 的 新 浪 微 博 平 台 架 构 L i n u x 中 国   2 0 1 5 - 0 1 - 2 1 序 言 新 浪 微 博 在 2 0 1 4 年 3 月 公 布 的 月 活 跃 用 户 （ M A U ） 已 经 达 到 1 . 4 3 亿 ， 2 0 1 4 年 新 年 第 一 分 钟 发 送 的 微 博 达 8 0 8 2 9 8 条 ， 如 此 巨 大 的 用 户 规 模 和 业 务 量 ， 需 要 高 可 用 （ H A ） 、 高 并 发 访 问 、 低 延 时 的 强 大 后 台 系 统 支 撑 。 微 博 平 台 第 一 代 架 构 为 L A M P 架 构 ， 数 据 库 使 用 的 是 M y I s a m ， 后 台 用 的 是 p h p ， 缓 存 为 M e m c a c h e 。 随 着 应 用 规 模 的 增 长 ， 衍 生 出 的 第 二 代 架 构 对 业 务 功 能 进 行 了 模 块 化 、 服 务 化 和 组 件 化 ， 后 台 系 统 从 p h p 替 换 为 J a v a ， 逐 渐 形 成 S O A 架 构 ， 在 很 长 一 段 时 间 支 撑 了 微 博 平 台 的 业 务 发 展 。 在 此 基 础 上 又 经 过 长 时 间 的 重 构 、 线 上 运 行 、 思 索 与 沉 淀 ， 平 台 形 成 了 第 三 代 架 构 体 系 。 我 们 先 看 一 张 微 博 的 核 心 业 务 图 （ 如 下 ） ， 是 不 是 非 常 复 杂 ？ 但 这 已 经 是 一 个 简 化 的 不 能 再 简 化 的 业 务 图 了 ， 第 三 代 技 术 体 系 就 是 为 了 保 障 在 微 博 核 心 业 务 上 快 速 、 高 效 、 可 靠 地 发 布 新 产 品 新 功 能 。 第 三 代 技 术 体 系 微 博 平 台 的 第 三 代 技 术 体 系 ， 使 用 正 交 分 解 法 建 立 模 型 ： 在 水 平 方 向 ， 采 用 典 型 的 三 级 分 层 模 型 ， 即 接 口 层 、 服 务 层 与 资 源 层 ； 在 垂 直 方 向 ， 进 一 步 细 分 为 业 务 架 构 、 技 术 架 构 、 监 控 平 台 与 服 务 治 理 平 台 。 下 面 是 平 台 的 整 体 架 构 图 ： 如 上 图 所 示 ， 正 交 分 解 法 将 整 个 图 分 解 为 3 * 4 = 1 2 个 区 域 ， 每 个 区 域 代 表 一 个 水 平 维 度 与 一 个 垂 直 维 度 的 交 点 ， 相 应 的 定 义 这 个 区 域 的 核 心 功 能 点 ， 比 如 区 域 5 主 要 完 成 服 务 层 的 技 术 架 构 。
下 面 详 细 介 绍 水 平 方 向 与 垂 直 方 向 的 设 计 原 则 ， 尤 其 会 重 点 介 绍 4 、 5 、 6 中 的 技 术 组 件 及 其 在 整 个 架 构 体 系 中 的 作 用 。 水 平 分 层 水 平 维 度 的 划 分 ， 在 大 中 型 互 联 网 后 台 业 务 系 统 的 设 计 中 非 常 基 础 ， 在 平 台 的 每 一 代 技 术 体 系 中 都 有 体 现 。 这 里 还 是 简 单 介 绍 一 下 ， 为 后 续 垂 直 维 度 的 延 伸 讲 解 做 铺 垫 ： 1 .   接 口 层 主 要 实 现 与 W e b 页 面 、 移 动 客 户 端 的 接 口 交 互 ， 定 义 统 一 的 接 口 规 范 ， 平 台 最 核 心 的 三 个 接 口 服 务 分 别 是 内 容 （ F e e d ） 服 务 、 用 户 关 系 服 务 及 通 讯 服 务 （ 单 发 私 信 、 群 发 、 群 聊 ） 。 2 .   服 务 层 主 要 把 核 心 业 务 模 块 化 、 服 务 化 ， 这 里 又 分 为 两 类 服 务 ， 一 类 为 原 子 服 务 ， 其 定 义 是 不 依 赖 任 何 其 他 服 务 的 服 务 模 块 ， 比 如 常 用 的 短 链 服 务 、 发 号 器 服 务 都 属 于 这 一 类 。 图 中 使 用 泳 道 隔 离 ， 表 示 它 们 的 独 立 性 。 另 外 一 类 为 组 合 服 务 ， 通 过 各 种 原 子 服 务 和 业 务 逻 辑 的 组 合 来 完 成 服 务 ， 比 如 F e e d 服 务 、 通 讯 服 务 ， 它 们 除 了 本 身 的 业 务 逻 辑 ， 还 依 赖 短 链 、 用 户 及 发 号 器 服 务 。 3 .   资 源 层 主 要 是 数 据 模 型 的 存 储 ， 包 含 通 用 的 缓 存 资 源 R e d i s 和 M e m c a c h e d ， 以 及 持 久 化 数 据 库 存 储 M y S Q L 、 H B a s e ， 或 者 分 布 式 文 件 系 统 T F S 以 及 S i n a   S 3 服 务 。 水 平 分 层 有 一 个 特 点 ， 依 赖 关 系 都 是 从 上 往 下 ， 上 层 的 服 务 依 赖 下 层 ， 下 层 的 服 务 不 会 依 赖 上 层 ， 构 建 了 一 种 简 单 直 接 的 依 赖 关 系 。 与 分 层 模 型 相 对 应 ， 微 博 系 统 中 的 服 务 器 主 要 包 括 三 种 类 型 ： 前 端 机 （ 提 供   A P I   接 口 服 务 ） 、 队 列 机 （ 处 理 上 行 业 务 逻 辑 ， 主 要 是 数 据 写 入 ） 和 存 储 （ m c 、 m y s q l 、 m c q 、 r e d i s   、 H B a s e 等 ） 。 垂 直 延 伸 技 术 架 构 随 着 业 务 架 构 的 发 展 和 优 化 ， 平 台 研 发 实 现 了 许 多 卓 越 的 中 间 件 产 品 ， 用 来 支 撑 核 心 业 务 ， 这 些 中 间 件 由 业 务 驱 动 产 生 ， 随 着 技 术 组 件 越 来 越 丰 富 ， 形 成 完 备 的 平 台 技 术 框 架 ， 大 大 提 升 了 平 台 的 产 品 研 发 效 率 和 业 务 运 行 稳 定 性 。 区 别 于 水 平 方 向 上 层 依 赖 下 层 的 关 系 ， 垂 直 方 向 以 技 术 框 架 为 地 基 支 撑 点 ， 向 两 侧 驱 动 影 响 业 务 架 构 、 监 控 平 台 、 服 务 治 理 平 台 ， 下 面 介 绍 一 下 其 中 的 核 心 组 件 。 接 口 层 W e b   V 4 框 架 接 口 框 架 简 化 和 规 范 了 业 务 接 口 开 发 工 作 ， 将 通 用 的 接 口 层 功 能 打 包 到 框 架 中 ， 采 用 了 S p r i n g 的 面 向 切 面 （ A O P ） 设 计 理 念 。 接 口 框 架 基 于 J e r s e y   进 行 二 次 开 发 ， 基 于 a n n o t a t i o n 定 义 接 口 ( u r l ,   参 数 ) ， 内 置 A u t h 、 频 次 控 制 、 访 问 日 志 、 降 级 功 能 ， 支 撑 接 口 层 监 控 平 台 与 服 务 治 理 ， 同 时 还 有 自 动 化 的 B e a n - j s o n / x m l 序 列 化 。 服 务 层 框 架 服 务 层 主 要 涉 及 R P C 远 程 调 用 框 架 以 及 消 息 队 列 框 架 ， 这 是 微 博 平 台 在 服 务 层 使 用 最 为 广 泛 的 两 个 框 架 。 M C Q 消 息 队 列 消 息 队 列 提 供 一 种 先 入 先 出 的 通 讯 机 制 ， 在 平 台 内 部 ， 最 常 见 的 场 景 是 将 数 据 的 落 地 操 作 异 步 写 入 队 列 ， 队 列 处 理 程 序 批 量 读 取 并 写 入 D B ， 消 息 队 列 提 供 的 异 步 机 制 加 快 了 前 端 机 的 响 应 时 间 ， 其 次 ， 批 量 的 D B 操 作 也 间 接 提 高 了 D B 操 作 性 能 ， 另 外 一 个 应 用 场 景 ， 平 台 通 过 消 息 队 列 ， 向 搜 索 、 大 数 据 、 商 业 运 营 部 门 提 供 实 时 数 据 。 微 博 平 台 内 部 大 量 使 用 的 M C Q ( S i m p l e Q u e u e   S e r v i c e   O v e r   M e m c a c h e ) 消 息 队 列 服 务 ， 基 于 M e m C a c h e 协 议 ， 消 息 数 据 持 久 化 写 入 B e r k e l e y D B ， 只 有 g e t / s e t 两 个 命 令 ， 同 时 也 非 常 容 易 做 监 控 （ s t a t s   q u e u e ） ， 有 丰 富 的 c l i e n t   l i b r a r y ， 线 上 运 行 多 年 ， 性 能 比 通 用 的 M Q 高 很 多 倍 。 M o t a n   R P C 框 架 微 博 的 M o t a n   R P C 服 务 ， 底 层 通 讯 引 擎 采 用 了 N e t t y 网 络 框 架 ， 序 列 化 协 议 支 持 H e s s i a n 和 J a v a 序 列 化 ， 通 讯 协 议 支 持 M o t a n 、 h t t p 、 t c p 、 m c 等 ， M o t a n 框 架 在 内 部 大 量 使 用 ， 在 系 统 的 健 壮 性 和 服 务 治 理 方 面 ， 有 较 为 成 熟 的 技 术 解 决 方 案 ， 健 壮 性 上 ， 基 于 C o n f i g 配 置 管 理 服 务 实 现 了 H i g h   A v a i l a b i l i t y 与 L o a d   B a l a n c e 策 略 （ 支 持 灵 活 的 F a i l O v e r 和 F a i l F a s t   H A 策 略 ， 以 及 R o u n d   R o b i n 、 L R U 、 C o n s i s t e n t   H a s h 等 L o a d   B a l a n c e 策
略 ） ， 服 务 治 理 方 面 ， 生 成 完 整 的 服 务 调 用 链 数 据 ， 服 务 请 求 性 能 数 据 ， 响 应 时 间 （ R e s p o n s e   T i m e ） 、 Q P S 以 及 标 准 化 E r r o r 、 E x c e p t i o n 日 志 信 息 。 资 源 层 框 架 资 源 层 的 框 架 非 常 多 ， 有 封 装 M y S Q L 与 H B a s e 的 K e y - L i s t   D A L 中 间 件 、 有 定 制 化 的 计 数 组 件 ， 有 支 持 分 布 式 M C 与 R e d i s 的 P r o x y ， 在 这 些 方 面 业 界 有 较 多 的 经 验 分 享 ， 我 在 这 里 分 享 一 下 平 台 架 构 的 对 象 库 与 S S D   C a c h e 组 件 。 对 象 库 对 象 库 支 持 便 捷 的 序 列 化 与 反 序 列 化 微 博 中 的 对 象 数 据 ： 序 列 化 时 ， 将 J V M 内 存 中 的 对 象 序 列 化 写 入 在 H B a s e 中 并 生 成 唯 一 的 O b j e c t I D ， 当 需 要 访 问 该 对 象 时 ， 通 过 O b j e c t I D 读 取 ， 对 象 库 支 持 任 意 类 型 的 对 象 ， 支 持 P B 、 J S O N 、 二 进 制 序 列 化 协 议 ， 微 博 中 最 大 的 应 用 场 景 将 微 博 中 引 用 的 视 频 、 图 片 、 文 章 统 一 定 义 为 对 象 ， 一 共 定 义 了 几 十 种 对 象 类 型 ， 并 抽 象 出 标 准 的 对 象 元 数 据 S c h e m a ， 对 象 的 内 容 上 传 到 对 象 存 储 系 统 （ S i n a   S 3 ） 中 ， 对 象 元 数 据 中 保 存 S i n a   S 3 的 下 载 地 址 。 S S D C a c h e 随 着 S S D 硬 盘 的 普 及 ， 优 越 的 I O 性 能 使 其 被 越 来 越 多 地 用 于 替 换 传 统 的 S A T A 和 S A S 磁 盘 ， 常 见 的 应 用 场 景 有 三 种 ： 1 ） 替 换 M y S Q L 数 据 库 的 硬 盘 ， 目 前 社 区 还 没 有 针 对 S S D 优 化 的 M y S Q L 版 本 ， 即 使 这 样 ， 直 接 升 级 S S D 硬 盘 也 能 带 来 8 倍 左 右 的 I O P S 提 升 ； 2 ） 替 换 R e d i s 的 硬 盘 ， 提 升 其 性 能 ； 3 ） 用 在 C D N 中 ， 加 快 静 态 资 源 加 载 速 度 。 微 博 平 台 将 S S D 应 用 在 分 布 式 缓 存 场 景 中 ， 将 传 统 的 R e d i s / M C   +   M y s q l 方 式 ， 扩 展 为   R e d i s / M C   +   S S D   C a c h e   +   M y s q l 方 式 ， S S D   C a c h e 作 为 L 2 缓 存 使 用 ， 第 一 降 低 了 M C / R e d i s 成 本 过 高 ， 容 量 小 的 问 题 ， 也 解 决 了 穿 透 D B 带 来 的 数 据 库 访 问 压 力 。 垂 直 的 监 控 与 服 务 治 理 随 着 服 务 规 模 和 业 务 变 得 越 来 越 复 杂 ， 即 使 业 务 架 构 师 也 很 难 准 确 地 描 述 服 务 之 间 的 依 赖 关 系 ， 服 务 的 管 理 运 维 变 得 越 来 难 ， 在 这 个 背 景 下 ， 参 考 g o o g l e 的 d a p p e r 和 t w i t t e r 的 z i p k i n ， 平 台 实 现 了 自 己 的 大 型 分 布 式 追 踪 系 统 W a t c h M a n 。 W a t c h M a n 大 型 分 布 式 追 踪 系 统 如 其 他 大 中 型 互 联 网 应 用 一 样 ， 微 博 平 台 由 众 多 的 分 布 式 组 件 构 成 ， 用 户 通 过 浏 览 器 或 移 动 客 户 端 的 每 一 个 H T T P 请 求 到 达 应 用 服 务 器 后 ， 会 经 过 很 多 个 业 务 系 统 或 系 统 组 件 ， 并 留 下 足 迹 （ f o o t p r i n t ） 。 但 是 这 些 分 散 的 数 据 对 于 问 题 排 查 ， 或 是 流 程 优 化 都 帮 助 有 限 。 对 于 这 样 一 种 典 型 的 跨 进 程 / 跨 线 程 的 场 景 ， 汇 总 收 集 并 分 析 这 类 日 志 就 显 得 尤 为 重 要 。 另 一 方 面 ， 收 集 每 一 处 足 迹 的 性 能 数 据 ， 并 根 据 策 略 对 各 子 系 统 做 流 控 或 降 级 ， 也 是 确 保 微 博 平 台 高 可 用 的 重 要 因 素 。 要 能 做 到 追 踪 每 个 请 求 的 完 整 调 用 链 路 ； 收 集 调 用 链 路 上 每 个 服 务 的 性 能 数 据 ； 能 追 踪 系 统 中 所 有 的 E r r o r 和 E x c e p t i o n ； 通 过 计 算 性 能 数 据 和 比 对 性 能 指 标 （ S L A ） 再 回 馈 到 控 制 流 程 （ c o n t r o l   f l o w ） 中 ， 基 于 这 些 目 标 就 诞 生 了 微 博 的 W a t c h m a n 系 统 。 该 系 统 设 计 的 一 个 核 心 原 则 就 是 低 侵 入 性 （ n o n - i n v a s i v e n s s ） ： 作 为 非 业 务 组 件 ， 应 当 尽 可 能 少 侵 入 或 者 不 侵 入 其 他 业 务 系 统 ， 保 持 对 使 用 方 的 透 明 性 ， 可 以 大 大 减 少 开 发 人 员 的 负 担 和 接 入 门 槛 。 基 于 此 考 虑 ， 所 有 的 日 志 采 集 点 都 分 布 在 技 术 框 架 中 间 件 中 ， 包 括 接 口 框 架 、 R P C 框 架 以 及 其 他 资 源 中 间 件 。 W a t c h M a n 由 技 术 团 队 搭 建 框 架 ， 应 用 在 所 有 业 务 场 景 中 ， 运 维 基 于 此 系 统 完 善 监 控 平 台 ， 业 务 和 运 维 共 同 使 用 此 系 统 ， 完 成 分 布 式 服 务 治 理 ， 包 括 服 务 扩 容 与 缩 容 、 服 务 降 级 、 流 量 切 换 、 服 务 发 布 与 灰 度 。 结 尾 现 在 ， 技 术 框 架 在 平 台 发 挥 着 越 来 越 重 要 的 作 用 ， 驱 动 着 平 台 的 技 术 升 级 、 业 务 开 发 、 系 统 运 维 服 务 ， 本 文 限 于 篇 幅 限 制 ， 没 有 展 开 介 绍 ， 后 续 会 不 断 地 介 绍 核 心 中 间 件 的 设 计 原 则 和 系 统 架 构 。
原 文 ： h t t p : / / w w w . i n f o q . c o m / c n / a r t i c l e s / w e i b o - p l a t f o r m - a r c h i e t u r e 作 者 ：   卫 向 军 本 文 首 发 于 “ 微 博 平 台 架 构 ” 微 信 公 众 号 ， 发 布 时 有 少 量 的 文 字 润 色 和 调 整 。 关 于 作 者 卫 向 军 （ @ 卫 向 军 _ 微 博 ） ， 毕 业 于 北 京 邮 电 大 学 ， 现 任 微 博 平 台 架 构 师 ， 先 后 在 微 软 、 金 山 云 、 新 浪 微 博 从 事 技 术 研 发 工 作 ， 专 注 于 系 统 架 构 设 计 、 音 视 频 通 讯 系 统 、 分 布 式 文 件 系 统 和 数 据 挖 掘 等 领 域 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理