搜索

[23814] 2015-04-20_系统设计典型问题的思考

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2015-04-20_系统设计典型问题的思考 系 统 设 计 典 型 问 题 的 思 考 L i n u x 中 国   2 0 1 5 - 0 4 - 2 0 系 统 设 计 方 面 的 问 题 问 题 是 非 常 考 验 经 验 和 思 维 过 程 的 ， 而 且 和 常 见 的 算 法 问 题 、 语 言 基 础 问 题 不 同 ， 涉 及 的 面 很 广 ， 还 没 有 比 较 一 致 的 判 别 标 准 。 但 无 论 如 何 ， 还 是 可 以 归 纳 一 些 常 见 的 思 路 和 典 型 问 题 的 线 索 。 首 先 ， 反 复 沟 通 和 澄 清 系 统 需 求 。 只 有 把 需 求 澄 清 清 楚 了 ， 才 可 以 开 始 思 考 并 落 到 纸 面 上 。 但 是 需 求 的 沟 通 应 该 是 持 续 和 循 序 渐 进 的 ， 问 题 很 难 从 一 开 始 就 思 考 全 面 。 最 重 要 的 条 目 包 括 ： u s e   c a s e s ， 通 常 问 题 只 需 要 2 ~ 3 个 u s e   c a s e s 需 要 考 虑 ， 其 他 的 部 分 会 晚 些 考 虑 ， 或 者 不 考 虑 。 这 样 就 可 以 简 化 问 题 。 用 户 数 量 （ 用 户 可 以 是 下 游 系 统 或 者 人 ） 、 数 据 数 量 ， 澄 清 这 个 事 实 无 疑 非 常 重 要 ， 对 系 统 设 计 的 决 策 有 重 大 意 义 。 请 求 模 型 ， 比 如 读 远 大 于 写 ， 比 如 6 0 % 的 请 求 都 访 问 t o p   2 0 的 记 录 。 其 次 ， 尝 试 抽 象 一 个 简 单 的 模 型 ， 从 简 单 模 型 开 始 ， 思 考 不 同 的 场 景 和 约 束 ， 逐 步 完 善 。 落 实 到 代 码 上 的 时 候 ， 最 核 心 的 部 分 包 括 ： 模 型 的 定 义 。 代 码 接 口 ， A P I 。 数 据 是 怎 样 被 存 储 的 ， 比 如 表 结 构 和 文 件 结 构 。 在 此 基 础 上 ， 考 虑 最 基 础 的 组 件 和 架 构 划 分 ， 整 个 系 统 要 分 几 层 ， 有 哪 些 组 件 ， 各 自 什 么 作 用 ， 可 能 的 瓶 颈 是 什 么 等 等 。 还 有 前 面 的 A P I 、 模 型 分 别 被 安 插 到 哪 部 分 上 面 ， 同 时 反 复 比 较 第 一 步 的 几 个 u s e   c a s e 是 否 都 被 满 足 。 再 次 ， 细 化 层 结 构 和 组 件 ， 比 如 ： 存 储 层 。 是 否 需 要 持 久 化 存 储 ？ 选 择 文 件 、 关 系 数 据 库 ， 还 是 N o S Q L 数 据 库 ？ 如 果 选 择 关 系 数 据 库 ， 是 否 需 要 s h a r d i n g 或 p a r t i t i o n ？ 参 考 Q u o r a ： W h a t ’ s   t h e   d i f f e r e n c e   b e t w e e n   s h a r d i n g   a n d   p a r t i t i o n ? 如 果 选 择 N o S Q L 数 据 库 ， C A P 中 分 别 牺 牲 和 优 先 保 证 哪 一 个 ？ 参 考 ： V i s u a l   G u i d e   t o   N o S Q L   S y s t e m 。 扩 容 的 策 略 （ 比 如 一 致 性 h a s h ） ？ 存 储 是 否 需 要 分 层 （ 比 如 冷 层 — — 文 件 、 暖 层 — — 关 系 型 数 据 库 、 热 层 — — 缓 存 ， 不 同 成 本 的 存 储 介 质 ， 用 以 应 付 不 同 的 数 据 访 问 频 率 ） ？ 集 群 。 所 有 节 点 对 等 还 是 中 心 节 点 主 备 ？ 请 求 负 载 分 担 的 策 略 ？ 如 何 增 减 节 点 ？ 如 何 判 定 节 点 健 康 状 况 ？ 是 否 需 要 会 话 ？ 会 话 如 何 同 步 ？ S c a l e   u p 和 S c a l e   o u t 的 区 别 ， 参 考 W i k i p e d i a ： S c a l a b i l i t y 。 消 息 模 型 。 生 产 者 和 消 费 者 的 速 率 ？ 无 法 应 付 时 是 否 需 要 缓 冲 队 列 ？ 消 息 流 量 控 制 ？ 速 率 控 制 的 精 细 度 ？
缓 存 系 统 。 缓 存 的 分 层 ？ 分 布 式 部 署 还 是 集 中 式 缓 存 服 务 ？ 使 用 什 么 缓 存 淘 汰 算 法 （ 比 如 L R U ） ？ 参 考 ： I n - P r o c e s s   C a c h i n g   v s . D i s t r i b u t e d   C a c h i n g 。 其 中 ， 系 统 瓶 颈 的 识 别 和 s c a l e 是 紧 密 联 系 着 的 两 个 话 题 。 在 需 求 驱 使 的 基 础 上 着 手 优 化 ， 比 如 缓 存 的 应 用 ， 这 需 要 建 立 在 系 统 瓶 颈 被 识 别 或 者 假 定 被 识 别 的 基 础 上 ， 否 则 就 是 乱 枪 打 鸟 。 在 瓶 颈 解 决 之 后 再 考 虑 s c a l e 。 最 后 ， 不 断 讨 论 和 完 善 ， 每 一 个 讨 论 迭 代 都 要 得 出 一 个 实 际 的 结 论 ， 避 免 持 续 停 留 在 过 高 抽 象 层 面 。 这 里 涉 及 的 部 分 可 以 很 多 ， 包 括 可 扩 展 性 、 数 据 规 模 、 吞 吐 量 、 可 维 护 性 、 实 时 性 、 数 据 一 致 性 等 等 。 所 以 ， 归 纳 起 来 的 四 部 分 为 ， 先 从 系 统 外 部 理 清 楚 需 求 ， 接 着 设 计 核 心 模 型 和 A P I ， 再 进 行 基 本 的 分 层 和 组 件 划 分 ， 最 后 才 是 细 化 每 一 层 或 者 每 个 组 件 的 设 计 。 从 外 到 内 ， 逐 层 剖 析 。 这 些 点 说 起 来 容 易 做 起 来 难 ， 通 过 反 复 阅 读 和 思 考 一 些 常 见 的 系 统 设 计 场 景 ， 其 实 我 们 还 是 可 以 从 中 总 结 出 若 干 规 律 来 。 下 面 列 出 几 个 非 常 常 见 和 典 型 的 系 统 设 计 问 题 的 h i n t s ： 1 、 怎 样 设 计 一 个 微 博 / T w i t t e r 系 统 （ n e w s   f e e d 系 统 ） 思 考 读 写 模 型 ， l a t e n c y 上 看 明 显 是 读 的 要 求 明 显 高 于 写 的 模 式 。 转 发 和 回 复 ， 拷 贝 原 微 博 文 字 还 是 存 储 转 发 / 回 复 树 形 关 系 ？ 分 析 利 弊 。 另 外 ， 这 里 涉 及 到 产 品 设 计 ， 参 见 ： T w i t t e r   V s .   W e i b o :   8 T h i n g s   T w i t t e r   C a n   L e a r n   F r o m   T h e   L a t t e r 。 区 分 两 种 典 型 消 息 传 播 的 触 发 方 式 ： p u s h   o n   c h a n g e 和 p u l l   o n   d e m a n d ， 两 种 方 式 利 弊 明 显 。 参 考 ： W h y   A r e   F a c e b o o k ,   D i g g ,   A n d T w i t t e r   S o   H a r d   T o   S c a l e ? 存 储 分 级 。 这 里 C A P 中 A 最 为 重 要 ， 往 往 C 可 以 被 牺 牲 ， 达 到 最 终 一 致 性 。 缓 存 设 计 ， 分 层 的 数 据 流 动 ？ 如 何 识 别 热 门 ？ 删 除 微 博 功 能 的 设 计 。 2 、 怎 样 设 计 一 个 短 网 址 映 射 系 统 （ t i n y   u r l 系 统 ） 思 考 读 写 模 型 ， 明 显 是 读 优 先 级 高 于 写 的 服 务 ， 但 是 通 常 不 需 要 修 改 。 读 写 服 务 分 离 ， 在 写 服 务 崩 溃 时 保 证 读 服 务 健 康 运 行 。 链 接 缩 短 使 用 的 加 密 和 映 射 的 方 式 中 ， 算 法 如 何 选 择 ？ 短 链 接 可 以 接 受 那 些 字 符 ？ 此 处 可 以 估 算 特 定 的 规 则 下 长 度 为 n 的 短 链 接 最 多 可 能 表 示 多 少 种 实 际 链 接 。 如 果 使 用 统 一 的 短 链 接 序 列 分 配 机 制 ， 如 何 分 布 式 设 计 这 个 分 配 逻 辑 ？ 它 不 能 够 成 为 瓶 颈 。 例 如 ， 一 种 常 见 的 思 路 是 让 关 系 数 据 库 的 自 增 长 索 引 给 出 唯 一 i d ， 但 是 如 果 不 使 用 关 系 数 据 库 ， 在 分 布 式 系 统 中 如 何 产 生 唯 一 序 列 号 且 避 免 冲 突 ？ 参 考 ： 如 何 在 高 并 发 分 布 式 系 统 中 生 成 全 局 唯 一 I d 。 是 否 需 要 保 留 原 始 链 接 最 后 部 分 ？ 如 h t t p : / / a b c . d e f . c o m / p / 1 2 4 / a r t i c l e / 1 2 3 0 6 . h t m l 压 缩 成 h t t p : / / s h o r t . u r l / a s d f a s d f / 1 2 3 0 6 . h t m l ， 以 增 加 可 读 性 。 由 于 协 议 部 分 可 以 预 见 或 者 需 要 支 持 的 数 量 很 少 （ 比 如 就 支 持 h t t p 和 h t t p s ） ， 是 否 可 以 考 虑 把 协 议 部 分 略 去 ， 以 枚 举 方 式 和 短 链 接 正 文 放 在 一 起 ？ 由 于 属 于 w e b 服 务 ， 考 虑 判 定 U R L 合 法 性 ， 考 虑 怎 样 控 制 请 求 流 量 和 应 对 恶 意 访 问 。 3 、 怎 样 设 计 一 个 实 时 聊 天 系 统 ？ 可 以 是 M S N 、 Q Q 这 样 的 C S 结 构 的 ， 也 可 以 是 F a c e b o o k   C h a t 或 者 微 博 私 信 这 样 的 B S 结 构 的 。 登 陆 时 需 要 获 取 好 友 状 态 列 表 ， 这 通 常 也 是 p r i o r i t y   0 的 u s e   c a s e 。 这 个 问 题 的 特 点 是 客 户 端 和 服 务 端 已 经 天 然 地 分 开 了 ， 核 心 问 题 之 一 是 把 服 务 端 和 客 户 端 的 交 互 梳 理 清 楚 。 如 果 是 B S 结 构 的 ， 怎 样 使 得 从 服 务 端 到 客 户 端 的 消 息 推 送 成 为 可 能 ？ A j a x + C o m e t 是 一 个 办 法 ， h a n g 住 连 接 ， 消 息 推 送 。 还 有 一 种 办 法 是 客 户 端 轮 询 ， 但 是 显 然 实 时 性 无 法 胜 任 。 如 果 使 用 C o m e t ， 服 务 端 将 存 在 大 量 的 空 闲 连 接 。 参 考 ， s e l e c t 、 p o l l 、 e p o l l 之 间 的 区 别 总 结 [ 整 理 ] 。 对 于 消 息 的 处 理 ， 引 入 协 程 ， 减 少 线 程 调 度 开 销 ， 参 考 ： D i f f e r e n c e   b e t w e e n   a   “ c o r o u t i n e ”   a n d   a   “ t h r e a d ” ? 。 如 果 是 C S 的 ， 消 息 和 状 态 还 可 以 通 过 P 2 P 的 方 式 ； 但 是 如 果 是 B S 的 ， 就 必 须 实 现 一 个 服 务 端 的 消 息 系 统 ， 参 考 ： 实 时 通 信 协 议 X M P P 。 存 储 方 面 ， C A P 怎 么 权 衡 ？ 可 以 牺 牲 掉 哪 一 个 ？ 如 果 要 求 完 成 历 史 消 息 功 能 ， 那 又 是 另 一 番 故 事 了 。 其 他 值 得 讨 论 的 扩 展 的 功 能 包 括 系 统 消 息 群 发 、 好 友 状 态 更 新 和 消 息 搜 索 等 等 。
原 文 ： h t t p : / / w w w . r a y c h a s e . n e t / 2 8 7 8 作 者 ：   @ r a y c h a s e 还 有 一 些 系 统 设 计 典 型 和 经 典 问 题 ， 想 到 的 先 列 在 下 面 ， 等 后 续 有 时 间 总 结 了 再 补 充 到 上 面 去 ： 搜 索 引 擎 设 计 （ 包 括 网 页 爬 虫 ） 邮 件 系 统 设 计 （ 例 如 G M a i l ） 无 论 如 何 ， 对 于 这 些 问 题 的 解 决 ， 反 复 思 考 是 非 常 有 趣 的 。 这 些 东 西 貌 似 可 以 直 接 拿 来 学 习 的 材 料 比 较 少 ， 而 且 也 不 像 算 法 那 样 丁 是 丁 卯 是 卯 的 ， 评 判 的 标 准 模 糊 得 很 。 （ 题 图 来 自 ： r a i n t e c i r r i g a t i o n s y s t e m s . c o m ） 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理