搜索

[25554] 2016-10-01_Instagram基于Python语言的WebService效率提升之道

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2016-10-01_Instagram基于Python语言的WebService效率提升之道 I n s t a g r a m   基 于   P y t h o n   语 言 的   W e b   S e r v i c e   效 率 提 升 之 道 原 创   译 者 C h r i s L e e G i t   L i n u x 中 国   2 0 1 6 - 1 0 - 0 1 本 文 导 航 - 为 何 需 要 提 升 效 率 ？ - 定 义 效 率 - D j a n g o   w e b   s e r v i c e s   分 析 - 监 控 与 警 报 机 制 - 接 下 来 是 什 么 ？ I n s t a g r a m   目 前 部 署 了 世 界 上 最 大 规 模 的   D j a n g o   W e b   框 架 （ 该 框 架 完 全 使 用   P y t h o n   编 写 ） 。 我 们 最 初 选 用   P y t h o n   是 因 为 它 久 负 盛 名 的 简 洁 性 与 实 用 性 ， 这 非 常 符 合 我 们 的 哲 学 思 想 — — “ 先 做 简 单 的 事 情 ” 。 但 简 洁 性 也 会 带 来 效 率 方 面 的 折 衷 。 I n s t a g r a m   的 规 模 在 过 去 两 年 中 已 经 翻 番 ， 并 且 最 近 已 突 破   5   亿 用 户 ， 所 以 急 需 最 大 程 度 地 提 升   w e b   服 务 效 率 以 便 我 们 的 平 台 能 够 继 续 顺 利 地 扩 大 。 在 过 去 的 一 年 ， 我 们 已 经 将 e f f i c i e n c y   p r o g r a m 效 率 计 划 提 上 日 程 ， 并 在 过 去 的 六 个 月 ， 我 们 已 经 能 够 做 到 无 需 向 我 们 的   D j a n g o   t i e r s D j a n g o   层 添 加 新 的 容 量 来 维 持 我 们 的 用 户 增 长 。 我 们 将 在 本 文 分 享 一 些 由 我 们 构 建 的 工 具 以 及 如 何 使 用 它 们 来 优 化 我 们 的 日 常 部 署 流 程 。 为 何 需 要 提 升 效 率 ？ 为 何 需 要 提 升 效 率 ？ I n s t a g r a m ， 正 如 所 有 的 软 件 ， 受 限 于 像 服 务 器 和 数 据 中 心 能 源 这 样 的 物 理 限 制 。 鉴 于 这 些 限 制 ， 在 我 们 的 效 率 计 划 中 有 两 个 我 们 希 望 实 现 的 主 要 目 标 ： 1 .   I n s t a g r a m   应 当 能 够 利 用 持 续 代 码 发 布 正 常 地 提 供 通 信 服 务 ， 防 止 因 为 自 然 灾 害 、 区 域 性 网 络 问 题 等 造 成 某 一 个 数 据 中 心 区 丢 失 。 2 .   I n s t a g r a m   应 当 能 够 自 由 地 滚 动 发 布 新 产 品 和 新 功 能 ， 不 必 因 容 量 而 受 阻 。 想 要 实 现 这 些 目 标 ， 我 们 意 识 到 我 们 需 要 持 续 不 断 地 监 控 我 们 的 系 统 并 与 r e g r e s s i o n s 回 归 进 行 战 斗 。 定 义 效 率 定 义 效 率 W e b   s e r v i c e s   的 瓶 颈 通 常 在 于 每 台 服 务 器 上 可 用 的   C P U   时 间 。 在 这 种 环 境 下 ， 效 率 就 意 味 着 利 用 相 同 的   C P U   资 源 完 成 更 多 的 任 务 ， 也 就 是 说 ， r e q u e s t s   p e r   s e c o n d ， R P S 每 秒 处 理 更 多 的 用 户 请 求 。 当 我 们 寻 找 优 化 方 法 时 ， 我 们 面 临 的 第 一 个 最 大 的 挑 战 就 是 尝 试 量 化 我 们 当 前 的 效 率 。 到 目 前 为 止 ， 我 们 一 直 在 使 用 “ 每 次 请 求 的 平 均   C P U   时 间 ” 来 评 估 效 率 ， 但 使 用 这 种 指 标 也 有 其 固 有 限 制 ： 1 .   设 备 多 样 性 设 备 多 样 性 。 使 用   C P U   时 间 来 测 量   C P U   资 源 并 非 理 想 方 案 ， 因 为 它 同 时 受 到   C P U   型 号 与   C P U   负 载 的 影 响 。 2 .   请 求 影 响 数 据 请 求 影 响 数 据 。 测 量 每 次 请 求 的   C P U   资 源 并 非 理 想 方 案 ， 因 为 在 使 用 p e r - r e q u e s t   m e a s u r e m e n t 每 次 请 求 测 量 方 案 时 ， 添 加 或 移 除 轻 量 级 或 重 量 级 的 请 求 也 会 影 响 到 效 率 指 标 。 相 对 于   C P U   时 间 来 说 ， C P U   指 令 是 一 种 更 好 的 指 标 ， 因 为 对 于 相 同 的 请 求 ， 它 会 报 告 相 同 的 数 字 ， 不 管   C P U   型 号 和   C P U 负 载 情 况 如 何 。 我 们 选 择 使 用 了 一 种 叫 做 ” p e r   a c t i v e   u s e r 每 个 活 动 用 户 “ 的 指 标 ， 而 不 是 将 我 们 所 有 的 数 据 关 联 到 每 个 用 户 请 求 上 。 我 们
最 终 采 用 “ C P U   i n s t r u c t i o n   p e r   a c t i v e   u s e r   d u r i n g   p e a k   m i n u t e 每 个 活 动 用 户 在 高 峰 期 间 的   C P U   指 令 ” 来 测 量 效 率 。 我 们 建 立 好 新 的 度 量 标 准 后 ， 下 一 步 就 是 通 过 对   D j a n g o   的 分 析 来 更 多 的 了 解 一 下 我 们 的 回 归 。 D j a n g o   w e b   s e r v i c e s   分 析 分 析 通 过 分 析 我 们 的   D j a n g o   w e b   s e r v i c e s ， 我 们 希 望 回 答 两 个 主 要 问 题 ： 1 .   C P U   回 归 会 发 生 吗 ？ 2 .   是 什 么 导 致 了   C P U   回 归 发 生 以 及 我 们 该 怎 样 修 复 它 ？ 想 要 回 答 第 一 个 问 题 ， 我 们 需 要 追 踪 “ C P U - i n s t r u c t i o n - p e r - a c t i v e - u s e r 每 个 活 动 用 户 的   C P U   指 令 ” 指 标 。 如 果 该 指 标 增 加 ， 我 们 就 知 道 已 经 发 生 了 一 次 C P U   回 归 。 我 们 为 此 构 建 的 工 具 叫 做   D y n o s t a t s 。 D y n o s t a t s   利 用   D j a n g o   中 间 件 以 一 定 的 速 率 采 样 用 户 请 求 ， 记 录 关 键 的 效 率 以 及 性 能 指 标 ， 例 如   C P U   总 指 令 数 、 端 到 端 请 求 时 延 、 花 费 在 访 问 内 存 缓 存 （ m e m c a c h e ） 和 数 据 库 服 务 的 时 间 等 。 另 一 方 面 ， 每 个 请 求 都 有 很 多 可 用 于 聚 合 的 m e t a d a t a 元 数 据 ， 例 如 端 点 名 称 、 H T T P   请 求 返 回 码 、 服 务 该 请 求 的 服 务 器 名 称 以 及 请 求 中 最 新 提 交 的 h a s h 哈 希 值 。 对 于 单 个 请 求 记 录 来 说 ， 有 两 个 方 面 非 常 强 大 ， 因 为 我 们 可 以 在 不 同 的 维 度 上 进 行 切 割 ， 那 将 帮 助 我 们 减 少 任 何 导 致   C P U   回 归 的 原 因 。 例 如 ， 我 们 可 以 根 据 它 们 的 端 点 名 称 聚 合 所 有 请 求 ， 正 如 下 面 的 时 间 序 列 图 所 示 ， 从 图 中 可 以 清 晰 地 看 出 在 特 定 端 点 上 是 否 发 生 了 回 归 。 C P U   指 令 对 测 量 效 率 很 重 要 — — 当 然 ， 它 们 也 很 难 获 得 。 P y t h o n   并 没 有 支 持 直 接 访 问   C P U   硬 件 计 数 器 （ C P U   硬 件 计 数 器 是 指 可 编 程   C P U   寄 存 器 ， 用 于 测 量 性 能 指 标 ， 例 如   C P U   指 令 ） 的 公 共 库 。 另 一 方 面 ， L i n u x   内 核 提 供 了     系 统 调 用 。 通 过   P y t h o n   p e r f _ e v e n t _ o p e n c t y p e s
  桥 接 技 术 能 够 让 我 们 调 用 标 准   C   库 的 系 统 调 用 函 数   ， 它 也 为 我 们 提 供 了 兼 容   C   的 数 据 类 型 ， 从 而 可 以 编 程 硬 件 计 数 器 并 从 它 们 读 取 数 据 。 使 用   D y n o s t a t s ， 我 们 已 经 可 以 找 出   C P U   回 归 ， 并 探 究   C P U   回 归 发 生 的 原 因 ， 例 如 哪 个 端 点 受 到 的 影 响 最 多 ， 谁 提 交 了 真 正 会 导 致   C P U   回 归 的 变 更 等 。 然 而 ， 当 开 发 者 收 到 他 们 的 变 更 已 经 导 致 一 次   C P U   回 归 发 生 的 通 知 时 ， 他 们 通 常 难 以 找 出 问 题 所 在 。 如 果 问 题 很 明 显 ， 那 么 回 归 可 能 就 不 会 一 开 始 就 被 提 交 ！ 这 就 是 为 何 我 们 需 要 一 个   P y t h o n   分 析 器 ， （ 一 旦   D y n o s t a t s   发 现 了 它 ） 从 而 使 开 发 者 能 够 使 用 它 找 出 回 归 发 生 的 根 本 原 因 。 不 同 于 白 手 起 家 ， 我 们 决 定 对 一 个 现 成 的   P y t h o n   分 析 器   c P r o f i l e   做 适 当 的 修 改 。 c P r o f i l e   模 块 通 常 会 提 供 一 个 统 计 集 合 来 描 述 程 序 不 同 的 部 分 执 行 时 间 和 执 行 频 率 。 我 们 将   c P r o f i l e   的 t i m e r 定 时 器 替 换 成 了 一 个 从 硬 件 计 数 器 读 取 的   C P U   指 令 计 数 器 ， 以 此 取 代 对 时 间 的 测 量 。 我 们 在 采 样 请 求 后 产 生 数 据 并 把 数 据 发 送 到 数 据 流 水 线 。 我 们 也 会 发 送 一 些 我 们 在   D y n o s t a t s   所 拥 有 的 类 似 元 数 据 ， 例 如 服 务 器 名 称 、 集 群 、 区 域 、 端 点 名 称 等 。 在 数 据 流 水 线 的 另 一 边 ， 我 们 创 建 了 一 个 消 费 数 据 的 t a i l e r 尾 随 者 。 尾 随 者 的 主 要 功 能 是 解 析   c P r o f i l e   的 统 计 数 据 并 创 建 能 够 表 示   P y t h o n   函 数 级 别 的   C P U   指 令 的 实 体 。 如 此 ， 我 们 能 够 通 过   P y t h o n   函 数 来 聚 合   C P U   指 令 ， 从 而 更 加 方 便 地 找 出 是 什 么 函 数 导 致 了   C P U   回 归 。 监 控 与 警 报 机 制 监 控 与 警 报 机 制 在   I n s t a g r a m ， 我 们 每 天 部 署   3 0 - 5 0   次 后 端 服 务 [ 1 ] 。 这 些 部 署 中 的 任 何 一 个 都 能 发 生   C P U   回 归 的 问 题 。 因 为 每 次 发 生 通 常 都 包 含 至 少 一 个 d i f f 差 异 ， 所 以 找 出 任 何 回 归 是 很 容 易 的 。 我 们 的 效 率 监 控 机 制 包 括 在 每 次 发 布 前 后 都 会 在   D y n o s t a t s   中 扫 描 C P U   指 令 ， 并 且 当 变 更 超 出 某 个 阈 值 时 发 出 警 告 。 对 于 长 期 会 发 生   C P U   回 归 的 情 况 ， 我 们 也 有 一 个 探 测 器 为 负 载 最 繁 重 的 端 点 提 供 日 常 和 每 周 的 变 更 扫 描 。 部 署 新 的 变 更 并 非 触 发 一 次   C P U   回 归 的 唯 一 情 况 。 在 许 多 情 况 下 ， 新 的 功 能 和 新 的 代 码 路 径 都 由 g l o b a l   e n v i r o n m e n t   v a r i a b l e s ， G E V 全 局 环 境 变 量 控 制 。 在 一 个 计 划 好 的 时 间 表 上 ， 给 一 部 分 用 户 发 布 新 功 能 是 很 常 见 事 情 。 我 们 在   D y n o s t a t s   和   c P r o f i l e   统 计 数 据 中 为 每 个 请 求 添 加 了 这 个 信 息 作 为 额 外 的 元 数 据 字 段 。 按 这 些 字 段 将 请 求 分 组 可 以 找 出 由 全 局 环 境 变 量 （ G E V ） 改 变 导 致 的 可 能 的   C P U   回 归 问 题 。 这 让 我 们 能 够 在 它 们 对 性 能 造 成 影 响 前 就 捕 获 到   C P U   回 归 。 接 下 来 是 什 么 ？ 接 下 来 是 什 么 ？ D y n o s t a t s   和 我 们 定 制 的   c P r o f i l e ， 以 及 我 们 建 立 的 支 持 它 们 的 监 控 和 警 报 机 制 能 够 有 效 地 找 出 大 多 数 导 致   C P U   回 归 的 元 凶 。 这 些 进 展 已 经 帮 助 我 们 恢 复 了 超 过   5 0 %   的 不 必 要 的   C P U   回 归 ， 否 则 我 们 就 根 本 不 会 知 道 。 我 们 仍 然 还 有 一 些 可 以 提 升 的 方 面 ， 并 很 容 易 将 它 们 地 加 入 到   I n s t a g r a m   的 日 常 部 署 流 程 中 ： 1 .   C P U   指 令 指 标 应 该 要 比 其 它 指 标 如   C P U   时 间 更 加 稳 定 ， 但 我 们 仍 然 观 察 了 让 我 们 头 疼 的 差 异 。 保 持 “ s i g n a l : n o i s e   r a t i o 信 噪 比 ” 合 理 地 低 是 非 常 重 要 的 ， 这 样 开 发 者 们 就 可 以 集 中 于 真 实 的 回 归 上 。 这 可 以 通 过 引 入 c o n f i d e n c e   i n t e r v a l s 置 信 区 间 的 概 念 来 提 升 ， 并 在 信 噪 比 过 高 时 发 出 警 报 。 针 对 不 同 的 端 点 ， 变 化 的 阈 值 也 可 以 设 置 为 不 同 值 。 2 .   通 过 更 改   G E V   来 探 测   C P U   回 归 的 一 个 限 制 就 是 我 们 要 在   D y n o s t a t s   中 手 动 启 用 这 些 比 较 的 日 志 输 出 。 当   G E V   的 数 量 逐 渐 增 加 ， 开 发 了 越 来 越 多 的 功 能 ， 这 就 不 便 于 扩 展 了 。 相 反 ， 我 们 能 够 利 用 一 个 自 动 化 框 架 来 调 度 这 些 比 较 的 日 志 输 出 ， 并 对 所 有 的   G E V   进 行 遍 历 ， 然 后 当 检 查 到 回 归 时 就 发 出 警 告 。 s y s c a l l
3 .   c P r o f i l e   需 要 一 些 增 强 以 便 更 好 地 处 理 封 装 函 数 以 及 它 们 的 子 函 数 。 鉴 于 我 们 在 为   I n s t a g r a m   的   w e b   s e r v i c e   构 建 效 率 框 架 中 所 投 入 的 工 作 ， 所 以 我 们 对 于 将 来 使 用   P y t h o n   继 续 扩 展 我 们 的 服 务 很 有 信 心 。 我 们 也 开 始 向   P y t h o n   语 言 本 身 投 入 更 多 ， 并 且 开 始 探 索 从   P y t h o n   2   转 移   P y t h o n   3   之 道 。 我 们 将 会 继 续 探 索 并 做 更 多 的 实 验 以 继 续 提 升 基 础 设 施 与 开 发 者 效 率 ， 我 们 期 待 着 很 快 能 够 分 享 更 多 的 经 验 。 本 文 作 者   M i n   N i   是   I n s t a g r a m   的 软 件 工 程 师 。 （ 题 图 来 自 ： n o s t a r c h . c o m [ 2 ] ） v i a :   h t t p s : / / e n g i n e e r i n g . i n s t a g r a m . c o m / w e b - s e r v i c e - e f f i c i e n c y - a t - i n s t a g r a m - w i t h - p y t h o n - 4 9 7 6 d 0 7 8 e 3 6 6 # . t i a k u o i 4 p 作 者 ： M i n   N i [ 3 ]   译 者 ： C h r i s L e e G i t   校 对 ： w x y 本 文 由   L C T T [ 4 ]   原 创 编 译 ， L i n u x 中 国   荣 誉 推 出 [ 1 ] :   h t t p s : / / e n g i n e e r i n g . i n s t a g r a m . c o m / c o n t i n u o u s - d e p l o y m e n t - a t - i n s t a g r a m - 1 e 1 8 5 4 8 f 0 1 d 1 # . p 5 a d p 7 k c z [ 2 ] :   h t t p s : / / w w w . n o s t a r c h . c o m / r e g r e s s i o n [ 3 ] :   h t t p s : / / e n g i n e e r i n g . i n s t a g r a m . c o m / @ I n s t a g r a m E n g ? s o u r c e = p o s t _ h e a d e r _ l o c k u p [ 4 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章
点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理