搜索

[25308] 2016-07-29_日均请求量百亿级数据处理平台的容器云实践

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2016-07-29_日均请求量百亿级数据处理平台的容器云实践 日 均 请 求 量 百 亿 级 数 据 处 理 平 台 的 容 器 云 实 践 袁 晓 沛   L i n u x 中 国   2 0 1 6 - 0 7 - 2 9 编 者 按 ：   七 牛 云 研 发 架 构 师 袁 晓 沛 ， 7   月   1 5   日 在   A r c h S u m m i t   全 球 架 构 师 峰 会 七 牛 云 专 场 上 ， 带 来 了 题 为 《 自 定 义 数 据 处 理 平 台 的 容 器 云 实 践 》 的 分 享 ， 结 合 七 牛 云 自 定 义 数 据 处 理 平 台 业 务 的 容 器 化 实 践 ， 从 平 台 的 业 务 特 点 、 为 什 么 容 器 化 、 如 何 实 现 容 器 化 以 及 容 器 实 践 的 具 体 效 果 等 角 度 进 行 了 分 享 。 以 下 是 对 他 演 讲 内 容 的 整 理 。 袁 晓 沛 ： 曾 参 与 盛 大 网 盘   E v e r B o x 、 E M C   备 份 服 务   M o z y   后 端 存 储 的 设 计 、 开 发 工 作 ， 主 要 方 向 在 分 布 式 系 统 的 架 构 设 计 、 开 发 、 性 能 调 优 以 及 后 期 运 维 优 化 。 目 前 在 七 牛 云 的 主 要 工 作 是 基 于 容 器 平 台 构 建 分 布 式 应 用 ， 借 助 容 器 的 优 势 ， 实 现 大 规 模 分 布 式 应 用 的 自 动 化 运 维 以 及 高 可 用 ， 以   P a a S   服 务 的 形 式 提 供 服 务 器 后 端 应 用 ， 同 时 致 力 于 让 开 发 者 从 繁 琐 的 后 端 运 维 工 作 中 解 放 出 来 。 数 据 处 理 业 务 简 介 数 据 处 理 业 务 简 介 首 先 是 业 务 定 义 ： 七 牛 云 数 据 处 理 依 托 于 七 牛 云 存 储 中 的 海 量 数 据 ， 提 供 零 运 维 、 高 可 用 、 高 性 能 的 数 据 处 理 服 务 ， 日 处 理 数 近 百 亿 次 ， 让 用 户 轻 松 应 对 图 片 、 音 视 频 以 及 其 他 各 类 数 据 的 实 时 、 异 步 处 理 场 景 。 数 据 主 要 有 三 种 处 理 方 式 ： 1 .   官 方 数 据 处 理 ： 提 供 基 础 的 数 据 处 理 服 务 ， 包 括 但 不 限 于 图 片 的 转 码 、 水 印 、 原 图 保 护 、 防 盗 链 等 ， 以 及 音 视 频 的 转 码 、 切 片 和 拼 接 等 。   2 .   自 定 义 数 据 处 理 ： 允 许 用 户 构 建 、 上 传 自 定 义 的 私 有 数 据 处 理 服 务 ， 并 无 缝 对 接 七 牛 云 存 储 上 的 数 据 以 及 其 他 数 据 处 理 服 务 。 3 .   第 三 方 数 据 处 理 ： 一 个 开 放 的 应 用 平 台 ， 提 供 大 量 功 能 丰 富 的 第 三 方 数 据 处 理 服 务 ， 比 如 图 片 鉴 黄 、 人 脸 识 别 、 广 告 过 滤 、 语 言 翻 译 、 T T S   等 。 图   1 图   1   是 数 据 处 理 的 一 个 调 用 示 例 。 无 论 是 七 牛 云 的 官 方 数 据 处 理 ， 还 是 自 定 义 数 据 处 理 ， 或 者 第 三 方 数 据 处 理 ， 都 是 以 这 种 形 式 调 用 的 。 最 左 边 的 是 一 个   U R L ， 代 表 一 个 文 件 ， 中 间 绿 色 的   F a c e c r o p   是 数 据 处 理 命 令 ， 右 边 的   2 0 0   ×   2 0 0   是 请 求 参 数 。
图   2 如 图   2   所 示 ， 从 左 边 的 人 物 肖 像 图 原 图 到 右 边   2 0 0   ×   2 0 0   的 小 图 片 ， 这 个 服 务 可 以 把 人 脸 从 原 图 中 剪 裁 出 来 。 通 过 管 道 操 作 ， 还 可 以 把 图 片 再 存 到 存 储 中 ， 以 后 直 接 使 用 这 个 小 图 ， 不 需 要 再 走 数 据 处 理 计 算 。 这 是 一 个 典 型 的 数 据 处 理 调 用 。 官 方 数 据 处 理 的 挑 战 官 方 数 据 处 理 的 挑 战 第 一 ， 请 求 量 非 常 大 。 目 前 ， 系 统 每 天 有 近 百 亿 的 数 据 处 理 请 求 量 。 年 底 ， 可 能 会 在 目 前 近 千 台 的 计 算 集 群 基 础 上 翻 好 几 倍 ， 整 个 存 量 、 增 量 都 非 常 大 。 第 二 ， 突 发 流 量 非 常 频 繁 。 很 多 客 户 是 从 其 它 云 迁 到 七 牛 云 ， 首 次 把 大 量 文 件 迁 移 到 七 牛 存 储 后 ， 往 往 会 发 起 大 量 的 数 据 处 理 请 求 ， 这 会 带 来 大 量 突 发 流 量 。 第 三 ， C P U   密 集 型 计 算 。 目 前 后 端 集 群 中 ， 绝 大 部 分 的 机 器 都 是 用 来 跑 图 片 、 音 视 频 转 码 的 ， 这 些 都 是   C P U   密 集 型 的 计 算 ， 这 意 味 着 后 台 需 要 很 多 台 机 器 ， 而 且   C P U   的 核 数 越 多 越 好 。 第 四 ， I O   操 作 频 繁 。 I O   分 为 磁 盘   I O   和 网 络   I O ， 数 据 处 理 前 ， 往 往 需 要 先 把 原 始 文 件 从 七 牛 存 储 中 下 载 到 本 地 磁 盘 ， 所 以 磁 盘   I O   和 网 络   I O   都 很 频 繁 。 官 方 数 据 处 理 的 架 构 演 化 官 方 数 据 处 理 的 架 构 演 化
图   3 图   3   是 数 据 处 理 早 期 的 一 个 架 构 图 。 当 时 比 较 简 单 ， 所 有 请 求 都 经 过   F o p G a t e ， 每 个 节 点 上 都 部 署 了 很 多 图 片 、 音 视 频 或 者 文 档 处 理 的   W o r k e r ， 是 具 体 做 转 码 的 计 算 服 务 。 整 个 架 构 ， W o r k e r   在 网 关 上 是 静 态 配 置 ， 增 加 新 的   W o r k e r   时 需 要 改 网 关 配 置 重 新 加 载 ， 做 起 来 会 很 麻 烦 。 另 外 ， 请 求 进 来 时 ， 对 应 要 处 理 的 数 据 也 是 通 过 网 关 服 务 进 入 ， 控 制 流 和 数 据 流 放 在 一 起 ， 网 关 整 体 压 力 非 常 大 ， 当 时 出 了 很 多 问 题 。 图   4   图   4   是 数 据 处 理 目 前 的 主 体 架 构 。 右 图 左 上 角 增 加 了 一 个   D i s c o v e r y   组 件 ， 收 集   A g e n t   上 报 的 信 息 ， A g e n t   和   W o r k e r   把 自 己 能 做 什 么 事 都 上 报 到   D i s c o v e r y 。 每 增 加 新 的 主 机   A g e n t   和   W o r k e r   时 ， 不 再 需 要 静 态 配 置 ， 只 需 要 指 向 的 这 个   D i s c o v e r y   服 务 。 网 关 可 以 通 过   D i s c o v e r y   获 取 信 息 ， 根 据 进 入 的 具 体 请 求 ， 将 这 个 请 求 路 由 到 不 同 的   A g e n t   ， A g e n t   再 把 请 求 转 到   W o r k e r   处 理 。 A g e n t   组 件 还 有 负 载 均 衡 的 作 用 ， 请 求 会 选 择 后 端 相 应 的 节 点 执 行 ， 另 外 也 起 到 下 载 文 件 的 作 用 。 下 载 文 件 的 数 据 流 不 经 过 网 关 服 务 ， W o r k e r   向   A g e n t   发 起 一 个 下 载 请 求 ， 然 后 这 个   A g e n t   到 存 储 上 下 载 数 据 ， 放 到 自 己 的 缓 存 中 。 这 个 架 构 解 决 了 一 些 问 题 ， 但 是 之 前 提 及 的 挑 战 依 然 存 在 。 主 要 的 问 题 是   F o p G a t e   在 过 载 时 依 然 会 崩 溃 ， 每 个 主 机 会 过 载 出 问 题 ， 造 成 请 求 变 慢 或 者 宕 机 。 接 下 来 讨 论 一 下 如 何 解 决 这 些 问 题 。 如 何 应 对 官 方 数 据 处 理 的 挑 战 如 何 应 对 官 方 数 据 处 理 的 挑 战 系 统 测 量 系 统 测 量 第 一 ， 测 量   F o p G a t e   的 服 务 能 力 。 按 照 线 上 的 配 置 ， 针 对 同 比 例 缩 小 的 集 群 做 性 能 测 试 ， 测 试 出   F o p G a t e   单 机 最 大 的 请 求 数 和 句 柄 数 ， 根 据 实 际 的 业 务 量 ， 确 定 机 器 配 置 和 数 量 。 第 二 ， 测 量 某 种 数 据 处 理 的 资 源 使 用 范 式 。 大 多 数 据 处 理 是   C P U   密 集 型 计 算 ， 我 们 需 要 找 到 单 个 处 理 的 资 源 使 用 规 律 。 测 试 方 式 如 下 ： 取 线 上 约   1 0   万 或   1 0 0   万 个 请 求 ， 针 对 一 台 测 试 机 器 压 力 测 试 。 比 如 测   I m a g e ， 测 试 这 台 机 器 的 变 量 有 以 下 三 个 ： I m a g e   实 例 数 ， 并 发 处 理 数 和 队 列 长 度 。 最 终 拿 到 的 一 个 结 果 是 ， 做 图 片 剪 裁 、 图 片 处 理 、 图 片 转 码 等 服 务 ， 一 个 进 程 一 个   C P U   的 逻 辑 核 ， 同 时 处 理 一 个 任 务 ， 对 它 来 说 是 最 快 的 ， 多 个 任 务 同 时 处 理 反 倒 会 让 C P U   的 处 理 变 慢 。 第 三 ， 测 量 单 实 例 的 服 务 能 力 。 一 个 程 序 实 现 得 很 好 ， 可 以 把 多 核 利 用 起 来 。 针 对 这 样 的 实 例 ， 分 配 多 个   C P U   线 程 、 调 大 并 发 、 并 压 测 这 个 的 实 例 ， 试 图 用   1 0   万 个 请 求 看 整 体 处 理 速 度 ， 发 现 整 体 处 理 速 度 并 没 有 起 多 个 实 例 ， 但 每 个 实 例 限 制   C P U   线 程 数 、 限 制 并 发 好 。 所 以 最
终 的 结 论 是 操 作 系 统 对 于   C P U   的 调 度 ， 比 进 程 要 好 ； 相 比 起 一 个 大 实 例 、 接 受 高 并 发 请 求 ， 我 们 更 倾 向 于 运 行 多 个 实 例 、 但 每 个 实 例 限 制 并 发 。 增 加 队 列 增 加 队 列 这 个 主 要 的 考 虑 是 提 高 服 务 质 量 ， 避 免 单 实 例 过 载 。 前 面 得 到 结 论 ， 一 个 图 片 处 理 的 实 例 ， 一 个 核 ， 并 发 量 为   1   时 最 快 。 我 们 为 每 台 节 点 机 器 加 了 一 个 排 队 机 制 ， 排 队 之 后 不 争 抢 资 源 ， 整 体 处 理 速 度 反 而 变 快 。 另 外 ， 从 运 营 角 度 讲 ， 可 以 用 队 列 长 度 来 区 分 免 费 用 户 和 付 费 用 户 。 比 如 ， 可 以 将 免 费 用 户 的 排 队 长 度 设 置 得 长 一 点 ， 比 如 设 成   1 0 ， 意 味 着 最 后 一 个 请 求 要 等 前 面   9   个 请 求 处 理 完 才 能 处 理 。 而 对 于 付 费 用 户 ， 可 以 将 队 列 长 度 调 短 一 点 ， 只 有   3   或 者   5 ， 这 样 平 均 等 待 时 间 就 变 短 。 总 原 则 是 区 别 付 费 用 户 和 免 费 用 户 ， 免 费 用 户 保 证 高 可 用 ， 但 是 不 能 保 证 高 质 量 和 低 延 迟 ， 因 为 资 源 有 限 ； 对 于 付 费 用 户 可 以 保 证 高 质 量 ， 因 为 可 以 通 过 排 队 长 度 控 制 这 个 事 情 。 限 流 限 流 为 什 么 有 了 队 列 之 后 还 要 限 流 ？ 两 个 原 因 ： 第 一 ， 大 量 长 链 接 影 响   F o p G a t e   性 能 。 因 为 七 牛 云 处 理 最 多 的 是 图 片 、 音 频 和 视 频 三 种 请 求 。 图 片 请 求 往 往 比 较 快 ， 高 峰 期 时 可 能 几 秒 、 几 十 毫 秒 完 成 ， 但 是 视 频 和 音 频 转 码 往 往 比 较 慢 ， 可 能 需 要 好 几 分 钟 或 者 好 几 十 分 钟 ， 它 取 决 于 一 个 具 体 的 转 码 参 数 和 转 码 时 长 。 如 果 不 限 流 ， 网 关 会 维 持 大 量 的 长 链 接 ， 累 积 大 量 句 柄 ， 轻 则 影 响 的 性 能 ， 严 重 的 情 况 下 会 造 成 宕 机 。 第 二 ， 突 发 流 量 ， 导 致 队 列 过 长 。 队 列 太 长 ， 有 大 量 任 务 积 压 的 情 况 下 ， 会 有 任 务 在 处 理 之 前 就 超 时 。 与 其 超 时 ， 还 不 如 直 接 限 流 ， 拒 绝 处 理 不 掉 的 请 求 。 限 流 手 段 有 三 种 ： 第 一 ， 并 发   H T T P   请 求 限 制 。 超 过 这 个 限 制 ， 直 接 拒 绝 请 求 并 返 回 。 但 这 并 不 是 最 好 的 方 式 ， 因 为 超 时 的 请 求 已 经 解 析 处 理 过 ， 这 对 于 性 能 是 有 一 定 损 耗 的 。 最 好 的 做 法 是 用 一 个 信 号 量 控 制   T C P   a c c e p t ， 比 如 控 制 信 号 量 个 数 是   1   万 个 ， 1   万 个 请 求 正 在 并 发 处 理 时 就 不   a c c e p t   。 这 是 最 好 的 方 式 ， 但 实 现 略 复 杂 。 第 二 ， 单 用 户 请 求 数 限 制 。 有 些 用 户 可 能 会 在 特 殊 情 况 下 发 起 大 量 的 请 求 ， 为 了 不 让 他 影 响 别 的 用 户 ， 系 统 会 限 制 单 个 用 户 的 请 求 量 。 第 三 ， C m d   数 限 制 。 主 要 指 具 体 某 个 操 作 ， 比 如 图 片 查 看 ， 要 对   C m d   数 进 行 限 制 。 因 为 不 能 让 大 量 同 样 的   C m d   把 资 源 消 耗 殆 尽 ， 影 响 其 他   C m d   的 操 作 。   合 理 协 调 合 理 协 调   I O   和 和   C P U 为 什 么 要 合 理 协 调 ？ 因 为 数 据 处 理 的 流 程 是 ： 下 载 、 写 盘 、 处 理 、 写 盘 、 返 回 ， 涉 及 到 网 络   I O   和 磁 盘   I O 。 整 个 优 化 方 式 总 原 则 是 就 近 计 算 ， 将 下 载 和 计 算 部 署 在 一 起 。 目 前 ， 新 的 架 构 中 是 混 合 部 署 的 。 本 来 可 以 设 计 ， 将 下 载 部 署 在 其 他 机 器 上 ， 但 这 样 会 增 加 一 次 网 络 的 路 由 次 数 。 所 以 ， 从 一 台 机 器 的   A g e n t   下 载 后 ， 直 接 在 本 机 处 理 ， 不 会 再 经 过 一 次 网 络 路 由 。 另 外 一 种 方 式 是 挂 载   r a m f s ， 直 接 把 下 载 内 容 放 在 内 存 中 。 比 如 内 存 分   8   G ， 下 载 完 成 后 直 接 放 在 内 存 中 ， 要 用 的 时 候 直 接 进 内 存 读 ， 这 样 可 以 节 约 磁 盘   I O   的 开 销 ， 也 能 整 体 加 快 单 个 请 求 处 理 速 度 。 前 面 这 些 是 官 方 数 据 处 理 的 一 些 挑 战 、 架 构 演 化 以 及 我 们 采 取 的 一 些 对 策 ， 后 面 讲 一 下 自 定 义 数 据 处 理 所 面 临 的 挑 战 。 自 定 义 数 据 处 理 的 挑 战 自 定 义 数 据 处 理 的 挑 战 第 一 ， 处 理 程 序 由 客 户 提 供 ， 我 们 不 知 道 客 户 在 程 序 里 做 了 什 么 事 情 ， 也 不 知 道 客 户 的 程 序 会 使 用 多 少 资 源 ， 这 意 味 着 我 们 至 少 要 做 两 点 ：
一 是 安 全 性 ， 不 能 访 问 到 别 的 资 源 ， 二 是 隔 离 性 ， 单 个 程 序 不 能 无 限 制 使 用 资 源 。 第 二 ， 业 务 规 模 不 确 定 性 ， 无 法 估 算 量 有 多 大 。 这 个 带 来 的 挑 战 是 业 务 可 伸 缩 性 ， 需 要 客 户 可 控 。 基 于 这 三 个 需 求 ： 安 全 性 、 隔 离 性 、 可 伸 缩 性 ， D o c k e r   非 常 适 合 这 个 业 务 场 景 ， 整 个 自 定 义 数 据 处 理 在   1 4   年 开 始 基 于   D o c k e r   实 现 。 图   5 图   5   是 自 定 义 数 据 处 理 的 业 务 流 程 ： 第 一 ， 用 户 要 创 建 一 个 自 定 义 数 据 处 理 ， 即 注 册 一 个   U F O P 。 第 二 ， 用 户 在 本 机 上 开 发 自 定 义 数 据 处 理 程 序 。 开 发 这 个 程 序 要 遵 循 七 牛   U F O P   范 式 。 第 三 ， 把 这 个 程 序 提 交 一 个 构 建 版 本 。 第 四 ， 切 换 到 这 个 版 本 ， 设 置 实 例 数 。 实 例 启 动 后 ， 该     U F O P   就 可 以 访 问 了 。 这 是 迭 代 的 ， 有 一 个 箭 头 直 接 指 回 开 发 自 定 义 数 据 处 理 程 序 ， 意 味 着 升 级 程 序 、 构 建 另 一 个 新 版 本 、 切 换 到 新 版 本 实 例 的 一 个 过 程 。 业 务 流 程 业 务 流 程 - 注 册 注 册 图   6 图   6   是 注 册 的 过 程 ， 第 一 个   q u f o p c t l   是 客 户 端 工 具 ， 第 二 个 是   r e g   注 册 ， 第 三 个   u f o p - d e m o   是 名 字 ， 最 后   - m   2   是 模 式 ， 支 持 私 有 和 公 有 模 式 。
图   7 图   7   是 自 定 义 数 据 处 理 后 端 注 册 的 流 程 ， q u f o p c t l   把 前 面 描 述 的 注 册 命 令 ， 发 到   u f o p - c o n t r o l l e r ， 它 会 进 一 步 走 鉴 权 服 务 ， 鉴 权 成 功 之 后 通 过 K e e p e r   服 务 存 盘 到   D B 。 注 册 成 功 后 ， 用 户 开 始 在 本 地 实 现   U F O P   应 用 。
图   8 图   8   左 边 是 一 个 最 小 的   U F O P   代 码 ， 简 单 来 说 就 是 在   U F O P   请 求 路 由 上 加 一 个   U F O P   请 求 ， 拿 到 待 处 理 文 件   U R L   后 下 载 对 应 文 件 ， 然 后 获 取 文 件 的 类 型 和 长 度 ， 并 作 为 结 果 返 回 。 右 上 角 是 我 们 定 义 的 一 个 描 述 性 文 件 。 2 0 1 4   年 ， 我 们 做 的 时 候   D o c k e r   还 没 有 那 么 火 ， 所 以 没 有 直 接 用   D o c k e r f i l e ， 而 是 自 己 定 义 描 述 模 式 。 第 一 行 是 引 用 源 ； 第 二 行 是 构 建 脚 本 ， 把 外 面 的 程 序 改 成 可 写 ； 第 三 是 执 行 ， 怎 么 执 行 这 个 程 序 。 右 下 角 是 要 打 包 成   t a r   包 的 本 地 目 录 。 业 务 流 程 业 务 流 程 - 构 建 构 建 图   9 如 图   9   所 示 为 构 建 命 令 ， 是 把 本 地 的 程 序 上 传 到 服 务 端 ， 并 构 建 一 个 版 本 。 图   1 0
图   1 0   是 构 建 的 后 端 。 整 个 后 端 的 过 程 如 下 ： q u f o p c t l   把 程 序   t a r   包 上 传 到   K o d o ， 发 起 构 建 请 求 ， 再 把 构 建 请 求 转 发 到 构 建 机 器 ， 接 着 把   U F O P   描 述 文 件 转 化 为   D o c k e r f i l e ， 基 于   D o c k e r f i l e   构 建   D o c k e r   i m a g e ， 最 后 推 送 到   D o c k e r   R e g i s t r y 。 下 面 是 构 建 后 端 我 们 踩 过 的 一 些 小 坑 。 使 用 使 用   D e b i a n   镜 像 服 务 镜 像 服 务 原 先 使 用   A p p R o x ， 是   D e b i a n   包 下 载 、 缓 存 服 务 ， 但 实 际 上 经 常 下 载 超 时 ， 而 且 下 载 出 错 后 ， 自 己 没 办 法 辨 别 本 地 文 件 存 在 问 题 ， 需 要 手 动 清 除 ， 比 较 糟 糕 。 后 来 ， 搭 建 了 一 个 镜 像 源 。 镜 像 源 的 做 法 是 首 次 全 量 下 载 ， 全 部 下 载 完 毕 后 ， 设 置 一 个 定 时 增 量 同 步 的 时 间 ， 在 凌 晨 ， 一 天 一 次 ， 每 天 更 新 的 量 只 有 几 十 兆 ， 几 分 钟 便 可 完 成 。 从 此 ， 再 也 没 有 出 现 过 这 方 面 的 问 题 。 避 免 避 免   D o c k e r   构 建 缓 存 构 建 缓 存   图   1 1 D o c k e r   的 构 建 缓 存 比 较 容 易 出 错 。 图   1 1   第 一 个 是 错 误 用 法 ： 第 一 步 ， 下 载 一 个   j d k   的 压 缩 包 ， 第 二 步 ， 创 建 一 个 目 录 ， 将 压 缩 包 解 压 到 这 个 目 录 ， 并 且 把 原 来 的 压 缩 包 删 除 。 分 了 两 条 命 令 ， 但 是 容 器 其 实 会 对 每 一 条 命 令 做 缓 存 。 假 如 我 们 第 一 次 运 行 这 两 条 命 令 时 是 没 有 问 题 的 。 第 二 次 运 行 时 ， 我 们 觉 得 第 二 条 命 令 中   O P T   目 录 不 好 ， 想 到 另 外 一 个 目 录 ， 于 是 对 第 二 条 语 句 做 了 更 改 ， 那 么 就 会 出 问 题 。 为 什 么 ？ 因 为 第 一 条 命 令 没 有 任 何 变 化 ， 所 以 容 器 构 建 系 统 认 为 ， 没 有 任 何 的 变 化 就 不 去 执 行 ， 于 是 直 接 跑 第 二 条 命 令 ， 第 二 条 在 前 一 次 执 行 时 ， 已 经 将 压 缩 包 删 除 ， 因 此 会 跑 失 败 。 这 种 错 误 很 容 易 犯 ， 解 决 方 法 是 把 压 缩 包 的 下 载 、 目 录 的 创 建 、 解 压 缩 和 删 除 压 缩 包 ， 都 放 在 同 一 条 命 令 里 。 当 这 条 命 令 被 修 改 后 ， 每 次 都 会 重 新 执 行 ， 就 不 会 出 现 这 个 问 题 了 。 调 整 实 例 数 调 整 实 例 数   图     1 2
图   1 3 接 下 来 是 调 整 实 例 数 ， 前 面 已 经 构 建 完 成 ， 程 序 已 经 上 传 到 服 务 器 端 。 q u f o p c t l   r e s i z e   u f o p - d e m o   - n   3 ， 这 条 命 令 会 增 加   3   个 实 例 。 整 个 后 端 的 过 程 如 图   1 3   所 示 ， q u f o p c l t   发 送 请 求 到   u f o p - c o n t r o l l e r ， 中 心 调 度 器   S c h e d u l e r   下 面 有 很 多 个   n o d e ， 运 行 着 我 们 实 现 的   D a e m o n 服 务 ， 所 有 容 器 都 是 由   s c h e d u l e r   下 发 给 某 个   D a e m o n ， 这 些   D a e m o n   启 动 对 应 的 容 器 。 D a e m o n   会 把 所 在 机 器 剩 余 资 源 的 情 况 ， 包 括 C P U 、 内 存 和 磁 盘 ， 实 时 报 给   S c h e d u l e r ， S c h e d u l e r   会 根 据 实 例 的 规 格 要 求 、 找 到 相 应 满 足 要 求 的   n o d e 。 这 些 容 器 实 例 创 建 成 功 后 ， D a e m o n   会 把 具 体 的 端 口 信 息 返 回 到   S c h e d u l e r ， S c h e d u l e r   再 通 过   K e e p e r   服 务 持 久 化 ， 这 样 就 结 束 了 。   D o c k e r   R e g i s t r y   是   D o c k e r   的 镜 像 仓 库 。 升 级 实 例 升 级 实 例 图   1 4 到 前 面 这 一 步 ， U F O P   已 经 运 行 起 来 并 且 可 以 使 用 ， 如 图   1 4   所 示 为 升 级 实 例 的 过 程 。 我 们 有 一 个   U p g r a d e   的 命 令 ， - r   是 一 个 实 例 ， 现 在 要 做 的 是 升 级 前 两 个 实 例 ， 后 端 会 发 生 什 么 事 情 呢 ？
图   1 5 图   1 5   所 示 为 一 个 灰 度 升 级 阶 段 。 首 先 原 始 阶 段 有 三 个 实 例 ， 假 设 每 个 版 本 都 是   V 1 ， 现 在 要 升 级 两 个 实 例 ， 后 端 的 做 法 是 增 加 两 个 实 例 ， 实 例   4   和 实 例   5 ， 这 两 个 对 应 的 版 本 是   V 2 ， 图   1 5   中 橙 色 部 分 。 等   V 4   和   V 5   彻 底 被 启 动 后 ， 我 们 将 老 的 实 例 删 除 ， 它 的 结 果 是 原 来 的 一 个   V 1 , 两 个   V 2 ， 整 体 灰 度 升 级 过 程 就 是 这 样 子 。 有 些 细 节 值 得 注 意 ： 第 一 ， 新 实 例   W a r m U p ， 往 往 刚 开 始 很 多 内 部 组 件 没 有 初 始 化 ， 像 内 存 池 、 线 程 池 、 连 接 池 需 要 初 始 化 ， 所 以 初 始 请 求 处 理 得 往 往 比 较 慢 ， 但 是 又 不 能 不 发 请 求 ， 因 为 不 发 请 求 永 远 热 不 起 来 。 做 法 是 设 定 预 热 时 间 段 ， 定 时 间 段 的 权 重 ， 保 证 在 这 个 时 间 段 预 热 好 之 后 就 承 担 正 常 的 流 量 。 第 二 ， 老 实 例   C o o l D o w n 。 如 果 直 接 删 除 老 实 例 ， 对 服 务 的 可 用 性 没 有 影 响 ， 因 为 老 的 请 求 正 在 被 处 理 。 做 法 是 ： 使 用   D o c k e r   S t o p W a i t ， 当 用   D o c k e r   S t o p   停 止 一 个 容 器 时 ， 它 默 认 的 行 为 是 先 发 一 个   S I G T E R M ， 如 果 不 指 定   S t o p W a i t   时 间 ， 就 会 马 上 发 一 个   S I G K I L L   信 号 ， 这 样 你 的 容 器 将 被 直 接 杀 死 。 若 一 个 容 器 正 在 处 理 请 求 ， 那 么 我 们 希 望 能 有 一 段 时 间 让 我 们 将 请 求 处 理 完 后 ， 优 雅 的 关 闭 ， 否 则 会 影 响 可 用 性 。 所 以 使 用 这 个 命 令 时 ， 可 以 设 置   S t o p W a i t   时 间 ， 若 等 待 超 过 设 置 的 时 间 ， 却 发 现 容 器 没 有 优 雅 关 闭 ， 再 发   S I G K I L L   信 号 。 另 外 在 业 务 层 面 ， 老 实 例 在   C o o l D o w n   时 ， 应 该 设 成 一 个 关 闭 中 的 状 态 ， 避 免 新 的 请 求 再 打 进 去 。 第 三 ， 保 留 足 够 的 计 算 冗 余 。 这 个 是 如 何 考 虑 的 呢 ？ 因 为 升 级 需 要 考 虑 步 长 ， 如 果 升 级 的 步 长 大 于 计 算 的 冗 余 实 例 数 ， 意 味 着 剩 余 的 等 待 实 例 会 承 担 更 多 的 请 求 ， 多 于 预 期 的 请 求 会 影 响 服 务 的 质 量 ， 因 为 请 求 的 时 间 会 变 长 。 所 以 选 用 的 升 级 步 长 应 该 小 于 冗 余 的 实 例 数 。 数 据 流 数 据 流
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理