搜索

[25602] 2016-10-15_如何设计稳定性横跨全球的Cron服务

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-10-15_如何设计稳定性横跨全球的Cron服务 如 何 设 计 稳 定 性 横 跨 全 球 的   C r o n   服 务 译 者 刘 阳 龙 H e r m a n   L i n u x 中 国   2 0 1 6 - 1 0 - 1 5 编 译 自 ： h t t p s : / / q u e u e . a c m . o r g / d e t a i l . c f m ? i d = 2 7 4 5 8 4 0   作 者 ：   Š t ě p á n   D a v i d o v i č ,   K a v i t a   G u l i a n i 转 载 自 ：   h t t p s : / / s e g m e n t f a u l t . c o m / a / 1 1 9 0 0 0 0 0 0 7 1 4 6 0 4 5   译 者 ：   刘 阳 龙 H e r m a n 本 文 导 航 - 可 靠 性 （ R e l i a b i l i t y ） - C r o n   的 任 务 和 幂 等 性 - 大 规 模 部 署   C r o n - 扩 展 基 础 架 构 - 需 求 扩 展 - G o o g l e   的   C r o n   是 如 何 建 设 的 - 跟 踪   C r o n   任 务 的 状 态 - 使 用   P a x o s - 主 节 点 和 从 节 点 角 色 - 主 节 点 - 从 节 点 - 故 障 恢 复 - 状 态 保 存 - 运 行 一 个 大 型 的   C r o n - 总 结 这 篇 文 章 主 要 来 描 述 下   G o o g l e   是 如 何 实 现 一 套 可 靠 的 分 布 式   C r o n   服 务 ， 服 务 于 内 部 那 些 需 要 绝 大 多 数 计 算 作 业 定 时 调 度 的 团 队 。   在 这 个 系 统 的 实 践 过 程 中 ， 我 们 收 获 了 很 多 ， 包 括 如 何 设 计 、 如 何 实 现 使 得 它 看 上 去 像 一 个 靠 谱 的 基 础 服 务 。   在 这 里 ， 我 们 来 讨 论 下 分 布 式   C r o n   可 能 会 遇 到 哪 些 问 题 ， 以 及 如 何 解 决 它 。 C r o n   是   U N I X   中 一 个 常 见 的 工 具 ， 用 来 定 期 执 行 一 些 用 户 指 定 的 任 意 任 务 。 我 们 先 来 分 析 下   C r o n   的 基 本 原 则 和 它 最 常 见 的 实 现 ， 然 后 我 们 来 回 顾 下 像   C r o n   这 样 的 服 务 应 该 如 何 运 行 在 一 个 大 型 的 、 分 布 式 的 环 境 中 ， 这 样 即 使 单 机 故 障 也 不 会 对 系 统 可 用 性 造 成 影 响 。   我 们 将 会 介 绍 了 一 个 建 立 在 少 量 机 器 上 的   C r o n   系 统 ， 然 后 结 合 数 据 中 心 的 调 度 服 务 ， 从 而 可 以 在 整 个 数 据 中 心 中 运 行   C r o n   任 务 。 在 我 们 在 描 述 如 何 运 行 一 个 靠 谱 的 分 布 式   C r o n   服 务 之 前 ， 让 我 们 先 来 从 一 个   S R E   的 角 度 来 回 顾 下   C r o n 。
C r o n   是 一 个 通 用 的 工 具 ， 无 论 是 管 理 员 还 是 普 通 用 户 都 可 以 用 它 来 在 系 统 上 运 行 指 定 的 命 令 ， 以 及 指 定 何 时 运 行 命 令 ， 这 些 指 定 运 行 的 命 令 可 以 是 定 期 垃 圾 回 收 ， 也 可 以 是 定 期 数 据 分 析 。   最 常 见 的 时 间 指 定 格 式 被 称 为   ， 它 不 仅 支 持 简 单 的 时 间 周 期 （ 如 ， 每 天 中 午 一 次 ， 每 个 小 时 一 次 ） ， 也 支 持 较 复 杂 的 时 间 周 期 ， 如 每 个 周 六 、 每 个 月 的 第   3 0   天 等 等 。 C r o n   通 常 只 包 含 一 个 组 件 ， 被 称 为   ， 它 是 一 个 后 台 守 护 程 序 ， 加 载 所 有 需 要 运 行 的   c r o n   定 时 任 务 ， 根 据 它 们 接 下 来 的 运 行 时 间 来 进 行 排 序 ， 然 后 这 个 守 护 进 程 将 会 等 待 直 到 第 一 个 任 务 开 始 执 行 。 在 这 个 时 刻 ，   将 会 加 载 执 行 这 个 任 务 ， 之 后 将 它 放 入 队 列 等 待 下 一 次 运 行 。 R e l i a b i l i t y 可 靠 性 可 靠 性 从 可 靠 性 的 角 度 来 看 一 个 服 务 ， 需 要 有 很 多 注 意 的 地 方 。 第 一 ， 比 如   ， 它 的 故 障 域 本 质 上 来 说 只 是 一 台 机 器 ， 如 果 这 个 机 器 没 有 运 行 ， 不 论 是   c r o n   调 度 还 是 加 载 的 任 务 都 是 不 可 运 行 的 。 因 此 ， 考 虑 一 个 非 常 简 单 的 分 布 式 的 例 子   — — —   我 们 使 用 两 台 机 器 ， 然 后   c r o n   调 度 在 其 中 一 台 机 器 上 运 行 任 务 （ 比 如 通 过 s s h ） 。 然 后 产 生 了 一 个 故 障 域 了 ： 调 度 任 务 和 目 标 服 务 器 都 可 能 失 败 。 另 外 一 个 需 要 注 意 的 地 方 是 ， 即 使 是     重 启 （ 包 括 服 务 器 重 启 ） ， 上 面 部 署 的     配 置 也 不 应 该 丢 失 。   执 行 一 个 任 务 然 后 就 ‘ 忘 记 ’ 了 这 个 任 务 的 状 态 ， 它 并 不 会 尝 试 去 跟 踪 这 个 任 务 的 执 行 状 态 ， 包 括 是 否 该 执 行 是 否 已 经 执 行 。   是 一 个 例 外 ， 它 是     的 一 个 补 充 ， 它 尝 试 运 行 哪 些 因 为 服 务 器 宕 机 而 应 该 执 行 却 没 执 行 的 任 务 。 这 仅 限 于 每 日 或 者 更 小 执 行 频 率 的 任 务 ， 但 对 于 在 工 作 站 和 笔 记 本 电 脑 上 运 行 维 护 工 作 非 常 有 用 。 通 过 维 护 一 个 包 括 最 后 执 行 时 间 的 配 置 文 件 ， 使 得 运 行 这 些 特 殊 的 任 务 更 加 方 便 。 C r o n   的 任 务 和 幂 等 性 的 任 务 和 幂 等 性 C r o n   的 任 务 用 来 执 行 定 期 任 务 ， 但 是 除 此 之 外 ， 却 很 难 在 进 一 步 知 道 它 们 的 功 能 。 让 我 们 先 把 要 讨 论 的 主 题 抛 开 一 边 ， 现 在 先 来 就   C r o n   任 务 本 身 来 做 下 探 讨 ， 因 为 只 有 理 解 了   C r o n   任 务 的 各 种 各 样 的 需 求 ， 才 能 知 道 它 是 如 何 影 响 我 们 需 要 的 可 靠 性 要 求 ， 而 这 一 方 面 的 探 讨 也 将 贯 穿 接 下 来 的 文 章 。 c r o n t a b c r o n d c r o n d c r o n d c r o n d c r o n t a b c r o n d a n a c r o n c r o n t a b
有 一 些   C r o n   任 务 是 幂 等 性 的 ， 这 样 在 某 些 系 统 故 障 的 情 况 下 ， 可 以 很 安 全 的 执 行 它 们 多 次 ， 比 如 ， 垃 圾 回 收 。 然 而 有 些 C r o n   任 务 却 不 应 该 被 执 行 多 次 ， 比 如 某 个 发 送 邮 件 的 任 务 。 还 有 更 复 杂 的 情 况 ， 有 些   C r o n   任 务 允 许 因 为 某 些 情 况 而 “ 忘 了 ” 运 行 ， 而 某 些   C r o n   任 务 却 不 能 容 忍 这 些 ， 比 如 ， 垃 圾 回 收 的   C r o n   任 务 每   5   分 钟 调 度 一 次 ， 即 使 某 一 次 没 有 执 行 也 不 会 有 太 大 的 问 题 ， 然 而 ， 一 个 月 一 次 的 支 付 薪 水 的 任 务 ， 却 绝 对 不 允 许 有 失 误 。 C r o n   任 务 的 各 种 不 同 的 类 型 使 得 不 可 能 有 一 个 通 用 的 解 决 方 案 ， 使 得 它 可 以 应 对 各 种 各 样 的 失 败 。 所 以 ， 在 本 文 中 上 面 说 的 那 些 情 况 ， 我 们 更 倾 向 于 错 过 某 一 次 的 运 行 ， 而 不 是 运 行 它 们 两 次 或 者 更 多 。 C r o n   任 务 的 所 有 者 应 该 （ 也 必 须 ） 监 控 着 它 们 的 任 务 ， 比 如 返 回 任 务 的 调 用 结 果 ， 或 者 单 独 发 送 运 行 的 日 志 给 所 属 者 等 等 ， 这 样 ， 即 使 跳 过 了 任 务 的 某 次 执 行 ， 也 能 够 很 方 便 的 采 取 对 应 的 补 救 动 作 。 当 任 务 失 败 时 ， 我 们 更 倾 向 于 将 任 务 状 态 置 为   “ f a i l   c l o s e d ”   来 避 免 产 生 系 统 性 的 不 良 状 态 。 大 规 模 部 署 大 规 模 部 署   C r o n 当 从 单 机 到 集 群 部 署   C r o n   时 ， 需 要 重 新 思 考 如 何 使   C r o n   在 这 种 环 境 下 良 好 的 运 行 。 在 对   G o o g l e   的   C r o n   进 行 解 说 之 前 ， 让 我 们 先 来 讨 论 下 单 机 以 及 多 机 之 间 的 区 别 ， 以 及 针 对 这 变 化 如 何 设 计 。 扩 展 基 础 架 构 扩 展 基 础 架 构 常 规 的   C r o n   仅 限 于 单 个 机 器 ， 而 大 规 模 部 署 的   C r o n   解 决 方 案 不 能 仅 仅 绑 定 到 一 个 单 独 的 机 器 。 假 设 我 们 拥 有 一 个   1 0 0 0   台 服 务 器 的 数 据 中 心 ， 如 果 即 使 是   1 / 1 0 0 0   的 几 率 造 成 服 务 器 不 可 用 都 能 摧 毁 我 们 整 个   C r o n   服 务 ， 这 明 显 不 是 我 们 所 希 望 的 。 所 以 ， 为 了 解 决 这 个 问 题 ， 我 们 必 须 将 服 务 与 机 器 解 耦 。 这 样 如 果 想 运 行 一 个 服 务 ， 那 么 仅 仅 需 要 指 定 它 运 行 在 哪 个 数 据 中 心 即 可 ， 剩 下 的 事 情 就 依 赖 于 数 据 中 心 的 调 度 系 统 （ 当 然 前 提 是 调 度 系 统 也 应 该 是 可 靠 的 ） ， 调 度 系 统 会 负 责 在 哪 台 或 者 哪 些 机 器 上 运 行 服 务 ， 以 及 能 够 良 好 的 处 理 机 器 挂 掉 这 种 情 况 。   那 么 ， 如 果 我 们 要 在 数 据 中 心 中 运 行 一 个 任 务 ， 也 仅 仅 是 发 送 一 条 或 多 条   R P C   给 数 据 中 心 的 调 度 系 统 。 然 而 ， 这 一 过 程 显 然 并 不 是 瞬 时 完 成 的 。 比 如 ， 要 检 查 哪 些 机 器 挂 掉 了 （ 机 器 健 康 检 查 程 序 挂 了 怎 么 办 ） ， 以 及 在 另 外 一 些 机 器 上 重 新 运 行 任 务 （ 服 务 依 赖 重 新 部 署 重 新 调 用 任 务 ） 都 是 需 要 花 费 一 定 时 间 的 。 将 程 序 转 移 到 另 外 一 个 机 器 上 可 能 意 味 着 损 失 一 些 存 储 在 老 机 器 上 的 一 些 状 态 信 息 （ 除 非 也 采 用 动 态 迁 移 ） ， 重 新 调 度 运 行 的 时 间 间 隔 也 可 能 超 过 最 小 定 义 的 一 分 钟 ， 所 以 ， 我 们 也 必 须 考 虑 到 上 述 这 两 种 情 况 。 一 个 很 直 接 的 做 法 ， 将 状 态 文 件 放 入 分 布 式 文 件 系 统 ， 如   G F S ， 在 任 务 运 行 的 整 个 过 程 中 以 及 重 新 部 署 运 行 任 务 时 ， 都 是 用 它 来 记 录 使 用 相 关 状 态 。   然 而 ， 这 个 解 决 方 案 却 不 能 满 足 我 们 预 期 的 时 效 性 这 个 需 求 ， 比 如 ， 你 要 运 行 一 个 每 五 分 钟 跑 一 次 的   C r o n   任 务 ， 重 新 部 署 运 行 消 耗 的   1 - 2   分 钟 对 这 个 任 务 来 说 也 是 相 当 大 的 延 迟 了 。 及 时 性 的 需 求 可 能 会 促 使 各 种 热 备 份 技 术 的 使 用 ， 这 样 就 能 够 快 速 记 录 状 态 以 及 从 原 有 状 态 快 速 恢 复 。 需 求 扩 展 需 求 扩 展
将 服 务 部 署 在 数 据 中 心 和 单 服 务 器 的 另 一 个 实 质 性 的 区 别 是 ， 如 何 规 划 任 务 所 需 要 的 计 算 资 源 ， 如   C P U   或 内 存 等 。 单 机 服 务 通 常 是 通 过 进 程 来 进 行 资 源 隔 离 ， 虽 然 现 在   D o c k e r   变 得 越 来 越 普 遍 ， 但 是 使 用 它 来 隔 离 一 切 目 前 也 不 太 是 很 通 用 的 做 法 ， 包 括 限 制     以 及 它 所 要 运 行 的 任 务 。 大 规 模 部 署 在 数 据 中 心 经 常 使 用 容 器 来 进 行 资 源 隔 离 。 隔 离 是 必 要 的 ， 因 为 我 们 肯 定 希 望 数 据 中 心 中 运 行 的 某 个 程 序 不 会 对 其 它 程 序 产 生 不 良 影 响 。 为 了 隔 离 的 有 效 性 ， 在 运 行 前 肯 定 得 先 预 知 运 行 的 时 候 需 要 哪 些 资 源 — — 包 括   C r o n   系 统 本 身 和 要 运 行 的 任 务 。 这 又 会 产 生 一 个 问 题 ， 即 如 果 数 据 中 心 暂 时 没 有 足 够 的 资 源 ， 那 么 这 个 任 务 可 能 会 延 迟 运 行 。 这 就 要 求 我 们 不 仅 要 监 控   C r o n   任 务 加 载 的 情 况 ， 也 要 监 控   C r o n   任 务 的 全 部 状 态 ， 包 括 开 始 加 载 到 终 止 运 行 。 现 在 ， 我 们 希 望 的   C r o n   系 统 已 经 从 单 机 运 行 的 情 况 下 解 耦 ， 如 之 前 描 述 的 那 样 ， 我 们 可 能 会 遇 到 部 分 任 务 运 行 或 加 载 失 败 。 这 时 候 幸 亏 任 务 配 置 的 通 用 性 ， 在 数 据 中 心 中 运 行 一 个 新 的   C r o n   任 务 就 可 以 简 单 的 通 过   R P C   调 用 的 方 式 来 进 行 ， 不 过 不 幸 的 是 ， 这 样 我 们 只 能 知 道   R P C   调 用 是 否 成 功 ， 却 无 法 具 体 知 道 任 务 失 败 的 具 体 地 方 ， 比 如 ， 任 务 在 运 行 的 过 程 中 失 败 ， 那 么 恢 复 程 序 还 必 须 将 这 些 中 间 过 程 处 理 好 。 在 故 障 方 面 ， 数 据 中 心 远 比 一 台 单 一 的 服 务 器 复 杂 。 C r o n   从 原 来 仅 仅 的 一 个 单 机 二 进 制 程 序 ， 到 整 个 数 据 中 心 运 行 ， 其 期 间 增 加 了 很 多 明 显 或 不 明 显 的 依 赖 关 系 。 作 为 像   C r o n   这 样 的 一 个 基 础 服 务 ， 我 们 希 望 得 到 保 证 的 是 ， 即 使 在 数 据 中 心 中 运 行 发 生 了 一 些   “ F a i l ” （ 如 ， 部 分 机 器 停 电 或 存 储 挂 掉 ） ， 服 务 依 然 能 够 保 证 功 能 性 正 常 运 行 。 为 了 提 高 可 靠 性 ， 我 们 应 该 将 数 据 中 心 的 调 度 系 统 部 署 在 不 同 的 物 理 位 置 ， 这 样 ， 即 使 一 个 或 一 部 分 电 源 挂 掉 ， 也 能 保 证 至 少   C r o n   服 务 不 会 全 部 不 可 用 。 G o o g l e   的 的   C r o n   是 如 何 建 设 的 是 如 何 建 设 的 现 在 让 我 们 来 解 决 这 些 问 题 ， 这 样 才 能 在 一 个 大 规 模 的 分 布 式 集 群 中 部 署 可 靠 的   C r o n   服 务 ， 然 后 在 着 重 介 绍 下   G o o g l e   在 分 布 式   C r o n   方 面 的 一 些 经 验 。 跟 踪 跟 踪   C r o n   任 务 的 状 态 任 务 的 状 态 向 上 面 描 述 过 的 那 样 ， 我 们 应 该 跟 踪   C r o n   任 务 的 实 时 状 态 ， 这 样 ， 即 使 失 败 了 ， 我 们 也 更 加 容 易 恢 复 它 。 而 且 ， 这 种 状 态 的 一 致 性 是 至 关 重 要 的 ： 相 比 错 误 的 多 运 行   1 0   遍 相 同 的   C r o n   任 务 ， 我 们 更 能 接 受 的 是 不 去 运 行 它 。 回 想 下 ， 很 多   C r o n   任 务 ， 它 并 不 是 幂 等 性 的 ， 比 如 发 送 通 知 邮 件 。 我 们 有 两 个 选 项 ， 将   C r o n   任 务 的 数 据 通 通 存 储 在 一 个 靠 谱 的 分 布 式 存 储 中 ， 或 者 仅 仅 保 存 任 务 的 状 态 。 当 我 们 设 计 分 布 式 C r o n   服 务 时 ， 我 们 采 取 的 是 第 二 种 ， 有 如 下 几 个 原 因 ： 分 布 式 存 储 ， 如   G F S   或   H D F S ， 往 往 用 来 存 储 大 文 件 （ 如   网 页 爬 虫 程 序 的 输 出 等 ） ， 然 后 我 们 需 要 存 储 的   C r o n 状 态 却 非 常 非 常 小 。 将 如 此 小 的 文 件 存 储 在 这 种 大 型 的 分 布 式 文 件 系 统 上 是 非 常 昂 贵 的 ， 而 且 考 虑 到 分 布 式 文 件 系 统 的 延 迟 ， 也 不 是 很 适 合 。 像   C r o n   服 务 这 种 基 础 服 务 ， 它 需 要 的 依 赖 应 该 是 越 少 越 好 。 这 样 ， 即 使 部 分 数 据 中 心 挂 掉 ， C r o n   服 务 至 少 也 能 保 证 其 功 能 性 并 持 续 一 段 时 间 。 这 并 不 意 味 着 存 储 应 该 直 接 是   C r o n   程 序 的 一 部 分 （ 这 本 质 上 是 一 个 实 现 细 节 ） 。 C r o n   应 该 是 一 个 能 够 独 立 c r o n d
运 作 的 下 游 系 统 ， 以 便 供 用 户 操 作 使 用 。 使 用 使 用   P a x o s 我 们 部 署 多 个 实 例 的   C r o n   服 务 ， 然 后 通 过   P a x o s   算 法 来 同 步 这 些 实 例 间 的 状 态 。 P a x o s   算 法 和 它 其 它 的 替 代 算 法 （ 如   Z a b ， R a f t   等 ） 在 分 布 式 系 统 中 是 十 分 常 见 的 。 具 体 描 述   P a x o s   不 在 本 文 范 围 内 ， 它 的 基 本 作 用 就 是 使 多 个 不 可 靠 节 点 间 的 状 态 保 持 一 致 ， 只 要 大 部 分   P a x o s   组 成 员 可 用 ， 那 么 整 个 分 布 式 系 统 ， 就 能 作 为 一 个 整 体 处 理 状 态 的 变 化 。 分 布 式   C r o n   使 用 一 个 独 立 的 主 任 务 ， 见 下 图 ， 只 有 它 才 能 更 改 共 享 的 状 态 ， 也 只 有 它 才 能 加 载   C r o n   任 务 。 我 们 这 里 使 用 了   P a x o s   的 一 个 变 体 — —   F a s t   P a x o s ， 这 里   F a s t   P a x o s   的 主 节 点 也 是   C r o n   服 务 的 主 节 点 。 如 果 主 节 点 挂 掉 ， P a x o s   的 健 康 检 查 机 制 会 在 秒 级 内 快 速 发 现 ， 并 选 举 出 一 个 新 的 主 节 点 。 一 旦 选 举 出 新 的 主 节 点 ， C r o n 服 务 也 就 随 着 选 举 出 了 一 个 新 的   C r o n   主 节 点 ， 这 个 新 的   C r o n   主 节 点 将 会 接 手 前 一 个 主 节 点 留 下 的 所 有 的 未 完 成 的 工 作 。 在 这 里   C r o n   的 主 节 点 和   P a x o s   的 主 节 点 是 一 样 的 ， 但 是   C r o n   的 主 节 点 需 要 处 理 一 下 额 外 的 工 作 而 已 。 快 速 选 举 新 的 主 节 点 的 机 制 可 以 让 我 们 大 致 可 以 容 忍 一 分 钟 的 故 障 时 间 。 我 们 使 用   P a x o s   算 法 保 持 的 最 重 要 的 一 个 状 态 是 ， 哪 些   C r o n   任 务 在 运 行 。 对 于 每 一 个 运 行 的   C r o n   任 务 ， 我 们 会 将 其 加 载 运 行 的 开 始 以 及 结 束 同 步 给 一 定 数 量 的 节 点 。 主 节 点 和 从 节 点 角 色 主 节 点 和 从 节 点 角 色 如 上 面 描 述 的 那 样 ， 我 们 在   C r o n   服 务 中 使 用   P a x o s   并 部 署 ， 其 拥 有 两 个 不 同 的 角 色 ， 主 节 点 以 及 从 节 点 。 让 我 们 来 就 每 个 角 色 来 做 具 体 的 描 述 。 主 节 点 主 节 点 主 节 点 用 来 加 载   C r o n   任 务 ， 它 有 个 内 部 的 调 度 系 统 ， 类 似 于 单 机 的   ， 维 护 一 个 任 务 加 载 列 表 ， 在 指 定 的 时 间 加 载 任 务 。 当 任 务 加 载 的 时 刻 到 来 ， 主 节 点 将 会   “ 宣 告 ”   它 将 会 加 载 这 个 指 定 的 任 务 ， 并 且 计 算 这 个 任 务 下 次 的 加 载 时 间 ， 就 像   c r o n d c r o n d
  的 做 法 一 样 。 当 然 ， 就 像   c r o n d   那 样 ， 一 个 任 务 加 载 后 ， 下 一 次 的 加 载 时 间 可 能 人 为 的 改 变 ， 这 个 变 化 也 要 同 步 给 从 节 点 。 简 单 的 标 识   C r o n   任 务 还 不 够 ， 我 们 还 应 该 将 这 个 任 务 与 开 始 执 行 时 间 相 关 联 绑 定 ， 以 避 免   C r o n   任 务 在 加 载 时 发 生 歧 义 （ 特 别 是 那 些 高 频 的 任 务 ， 如 一 分 钟 一 次 的 那 些 ） 。 这 个 “ 通 告 ” 通 过   P a x o s   来 进 行 。 下 图 展 示 了 这 一 过 程 。 保 持   P a x o s   通 讯 同 步 非 常 重 要 ， 只 有   P a x o s   法 定 数 收 到 了 加 载 通 知 ， 这 个 指 定 的 任 务 才 能 被 加 载 执 行 。 C r o n   服 务 需 要 知 道 每 个 任 务 是 否 已 经 启 动 ， 这 样 即 使 主 节 点 挂 掉 ， 也 能 决 定 接 下 来 的 动 作 。 如 果 不 进 行 同 步 ， 意 味 着 整 个   C r o n   任 务 运 行 在 主 节 点 ， 而 从 节 点 无 法 感 知 到 这 一 切 。 如 果 发 生 了 故 障 ， 很 有 可 能 这 个 任 务 就 被 再 次 执 行 ， 因 为 没 有 节 点 知 道 这 个 任 务 已 经 被 执 行 过 了 。 C r o n   任 务 的 完 成 状 态 通 过   P a x o s   通 知 给 其 它 节 点 ， 从 而 保 持 同 步 ， 这 里 要 注 意 一 点 ， 这 里 的 “ 完 成 ”   状 态 并 不 是 表 示 任 务 是 成 功 或 者 失 败 。 我 们 跟 踪   C r o n   任 务 在 指 定 调 用 时 间 被 执 行 的 情 况 ， 我 们 同 样 需 要 处 理 一 点 情 况 是 ， 如 果   C r o n   服 务 在 加 载 任 务 进 行 执 行 的 过 程 中 失 败 后 怎 么 办 ， 这 点 我 们 在 接 下 来 会 进 行 讨 论 。 主 节 点 另 一 个 重 要 的 特 性 是 ， 不 管 是 出 于 什 么 原 因 主 节 点 失 去 了 其 主 控 权 ， 它 都 必 须 立 马 停 止 同 数 据 中 心 调 度 系 统 的 交 互 。 主 控 权 的 保 持 对 于 访 问 数 据 中 心 应 该 是 互 斥 了 。 如 果 不 这 样 ， 新 旧 两 个 主 节 点 可 能 会 对 数 据 中 心 的 调 度 系 统 发 起 互 相 矛 盾 的 操 作 请 求 。 从 节 点 从 节 点 从 节 点 实 时 监 控 从 主 节 点 传 来 的 状 态 信 息 ， 以 便 在 需 要 的 时 刻 做 出 积 极 响 应 。 所 有 主 节 点 的 状 态 变 动 信 息 ， 都 通 过   P a x o s 传 到 各 个 从 节 点 。 和 主 节 点 类 似 的 是 ， 从 节 点 同 样 维 持 一 个 列 表 ， 保 存 着 所 有 的   C r o n   任 务 。 这 个 列 表 必 须 在 所 有 的 节 点 保 持 一 致 （ 当 然 还 是 通 过   P a x o s ） 。 当 接 到 加 载 任 务 的 通 知 后 ， 从 节 点 会 将 此 任 务 的 下 次 加 载 时 间 放 入 本 地 任 务 列 表 中 。 这 个 重 要 的 状 态 信 息 变 化 （ 这 是 同 步 完 成 的 ） 保 证 了 系 统 内 部   C r o n   作 业 的 时 间 表 是 一 致 的 。 我 们 跟 踪 所 有 有 效 的 加 载 任 务 ， 也 就 是 说 ， 我 们 跟 踪 任 务 何 时 启 动 ， 而 不 是 结 束 。 如 果 一 个 主 节 点 挂 掉 或 者 因 为 某 些 原 因 失 联 （ 比 如 ， 网 络 异 常 等 ） ， 一 个 从 节 点 有 可 能 被 选 举 成 为 一 个 新 的 主 节 点 。 这 个 选 举 的 过 程 必 须 在 一 分 钟 内 运 行 ， 以 避 免   C r o n   任 务 丢 失 的 情 况 。 一 旦 被 选 举 为 主 节 点 ， 所 有 运 行 的 加 载 任 务 （ 或 部 分 失 败 的 ） ， 必 须 被 重 新 验 证 其 有 效 性 。 这 个 可 能 是 一 个 复 杂 的 过 程 ， 在   C r o n   服 务 系 统 和 数 据 中 心 的 调 度 系 统 上 都 需 要 执 行 这 样 c r o n d
的 验 证 操 作 ， 这 个 过 程 有 必 要 详 细 说 明 。 故 障 恢 复 故 障 恢 复 如 上 所 述 ， 主 节 点 和 数 据 中 心 的 调 度 系 统 之 间 会 通 过   R P C   来 加 载 一 个 逻 辑   C r o n   任 务 ， 但 是 ， 这 一 系 列 的   R P C   调 用 过 程 是 有 可 能 失 败 的 ， 所 以 ， 我 们 必 须 考 虑 到 这 种 情 况 ， 并 且 处 理 好 。 回 想 下 ， 每 个 加 载 的   C r o n   任 务 会 有 两 个 同 步 点 ： 开 始 加 载 以 及 执 行 完 成 。 这 能 够 让 我 们 区 分 开 不 同 的 加 载 任 务 。 即 使 任 务 加 载 只 需 要 调 用 一 次   R P C ， 但 是 我 们 怎 么 知 道   R P C   调 用 实 际 真 实 成 功 呢 ？ 我 们 知 道 任 务 何 时 开 始 ， 但 是 如 果 主 节 点 挂 了 我 们 就 不 会 知 道 它 何 时 结 束 。 为 了 解 决 这 个 问 题 ， 所 有 在 外 部 系 统 进 行 的 操 作 ， 要 么 其 操 作 是 幂 等 性 的 （ 也 就 是 说 ， 我 们 可 以 放 心 的 执 行 它 们 多 次 ） ， 要 么 我 们 必 须 实 时 监 控 它 们 的 状 态 ， 以 便 能 清 楚 的 知 道 何 时 完 成 。 这 些 条 件 明 显 增 加 了 限 制 ， 实 现 起 来 也 有 一 定 的 难 度 ， 但 是 在 分 布 式 环 境 中 这 些 限 制 却 是 保 证   C r o n   服 务 准 确 运 行 的 根 本 ， 能 够 良 好 的 处 理 可 能 出 现 的   “ f a i l ” 。 如 果 不 能 妥 善 处 理 这 些 ， 将 会 导 致   C r o n   任 务 的 加 载 丢 失 ， 或 者 加 载 多 次 重 复 的   C r o n   任 务 。 大 多 数 基 础 服 务 在 数 据 中 心 （ 比 如   M e s o s ） 加 载 逻 辑 任 务 时 都 会 为 这 些 任 务 命 名 ， 这 样 方 便 了 查 看 任 务 的 状 态 ， 终 止 任 务 ， 或 者 执 行 其 它 的 维 护 操 作 。 解 决 幂 等 性 的 一 个 合 理 的 解 决 方 案 是 将 执 行 时 间 放 在 名 字 中   — — 这 样 不 会 在 数 据 中 心 的 调 度 系 统 里 造 成 任 务 异 变 操 作   — —   然 后 在 将 它 们 分 发 给   C r o n   服 务 所 有 的 节 点 。 如 果   C r o n   服 务 的 主 节 点 挂 掉 ， 那 么 新 的 主 节 点 只 需 要 简 单 的 通 过 预 处 理 任 务 名 字 来 查 看 其 对 应 的 状 态 ， 然 后 加 载 遗 漏 的 任 务 即 可 。 注 意 下 ， 我 们 在 节 点 间 保 持 内 部 状 态 一 致 的 时 候 ， 实 时 监 控 调 度 加 载 任 务 的 时 间 。 同 样 ， 我 们 也 需 要 消 除 同 数 据 中 心 调 度 交 互 时 可 能 发 生 的 不 一 致 情 况 ， 所 以 这 里 我 们 以 调 度 的 加 载 时 间 为 准 。 比 如 ， 有 一 个 短 暂 但 是 频 繁 执 行 的   C r o n   任 务 ， 它 已 经 被 执 行 了 ， 但 是 在 准 备 把 情 况 通 告 给 其 它 节 点 时 ， 主 节 点 挂 了 ， 并 且 故 障 时 间 持 续 的 特 别 长 — — 长 到 这 个   C r o n   任 务 都 已 经 成 功 执 行 完 了 。 然 后 新 的 主 节 点 要 查 看 这 个 任 务 的 状 态 ， 发 现 它 已 经 被 执 行 完 成 了 ， 然 后 尝 试 加 载 它 。 如 果 包 含 了 这 个 时 间 ， 那 么 主 节 点 就 会 知 道 ， 这 个 任 务 已 经 被 执 行 过 了 ， 就 不 会 重 复 执 行 第 二 次 。 在 实 际 实 施 的 过 程 中 ， 状 态 监 督 是 一 个 更 加 复 杂 的 工 作 ， 它 的 实 现 过 程 和 细 节 依 赖 与 其 它 一 些 底 层 的 基 础 服 务 ， 然 而 ， 上 面 并 没 有 包 括 相 关 系 统 的 实 现 描 述 。 根 据 你 当 前 可 用 的 基 础 设 施 ， 你 可 能 需 要 在 冒 险 重 复 执 行 任 务 和 跳 过 执 行 任 务   之 间 做 出 折 中 选 择 。 状 态 保 存 状 态 保 存 使 用   P a x o s   来 同 步 只 是 处 理 状 态 中 遇 到 的 其 中 一 个 问 题 。 P a x o s   本 质 上 只 是 通 过 一 个 日 志 来 持 续 记 录 状 态 改 变 ， 并 且 随 着 状 态 的 改 变 而 进 行 将 日 志 同 步 。 这 会 产 生 两 个 影 响 ： 第 一 ， 这 个 日 志 需 要 被 压 缩 ， 防 止 其 无 限 增 长 ； 第 二 ， 这 个 日 志 本 身 需 要 保 存 在 一 个 地 方 。 为 了 避 免 其 无 限 增 长 ， 我 们 仅 仅 取 状 态 当 前 的 快 照 ， 这 样 ， 我 们 能 够 快 速 的 重 建 状 态 ， 而 不 用 在 根 据 之 前 所 有 状 态 日 志 来 进 行 重 演 。 比 如 ， 在 日 志 中 我 们 记 录 一 条 状 态   “ 计 数 器 加   1 ” ， 然 后 经 过 了   1 0 0 0   次 迭 代 后 ， 我 们 就 记 录 了   1 0 0 0   条 状 态 日 志 ， 但 是 我 们 也 可 以 简 单 的 记 录 一 条 记 录   “ 将 计 数 器 设 置 为   1 0 0 0 ” 来 做 替 代 。
如 果 日 志 丢 失 ， 我 们 也 仅 仅 丢 失 当 前 状 态 的 一 个 快 照 而 已 。 快 照 其 实 是 最 临 界 的 状 态   — —   如 果 丢 失 了 快 照 ， 我 们 基 本 上 就 得 从 头 开 始 了 ， 因 为 我 们 丢 失 了 上 一 次 快 照 与 丢 失 快 照 期 间 所 有 的 内 部 状 态 。 从 另 一 方 面 说 ， 丢 失 日 志 ， 也 意 味 着 ， 将 C r o n   服 务 拉 回 到 有 记 录 的 上 一 次 快 照 所 标 示 的 地 方 。 我 们 有 两 个 主 要 选 择 来 保 存 数 据 :   存 储 在 外 部 的 一 个 可 用 的 分 布 式 存 储 服 务 中 ， 或 者 ， 在 内 部 一 个 系 统 来 存 储   C r o n   服 务 的 状 态 。 当 我 们 设 计 系 统 时 ， 这 两 点 都 需 要 考 虑 。 我 们 将   P a x o s   日 志 存 储 在   C r o n   服 务 节 点 所 在 服 务 器 本 地 的 磁 盘 中 。 默 认 的 三 个 节 点 意 味 着 ， 我 们 有 三 份 日 志 的 副 本 。 我 们 同 样 也 将 快 照 存 储 在 服 务 器 本 身 ， 然 而 ， 因 为 其 本 身 是 非 常 重 要 的 ， 我 们 也 将 它 在 分 布 式 存 储 服 务 中 做 了 备 份 ， 这 样 ， 即 使 小 概 率 的 三 个 节 点 机 器 都 故 障 了 ， 也 能 够 服 务 恢 复 。 我 们 并 没 有 将 日 志 本 身 存 储 在 分 布 式 存 储 中 ， 因 为 我 们 觉 得 ， 丢 失 日 志 也 仅 仅 代 表 最 近 的 一 些 状 态 丢 失 ， 这 个 我 们 其 实 是 可 以 接 受 的 。 而 将 其 存 储 在 分 布 式 存 储 中 会 带 来 一 定 的 性 能 损 失 ， 因 为 它 本 身 在 不 断 的 小 字 节 写 入 不 适 用 与 分 布 式 存 储 的 使 用 场 景 。 同 时 三 台 服 务 器 全 故 障 的 概 率 太 小 ， 但 是 一 旦 这 种 情 况 发 生 了 ， 我 们 也 能 自 动 的 从 快 照 中 恢 复 ， 也 仅 仅 损 失 从 上 次 快 照 到 故 障 点 的 这 部 分 而 已 。 当 然 ， 就 像 设 计   C r o n   服 务 本 身 一 样 ， 如 何 权 衡 ， 也 要 根 据 自 己 的 基 础 设 施 情 况 来 决 定 。 将 日 志 和 快 照 存 本 地 ， 以 及 快 照 在 分 布 式 存 储 备 份 ， 这 样 ， 即 使 一 个 新 的 节 点 启 动 ， 也 能 够 通 过 网 络 从 其 它 已 经 运 行 的 节 点 处 获 取 这 些 信 息 。 这 意 味 着 ， 启 动 节 点 与 服 务 器 本 身 并 没 有 任 何 关 系 ， 重 新 安 排 一 个 新 的 服 务 器 （ 比 如 重 启 ） 来 担 当 某 个 节 点 的 角 色   其 本 质 上 也 是 影 响 服 务 的 可 靠 性 的 问 题 之 一 。 运 行 一 个 大 型 的 运 行 一 个 大 型 的   C r o n 还 有 一 些 其 它 的 、 小 型 的 ， 但 是 同 样 有 趣 的 一 些 情 况 或 能 影 响 部 署 一 个 大 型 的   C r o n   服 务 。 传 统 的   C r o n   规 模 很 小 ： 最 多 包 含 数 十 个   C r o n   任 务 。 然 而 ， 如 果 在 一 个 数 据 中 心 的 超 过 千 台 服 务 器 来 运 行   C r o n   服 务 ， 那 么 你 就 会 遇 到 各 种 各 样 的 问 题 。 一 个 比 较 大 的 问 题 是 ， 分 布 式 系 统 常 常 要 面 临 的 一 个 经 典 问 题 ： 惊 群 问 题 ， 在   C r o n   服 务 的 使 用 中 会 造 成 大 量 的 尖 峰 情 况 。 当 要 配 置 一 个 每 天 执 行 的   C r o n   任 务 ， 大 多 数 人 第 一 时 间 想 到 的 是 在 半 夜 执 行 ， 然 后 它 们 就 这 么 配 置 了 。 如 果 一 个   C r o n   任 务 在 一 台 机 器 上 执 行 ， 那 没 有 问 题 ， 但 是 如 果 你 的 任 务 是 执 行 一 个 涉 及 数 千   w o r k e r   的   m a p r e d u c e   任 务 ， 或 者 ， 有   3 0   个 不 同 的 团 队 在 数 据 中 心 中 要 配 置 这 样 的 一 个 每 天 运 行 的 任 务 ， 那 么 我 们 就 必 须 要 扩 展 下     的 格 式 了 。 传 统 的   ， 用 户 通 过 定 义 “ 分 钟 ” ， “ 小 时 ” ， “ 每 月 （ 或 每 周 ） 第 几 天 ” ， “ 月 数 ” 来 指 定   c r o n   任 务 运 行 的 时 间 ， 或 者 通 过 星 号 （ ） 来 代 表 每 个 对 应 的 值 。 如 ， 每 天 凌 晨 运 行 ， 它 的   c r o n t a b   格 式 为 ， 代 表 每 天 的   0   点   0   分 运 行 。 我 们 在 此 基 础 之 上 还 推 出 了 问 号 （ ） 这 个 符 号 ， 它 标 示 ， 在 这 个 对 应 的 时 间 轴 上 ， 任 何 时 间 都 可 以 ， C r o n   服 务 就 会 自 由 选 择 合 适 的 值 ， 在 指 定 的 时 间 段 内 随 机 选 择 对 应 的 值 ， 这 样 使 任 务 运 行 更 均 衡 。 如   ， 表 示 每 天   0 - 2 3   点 钟 ， 随 机 一 个 小 时 的   0   分 来 运 行 这 个 任 务 。 c r o n t a b c r o n t a b * 0   0   *   *   * ？ 0   ？   *   *   *
尽 管 加 了 这 项 变 化 ， 由   C r o n   任 务 所 造 成 的   l o a d   值 仍 然 有 明 显 的 尖 峰 ， 下 图 表 示 了   G o o g l e   中   c r o n   任 务 加 载 的 数 量 。 尖 峰 值 往 往 表 示 那 些 需 要 固 定 频 率 在 指 定 时 间 运 行 的 任 务 。 总 结 总 结 C r o n   服 务 作 为   U N I X   的 基 础 服 务 已 经 有 接 近   1 0   年 。 当 前 整 个 行 业 都 朝 着 大 型 分 布 式 系 统 演 化 ， 那 时 ， 表 示 硬 件 的 最 小 单 位 将 会 是 数 据 中 心 ， 那 么 大 量 的 技 术 栈 需 要 对 应 改 变 ， C r o n   也 不 会 是 例 外 。 仔 细 审 视 下   C r o n   服 务 所 需 要 的 服 务 特 性 ， 以 及   C r o n   任 务 的 需 求 ， 都 会 推 动 我 们 来 进 行 新 的 设 计 。 基 于   G o o g l e   的 解 决 方 案 ， 我 们 已 经 讨 论 了   C r o n   服 务 在 一 个 分 布 式 系 统 中 对 应 的 约 束 和 可 能 的 设 计 。 这 个 解 决 方 案 需 要 在 分 布 式 环 境 中 的 强 一 致 性 保 证 ， 它 的 实 现 核 心 是 通 过   P a x o s   这 样 一 种 通 用 的 算 法 ， 在 一 个 不 可 靠 的 环 境 中 达 成 最 终 一 致 。 使 用   P a x o s ， 正 确 对 大 规 模 环 境 下   C r o n   任 务 失 败 情 况 的 分 析 ， 以 及 分 布 式 的 环 境 的 使 用 ， 共 同 造 就 了 在   G o o g l e   内 部 使 用 的 健 壮 的   C r o n   服 务 。 编 译 自 ： h t t p s : / / q u e u e . a c m . o r g / d e t a i l . c f m ? i d = 2 7 4 5 8 4 0   作 者 ：   Š t ě p á n   D a v i d o v i č ,   K a v i t a   G u l i a n i 转 载 自 ：   h t t p s : / / s e g m e n t f a u l t . c o m / a / 1 1 9 0 0 0 0 0 0 7 1 4 6 0 4 5   译 者 ：   刘 阳 龙 H e r m a n 推 荐 文 章 推 荐 文 章 滑 动 查 看 更 多
输 入 文 章   I D   或 长 按 二 维 码 直 达 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理