搜索

[25969] 2017-01-20_复盘京东金融2017年元旦闰秒处置方案

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-19
2017-01-20_复盘京东金融2017年元旦闰秒处置方案 - -   京 东 金 融 运 维 部 1 1 % 2 3 % 2 3 % 3 2 % 3 8 % 4 4 % 6 9 % 7 4 % 8 6 % 9 0 % 5 8 % 6 4 % 4 5 % 4 7 % 5 7 % 6 9 % 9 3 % 复 盘 京 东 金 融   2 0 1 7   年 元 旦 闰 秒 处 置 方 案 京 东 金 融 运 维 部   L i n u x 中 国   2 0 1 7 - 0 1 - 2 0 通 过 建 立 时 间 融 合 集 群 ， 同 步 复 杂 部 署 环 境 下 超 过   3 0 k   个 节 点 的 时 间 变 化 ， 将 其 步 调 一 致 的 变 慢   1   秒 。 避 免 了 时 间 变 化 的 不 连 续 和 由 于 闰 秒 机 制 带 来 的 潜 在   B U G 。 本 文 导 航 - 历 史 和 闰 秒 问 题 的 提 出 - 闰 秒 事 件 的 同 步 实 现 方 式 和 限 制 - 闰 秒 在   L i n u x   系 统 上 的 实 现 方 式 - 业 界 公 司 对 闰 秒 的 处 理 - 我 们 的 问 题 - 时 间 融 合 集 群 架 构 和 实 现 - 时 间 融 合 节 点 的 选 用 - 实 施 过 程 和 时 间 点 - 时 间 融 合 期 间 的 观 测 数 据 - 性 能 分 析 - 以 下 验 证 了 参 数   w a n d e r   对 时 间 同 步 效 果 的 影 响 - 总 结 测 试 数 据 如 下 - 架 构 和 硬 件 - 软 件 - 测 试 - 实 施 - 监 控 和 测 量 方 法 转 载 自 ：   h t t p : / / m p . w e i x i n . q q . c o m / s / r v Z J d 3 Q d C m 1 l P y j l H m D 3 d w   作 者 ：   京 东 金 融 运 维 部 丙 申 年 ， 庚 子 月 ， 戊 子 日 。 西 元 二 〇 一 七 年 元 日 ， 帝 都 霾 ， 不 禁 杀 。 从 立 秋 到 冬 至 ， 乃 决 大 辟 罪 之 季 。 柴 市 牌 楼 前 ， 人 头 涌 动 ， 听 说 今 日 要 处 决 一 重 犯 ， 大 家 都 拿 着 瓜 子 端 着 茶 壶 出 来 看 热 闹 。
十 字 路 口 上 ， 面 向 南 方 跪 着 一 位 蓬 头 垢 面 的 犯 人 ， 身 披 三 械 ， 背 后 斜 插 着 一 支 亡 命 牌 。 身 边 一 名 刽 子 手 ， 袒 胸 露 乳 ， 一 身 腱 子 肉 闪 着 黝 黑 的 光 亮 ， 双 手 端 着 一 把 鬼 头 刀 ， 寒 光 凌 厉 。 在 重 犯 身 后 五 丈 远 的 地 方 ， 放 置 着 一 具 长 案 ， 案 上 台 布 一 片 腥 红 ， 桌 上 还 放 着 一 筒 火 签 ， 旁 边 有 一 个 香 炉 ， 里 头 插 着 一 根 三 寸 长 的 檀 香 。 桌 后 四 仰 八 叉 慵 懒 闲 散 躺 着 一 位 监 斩 官 ， 不 停 用 嘴 吹 着 檀 香 ， 好 快 点 燃 完 。 太 阳 像 一 张 没 有 烙 熟 的 鸡 蛋 煎 饼 ， 无 力 地 透 过 厚 厚 的 雾 层 ， 耷 拉 在 圭 表 上 。 石 柱 的 影 子 虚 弱 地 投 在 坑 坑 洼 洼 的 石 板 上 ， 实 在 难 以 辨 认 现 在 是 几 时 几 刻 。 檀 香 还 剩 一 寸 的 时 候 ， 监 斩 官 已 经 失 去 耐 心 ， 猛 地 翻 起 身 来 ， 从 签 筒 里 胡 乱 抽 出 一 支 火 签 令 ， 扔 到 桌 前 面 的 地 上 ： 『 吉 时 已 到 ， 行 刑 』 。 刽 子 手 双 手 举 刀 过 头 ， 口 中 碎 碎 念 叨 ， 全 身 肌 肉 绷 得 紧 紧 地 ， 拧 腰 沉 肘 ， 一 道 青 霜 。 突 然 犯 人 仰 头 长 笑 几 声 ： 『 哈 哈 哈 哈 』 ， 惊 得 牌 楼 上 循 着 血 腥 味 来 觅 食 的 几 只 乌 鸦 扑 棱 棱 飞 起 。 刽 子 手 也 愣 了 一 下 ， 没 料 到 他 会 在 这 生 死 关 头 突 然 发 笑 ， 手 中 的 刀 自 然 也 就 没 有 再 落 下 来 。 监 斩 官 眯 着 眼 睛 道 ： 『 你 不 知 死 到 临 头 ， 为 甚 做 这 鬼 叫 声 ！ 』 犯 人 若 有 所 思 道 ： 『 看 来 专 家 说 得 没 错 ， 每 天 笑 一 笑 ， 可 以 延 长 寿 命 五 秒 钟 。 』 监 斩 官 道 ： 『 弱 爆 了 ， 专 家 的 话 你 也 信 ！ 你 难 道 不 知 ， 你 今 日 已 经 多 活 了 一 秒 ！ 』 犯 人 蒙 逼 道 ： 『 此 话 怎 讲 ？ 』 监 斩 官 鄙 夷 道 ： 『 闰 秒 ！ 』 历 史 和 闰 秒 问 题 的 提 出 最 初 ， 秒 是 依 据 地 球 绕 着 轴 自 转 和 绕 太 阳 的 公 转 ， 以 平 均 太 阳 日 的   1 / 8 6 4 0 0   来 定 义 （ 太 阳 时 ） 。 到 了   2 0   世 纪 中 叶 ， 很 明 显 的 ， 地 球 自 转 没 有 提 供 足 够 一 致 的 标 准 ， 于 是 在   1 9 5 6   年 改 以 绕 太 阳 轨 道 公 转 一 年 的 时 间 重 新 定 义 秒 。 在   1 9 6 7   年 ， 秒 又 被 以 物 理 学 的 属 性 再 一 次 重 新 定 义 ： 以 铯   1 3 3   的 振 荡 频 率 来 定 义 秒 ， 并 可 以 用 原 子 钟 来 测 量 。 地 球 自 转 变 慢 的 主 要 因 素 由 于 潮 汐 加 速 ， 其 他 因 素 主 要 是 地 球 质 量 的 分 布 不 均 匀 变 化 ， 包 括 冰 河 反 弹 ， 2 0 0 4   年 的 印 度 洋 地 震 使 其 缩 短   2 . 6 8   毫 秒 等 。 图   1   展 示 了 国 际 地 球 自 转 和 参 考 系 服 务 [ 1 ] （ I E R S ） 观 测 到 的 地 球 自 转 数 据 。
图   1 A   地 球 自 转 数 据 （ 3 D ）
图   1 B   地 球 自 转 数 据 （ 2 D ） L e a p   S e c o n d 闰 秒 是 在 协 调 世 界 时 （ U T C ） 中 增 加 或 减 少 一 秒 ， 从 而 使 之 与 平 太 阳 时 贴 近 所 做 的 调 整 。 闰 秒 由 国 际 地 球 自 转 和 参 考 系 服 务 [ 2 ] 发 布 ， 图   2   是 本 次 闰 秒 的 公 告 ：
图   2   本 次 闰 秒 的 公 告 在   2 0 1 6   年   1 2   月   3 1   日 ， h t t p : / / w w w . t i m e . g o v   展 现 了 这 次 闰 秒 （ 图   3 ） ：
图   3   h t t p : / / w w w . t i m e . g o v   展 现 了 这 次 闰 秒 而   2 0 1 5   年   6   月   3 0   日 的 闰 秒 事 件 ， 影 响 了 纽 约 股 票 交 易 所 、 多 种 互 联 网 路 由 器 、 T w i t t e r 、 I n s t a g r a m 、 N e t f l i x 、 A m a z o n 、 A l t e a 航 空 订 票 系 统 等 。 闰 秒 事 件 的 同 步 实 现 方 式 和 限 制 闰 秒 在   L i n u x   系 统 上 的 实 现 方 式 目 前 在   L i n u x   上 多 使 用   N T P   协 议 同 步 时 间 ， 在   N T P   的 数 据 包 中 包 含 闰 秒 标 志 位 。 在   N T P   时 间 同 步 部 署 正 确 的 情 况 下 ， 闰 秒 标 志 位 被 传 递 至 最 终 的 客 户 端 ， 并 设 置 在 内 核 中 ， 闰 秒 发 生 时 ， 在 系 统 中 将 出 现   2 3 : 5 9 : 6 0   这 样 的 时 间 ， 并 且 由 内 核 控 制 时 间 将 进 行 跳 跃   1   秒 ， 此 时 时 间 将 不 连 续 （ 图   4 ） 。 在   C e n t O S   中 由 于 历 史 原 因 和 系 统 的 复 杂 性 ， 闰 秒 问 题 变 得 更 为 复 杂 [ 3 ] ， 并 且 在 特 定 的 系 统 版 本 中 会 引 起 系 统 挂 起 [ 4 ] 、 高 系 统 负 载 [ 5 ] 等 内 核   B U G   等 现 象 。 图   4   内 核 控 制 时 间 跳 跃   1   秒 ， 此 时 时 间 将 不 连 续 n t p d   提 供 了   S l e w   模 式 （   参 数 ） ， 但 是 在 存 在 闰 秒 标 志 位 的 情 况 下 ， 仅 对 足 够 新 的   n t p d   版 本 才 有 效 果 [ 6 ] 。 在   S l e w   模 式 正 常 工 作 的 情 况 下 ， 系 统 时 间 的 变 化 仍 然 不 均 匀 ， 并 可 能 引 起 多 节 点 的 不 一 致 （ 图   5 ） 。 - x
图   5   系 统 时 间 的 变 化 仍 然 不 均 匀 ， 并 可 能 引 起 多 节 点 的 不 一 致 业 界 公 司 对 闰 秒 的 处 理 为 了 使 这   1   秒 的 同 步 连 续 且 均 匀 ， G o o g l e [ 7 ]   和   A m a z o n [ 8 ]   对 闰 秒 问 题 提 供 了 不 同 的 解 决 方 案 。 G o o g l e   的 解 决 方 法 是 修 改 内 部 的   S t r a t u m   2   时 间 服 务 器 软 件 以 进 行 “ 闰 秒 融 合 ” ， 在 闰 秒 事 件 发 生 后 均 匀 的 增 加 （ 或 减 少 ） 时 间 ： 其 中   ω   为 这 次 融 合 需 要 经 历 的 时 间 。 A m a z o n   的 解 决 方 法 是 均 匀 的 时 间 调 整 。 在 闰 秒 事 件 发 生 前   1 2   小 时 ， 以 每 秒   1 / 8 6 4 0 0   秒 的 步 调 ， 最 终 比   U T C   时 间 快   0 . 5 秒 ； 闰 秒 后 比   U T C   时 间 慢   0 . 5   秒 ， 在 闰 秒 后   1 2   个 小 时 再 以 每 秒   1 / 8 6 4 0 0   秒 的 步 调 追 赶   U T C   时 间 。   这 两 种 方 法 都 可 以 使 时 间 连 续 变 化 ， 并 且 使 客 户 端 不 会 因 时 间 同 步 服 务 的 突 然 变 化 而 丢 失 同 步 ， 或 者 选 择 其 他 的 时 间 源 ， 而 使 集 群 时 间 不 一 致 。 我 们 的 问 题 在   2 0 1 5   年 的 闰 秒 事 件 中 ， 我 们 经 历 了 由 闰 秒 带 来 的 各 种 系 统 和 软 件 问 题 。   在 我 们 的 生 产 环 境 中 ， 管 理 着 超 过   3 0 K   个 节 点 ， 位 于 不 同 地 理 位 置 的   I D C ， 它 们 使 用 内 部 的   S t r a t u m   2   时 间 源 同 步 。 这 些 节 点 配 置 有   n t p d   作 为 时 间 同 步 客 户 端 。 使 用 的 操 纵 系 统 版 本 包 括   C e n t O S   6 . 2   -   6 . 5   版 本 。 大 部 分   n t p d   客 户 端 版 本 为   n t p - 4 . 2 . 6 p 5 - 1 . e l 6 ，   m i n p o l l   和   m a x p o l l   参 数 使 用 默 认 的 配 置 ， 即 时 间 稳 定 后   1 0 2 4   秒 同 步 一 次 ， 时 间 变 化 频 率 不 超 过   5 0 0 P P M 。   由 于 操 作 系 统 环 境 的 多 样 性 ， 闰 秒 标 志 位 若 下 发 则 不 可 避 免 的 触 发 操 作 系 统 和 软 件 的   B U G ； 节 点 数 量 巨 大 ， 因 此 对 大 批 量 节 点 的 操 作 会 有 不 可 测 的 风 险 ； 同 时 考 虑 到 运 行 服 务 的 性 质 ， 因 为 是 在 跨 年 时 间 调 整 ， 提 前 调 整 时 间 可 能 会 对 业 务 逻 辑 产 生 影 响 。 我 们 决 定 不 下 发 闰 秒 标 志 位 ， 在 闰 秒 事 件 发 生 后 ， 采 用 事 件 发 生 后 缓 慢 调 整 的 方 式 进 行 。 时 间 融 合 集 群 架 构 和 实 现 架 构 和 硬 件 我 们 的   S t r a t u m   2   时 间 同 步 服 务 器 分 布 在   3   个   I D C ， 有   8   台 独 立 的 物 理 机 ， 他 们 使 用 互 联 网 上 的   4   个 相 互 独 立 的   S t r a t u m   1   时
间 源 和 内 部 的 两 台 铷 原 子 钟 授 时 时 间 服 务 器 作 为 时 间 同 步 标 准 。   位 于 多 个   I D C   的 环 境 ， 外 部 独 立 的 时 间 源 ， 内 部 低 延 迟 的 时 间 源 ， 使   S t r a t u m   2   时 间 服 务 器 可 以 稳 定 运 行 。 软 件 目 前 在   C e n t O S   系 列 操 作 系 统 上 可 以 选 择 的 时 间 同 步 软 件 有   n t p d 、 c h r o n y d 、 P T P 4 L 、 P H C 2 S Y S 。 P T P 4 L 、 P H C 2 S Y S   需 要 特 定 的 硬 件 结 构 进 行 同 步 ， 而   n t p d   在   s l e w   模 式 下 无 法 均 匀 同 步 时 间 。 c h r o n y d   作 为   C e n t O S   7   中 替 换   n t p d   的 方 案 ， 在   C e n t O S 7 . 2   和   6 . 8   中 的   c h r o n y   2 . 1   版 本 提 供 了 时 间 平 滑 变 化 的 方 法 [ 9 ] 。   c h r o n y d   的 时 间 平 滑 算 法 分 为 3 个 阶 段 。 第 一 阶 段 频 率 （ ） 以 固 定 比 率 （ ） 变 化 至 最 大 值 （ ） ； 第 二 阶 段 频 率 维 持 在 最 大 变 化 频 率 （ ） 足 够 的 时 间 ； 第 三 阶 段 频 率 由 再 以 固 定 比 率 （ ） 变 化 至   。 假 设 这 个 变 化 从 时 刻     开 始 ， 时 刻     完 成 第 一 阶 段 变 化 ， 时 刻     完 成 第 二 阶 段 变 化 ， 时 刻     完 成 第 三 阶 段 变 化 ： 以 此 方 式 变 化 ， 则 时 间 偏 移 为 ： 由 于 我 们 的 客 户 端 使 用   N T P   同 步 ， 它 的 最 大 允 许 频 率 变 化 为   5 0 0 P P M （ P P M   =   P a r t   P e r   M i l l i o n ， 1 0 - 6   秒 ） ， 而   5 0 0 P P M   的 变 化 反 映 在   1   天 的 区 间 ， 将 会 达 到   4 3   秒 。 因 此 在 时 间 调 整 过 程 中 ， 我 们 不 会 达 到 像   5 0 0 P P M   这 样 的 数 量 级 [ 1 0 ] 。 因 此 ， 以 上 公 式 变 为 ： f r e q u e n c y w a n d e r m a x _ f r e q m a x _ f r e q w a n d e r 0 0 a b b + a
测 试 测 试 集 群 包 括   1   个 节 点 作 为 时 间 调 整 源 （ S t r a t u m   1 ， 时 间 手 动 调 整 ） ， 3   台 时 间 融 合 节 点 （ S t r a t u m   2 ， c h r o n y d ） ， 连 接 至 时 间 融 合 节 点 的   S t r a t u m   3   节 点 （ n t p d ） 和 连 接 到 以 上 节 点 的   S t r a t u m   4   节 点 （ n t p d ） 。 以 下 验 证 了 参 数   w a n d e r   对 时 间 同 步 效 果 的 影 响 W a n d e r = 0 . 0 0 1 p p m （ 图   6 ， 图   7 ） ： 图   6
图   7 w a n d e r = 0 . 0 0 2 p p m （ 图   8 、 图   9 ） ： 图   8
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理