搜索

[25484] 2016-09-14_「脉脉」基础架构迁移实战：拯救大兵瑞恩

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2016-09-14_「脉脉」基础架构迁移实战：拯救大兵瑞恩 「 脉 脉 」 基 础 架 构 迁 移 实 战 ： 拯 救 大 兵 瑞 恩 U C l o u d   混 合 云   L i n u x 中 国   2 0 1 6 - 0 9 - 1 4 写 在 前 面 写 在 前 面 彼 时 ， 脉 脉   C E O   林 凡 一 篇 《 脉 脉 失 联 的 十 五 个 小 时 脉 脉 失 联 的 十 五 个 小 时 》 引 发 了 业 内 舆 论 的 普 遍 关 注 。 今 天 ， 脉 脉 已 全 部 迁 移 至   U C l o u d   云 计 算 北 京   B G P   机 房 。 这 场 由 传 统   I D C   向 混 合 云 转 型 的 精 彩 迁 移 实 战 ， 让 我 们 看 到 睿 智 而 挑 剔 的 新 一 代 运 维 人 对 云 计 算 有 了 更 为 深 刻 的 认 知 ； 亦 引 发 了 我 们 对 「 拯 救 大 兵 瑞 恩 」 中 ， 「 尊 重 每 一 个 生 命 」 理 念 的 全 新 思 考 。 回 顾 ： 脉 脉 失 联 的 十 五 个 小 时 回 顾 ： 脉 脉 失 联 的 十 五 个 小 时 7   月   2 8   日 凌 晨   ， 北 京 。 0 3 ： 0 4 ， 脉 脉 的 服 务 器 网 络 传 输 遭 到 严 重 破 坏 ， 整 个 机 群 连 不 上 网 络 ， 所 有 报 警 措 施 都 失 效 （ 包 括 短 信 ） ； 0 7 ： 3 0 ， 脉 脉 热 心 用 户 短 信 咨 询 失 联 问 题 ； . . . . . 默 默 等 待 . . . . . . 1 2 ： 0 0 ， 无 法 等 待 ， 紧 急 联 系 机 房 ， 制 定 搬 迁 方 案 ， 提 出 机 器 下 架 申 请 ， 但 考 虑 到 搬 迁 也 得 耗 费 十 几 个 小 时 ， 综 合 考 量 后 把 搬 迁 D e a d l i n e   定 在 了 1 8 ： 0 0 ； . . . . . . 默 默 等 待 . . . . . . 1 8 ： 0 0 ， 协 商 一 致 ， 完 成 网 络 恢 复 。 此 时 ， 脉 脉 失 联 已 经 整 整   1 5   个 小 时 。 同 时 ， 因 脉 脉 基 础 架 构 的 整 个 机 群 完 全 连 不 上 网 ， 所 有 常 规 的 报 警 措 施 （ 如 消 息 推 送 和 短 信 报 警 ） 都 失 效 了 ， 导 致 其 会 员 无 法 收 到 此 次 故 障 的 有 效 通 知 。 无 数 的 用 户 都 在 微 信 、 微 博 、 知 乎 上 反 馈 脉 脉 无 法 登 录 了 。 一 位 一 米 鲜 的 脉 脉 用 户 解 先 生 说 ： 「 早 上 一 起 床 刷 新 不 了 ， 退 出 重 新 登 录 ， 还 不 行 卸 载 重 新 安 装 ， 还 不 行 ， 微 信 问 朋 友 ， 后 来 又 问 脉 脉 工 作 人 员 。 一 天 整 个 人 都 不 好 了 ， 就 感 觉 身 体 一 下 被 掏 空 。 」 失 联 原 因 ： 脉 脉 原 失 联 原 因 ： 脉 脉 原 I D C 服 务 商 受 联 通 大 整 顿 影 响 服 务 商 受 联 通 大 整 顿 影 响 脉 脉 被 断 网 事 件 源 起 于 部 分 脉 脉 被 断 网 事 件 源 起 于 部 分 I D C 厂 商 的 不 规 范 运 营 。 厂 商 的 不 规 范 运 营 。 「 不 少 公 司 ， 以   I D C   业 务 的 名 义 从 运 营 商 申 请 到 低 价 的 骨 干 网 带 宽 ， 但 其 中 仅 有 一 部 分 带 宽 自 用 ， 而 另 一 部 分 则 分 批 出 售 给 一 些 第 三 方 宽 带 企 业 。 」 这 种 不 规 范 接 入 的 现 象 ， 被 称 为 「 流 量 穿 透 」 。 据 知 情 人 士 介 绍 ， 这 种 宽 带 价 差 生 意 有 一 个 非 常 大 的 产 业 链 ， 有 资 源 的 中 间 人 年 利 润 超 过 千 万 。
2 0 1 6   年   7   月 ， 中 国 联 通 正 式 发 布 了 《 规 范 互 联 网 接 入 及 大 带 宽 管 理 的 通 知 规 范 互 联 网 接 入 及 大 带 宽 管 理 的 通 知 》 ， 北 京 联 通 按 照 这 一 规 定 整 顿 旗 下   4 0   多 个   I D C   机 房 中 的 不 规 范 接 入 情 况 ， 大 批 不 合 规 接 入 均 被 断 网 ， 脉 脉 的 原   I D C   服 务 商 也 因 此 受 到 影 响 。 除 了 脉 脉 之 外 ， 还 有 一 大 批 互 联 网 公 司 因 此 受 到 波 及 ， 如 著 名 的   A   站 — — 自   8   月   4   日 至   6   日 ， 整 整 失 联 了   4 8   个 小 时 。 脉 脉 运 维 负 责 人 兔 子 ： 论 运 维 人 的 基 本 素 养 脉 脉 运 维 负 责 人 兔 子 ： 论 运 维 人 的 基 本 素 养 兔 子 ， 真 名 黄 华 平 ， 脉 脉 现 任 运 维 经 理 。 毕 业 于 清 华 大 学 ， 先 后 在 搜 狐 、 水 木 、 聚 美 担 任 过 重 要 的 技 术 角 色 。 受 同 样 毕 业 于 清 华 大 学 、 原 搜 狗 技 术 总 监 、 脉 脉   C E O   林 凡 师 兄 的 邀 请 ， 加 入 脉 脉 ， 以 一 人 之 力 ， 撑 起 了 这 家 发 展 迅 猛 的 独 角 兽 公 司 的 运 维 工 作 。 脉 脉 失 联 的   1 5   个 小 时 里 ， 兔 子 在 忙 什 么 ？ 什 么 都 没 干 。 什 么 都 没 干 。 「 干 啥 也 没 有 用 ， 我 们 做 了 很 多 事 情 ， 比 如 说 骂 娘 ， 这 个 显 然 没 有 用 。 」 兔 子 无 奈 地 吐 槽 道 ， 「 催   I D C ， 这 个 成 功 率   5 0 % 。 什 么 叫 成 功 率 5 0 %   呢 ？ 你   5 0 % 的 概 率 打 不 进 去 电 话 ， 因 为 他 们 电 话 已 经 被 打 爆 了 。 」 此 次 事 件 后 ， 实 力 躺 枪 的 兔 子 ， 在 某 关 于 容 灾 的 分 享 会 上 表 示 ： 「 运 维 的 基 本 职 业 素 养 就 是 ， 先 背 锅 ， 再 甩 锅 。 说 得 通 俗 一 点 就 是 ， 先 反 省 自 己 ， 透 彻 了 以 后 ， 如 有 必 要 ， 再 去 指 责 别 人 。 」 由 于 脉 脉 的 基 础 架 构 中 ， 采 用 海 量 的 内 存 来 维 系 人 脉 的 网 络 数 据 ， 导 致 其 多 机 房 的 容 灾 策 略 ， 相 对 于 一 般 应 用 要 有 挑 战 得 多 。 在 兔 子 的 规 划 中 ， 脉 脉 出 于 对 人 力 ， 成 本 ， 业 务 的 快 速 增 长 和 迭 代 ， 以 及 服 务 的 扩 展 性 、 高 可 用 性 之 间 平 衡 的 全 面 考 量 ， 多 机 房 容 灾 策 略 方 案 本 将 在 今 年 的   Q 4   落 地 实 施 ， 然 而 在 这 个 节 骨 眼 上 却 出 现 了 这 意 想 不 到 的 大 坑 。 被 断 网 事 故 发 生 后 ， 为 避 免 再 次 遇 到 不 能 有 效 通 知 用 户 的 情 况 ， 兔 子 在 事 后 立 刻 启 用 了 第 三 方 域 名 解 析 服 务 商   D N S P o d   的 企 业 服 务 ； 而 出 于 对 传 统   I D C   在 基 础 架 构 服 务 方 面 的 隐 忧 ， 兔 子 在   7   月   2 9   日 联 系 了   U C l o u d   云 计 算 。 连 提 连 提   1 0 0   多 个 技 术 问 题 ， 解 决 方 案 讨 论 超 过 多 个 技 术 问 题 ， 解 决 方 案 讨 论 超 过   1 5 0   页 页 7   月   2 9   日   下 午   1 4 ： 0 0 ， U C l o u d   技 术 支 持 团 队 来 到 脉 脉 总 部 ， 与 脉 脉 技 术 团 队 紧 锣 密 鼓 地 展 开 了 方 案 探 讨 。 兔 子 此 前 对 混 合 云 已 有 初 步 的 了 解 ， 这 一 次 深 度 接 触 ， 兔 子 以 资 深 运 维 工 程 师 的 独 到 视 角 ， 一 口 气 问 了   1 0 0   多 个 技 术 问 题 ， 包 括 网 络 拓 扑 交 流 ， 停 机 迁 移 方 案 ， 不 停 机 迁 移 方 案 ， 双   p o p   点 双 星 型 的 网 络 ， 以 及   U C l o u d   异 地 专 线 、 高 防 服 务 等 等 ， 几 乎 问 遍 了   U C l o u d   混 合 云 方 案 的 所 有 技 术 细 节 。 「 兔 子 有 着 运 维 工 程 师 该 有 的 挑 剔 与 骄 傲 。 」 U C l o u d   资 深 架 构 师 叶 仲 华 如 是 说 。 最 终 ， U C l o u d   既 能 充 分 利 用 脉 脉 的 现 有 I T 资 产 ， 又 能 同 时 输 出 公 有 云 的 各 项 特 性 的 混 合 云 技 术 方 案 获 得 了 挑 剔 的 兔 子 的 认 可 。 而 脉 脉 与   U C l o u d   混 合 云 技 术 方 案 的 讨 论 记 录 ， 在 不 知 不 觉 间 已 超 过 了   1 5 0   页 。 一 波 三 折 的 迁 移 ： 脉 脉 「 搬 家 」 ， 新 的 开 始 一 波 三 折 的 迁 移 ： 脉 脉 「 搬 家 」 ， 新 的 开 始 脉 脉 的 用 户 更 多 集 中 在 一 线 城 市 。 在 都 市 人 结 束 了 一 周 的 辛 苦 工 作 后 ， 周 六 的 凌 晨 ， 成 为 脉 脉 在 线 率 最 低 的 时 刻 ， 也 是 最 适 合 迁 移 的 时 机 。
然 而 由 于 种 种 「 难 以 名 状 」 的 原 因 阻 挠 ， 原 本 计 划   8   月   2 7   日 （ 周 六 ） 的 迁 移 ， 延 后 到 2 9 日 。 8   月   2 9   日 凌 晨 的 北 京 ， 夜 色 清 朗 ， 南 风 轻 拂 。 脉 脉 与   U C l o u d   针 对 整 个 过 程 着 手 制 定 迁 移 方 案 。 在 仔 细 核 对 了 每 个 时 间 段 的 安 排 ， 每 个 时 间 点 的 负 责 人 等 细 节 后 ， 双 方 齐 心 协 力 ， 有 条 不 紊 地 开 始 了 迁 移 工 作 。 服 务 器 分 批 下 架 ， 装 车 ， 运 送 到 新 机 房 ， 上 机 架 ， 插 线 ， 插 电 源 ， 开 机 ， 调 试 所 有 的 服 务 ， 确 认 数 据 没 有 问 题 。 在 所 有 人 的 努 力 下 ， 这 次 的 迁 移 最 终 顺 利 完 成 。 而 入 驻 这 个 全 新 的 家 ， 在 保 证 脉 脉 的 在 线 业 务 稳 定 运 行 的 同 时 ， 也 能 使 其 能 在 一 些 离 线 场 景 、 G P U   计 算 、 大 数 据 分 析 等 更 多 的 创 新 业 务 上 ， 向 云 端 做 更 多 的 探 索 。 U C l o u d   怎 么 看 「 脉 脉 」 迁 移 怎 么 看 「 脉 脉 」 迁 移 U C l o u d 内 部 也 对 此 次 混 合 云 的 合 作 做 了 进 一 步 的 复 盘 和 思 考 ： 1 、 、   运 维 ： 朕 对 基 础 架 构 有 了 新 想 法 ； 运 维 ： 朕 对 基 础 架 构 有 了 新 想 法 ；               传 统 传 统   I D C ： 可 是 臣 妾 做 不 到 啊 。 ： 可 是 臣 妾 做 不 到 啊 。 1 5   个 小 时 的 失 联 ， 对 于 一 家 拥 有 海 量 用 户 的 互 联 网 公 司 的 业 务 可 谓 灾 难 ， 事 件 背 后 暴 露 了 中 国 传 统   I D C   体 系 下 很 多 非 常 复 杂 的 问 题 。 由 于 新 一 代 运 维 人 挑 剔 的 自 我 要 求 ， 和 基 础 架 构 运 维 的 更 高 标 准 ， 大 量 传 统 的   I D C   企 业 正 在 加 速 分 化 和 淘 汰 。 在 这 个 过 程 中 ， 云 计 算 运 营 商 的 价 值 被 进 一 步 放 大 。 2 、 、   怎 样 才 算 对 一 个 运 维 最 基 本 的 尊 重 ？ 怎 样 才 算 对 一 个 运 维 最 基 本 的 尊 重 ？ 兔 子 在 脉 脉 自 己 的 自 留 地 写 道 ： 「 I D C   圈 子 这 两 年 的 无 序 扩 张 带 来 了 许 多 问 题 ， 同 质 化 ， 服 务 水 准 下 降 ， 恶 性 竞 争 等 等 。 我 可 以 理 解 销 售 同 学 们 的   K P I   可 能 的 确 要 通 过 堵 门 来 完 成 — — 但 是 你 们 理 解 过 我 么 ？ 对 待 一 个 技 术 人 员 ， 请 用 你 们 对 自 己 产 品 的 了 解 ， 用 你 们 特 色 的 服 务 ， 用 你 们 坚 不 可 摧 的 技 术 架 构 来 打 动 我 ， 而 不 是 请 吃 饭 洗 脚 塞 钱 ， 而 不 是 打 电 话 打 到 死 ， 约 见 面 锲 而 不 舍 ， 那 个 都 没 用 。 」 而 在   U C l o u d   看 来 ， 用 产 品 和 态 度 说 话 ， 让 每 一 个 细 节 超 出 预 期 ， 以 及 保 持 透 明 的 沟 通 ， 是 对 一 个 运 维 最 基 本 的 尊 重 。 3 、 每 一 个 用 户 ， 都 是 我 们 的 「 大 兵 瑞 恩 」 、 每 一 个 用 户 ， 都 是 我 们 的 「 大 兵 瑞 恩 」 兔 子 在 给   U C l o u d   的 寄 语 中 说 ， 希 望   U C l o u d   越 来 越 大 以 后 ， 依 然 能 像 现 在 一 样 ， 呈 现 同 样 的 态 度 与 服 务 。 其 实 ， 我 们 也 切 身 感 受 到 很 多 用 户 有 着 同 样 的 诉 求 。 因 为 他 们 从 心 里 上 不 希 望 需 求 被 忽 略 、 业 务 被 耽 搁 ， 所 以 他 们 特 别 期 待 ， 当   U C l o u d   越 来 越 大 之 后 ， 还 能 够 像 现 在 一 样 亲 密 无 间 。     这 让 我 们 想 起 一 部 美 国 电 影 — — 《 拯 救 大 兵 瑞 恩 》 ， 它 告 诉 我 们 ， 要 「 尊 重 每 一 个 生 命 」 。 而 对 于   U C l o u d   来 说 ， 则 是 要 尊 重 每 一 个 用 户 ， 让 每 一 个 用 户 都 能 获 得 业 内 最 高 的 服 务 标 准 和 绝 佳 体 验 。 这 样 的 价 值 理 念 ， 是   U C l o u d   和 其 他 巨 头 差 异 化 的 存 在 ， 是 需 要 时 刻 坚 守 的 荣 光 。
写 在 最 后 写 在 最 后 留 着 长 发 的 兔 子 ， 给 人 一 种 技 术 和 人 文 混 搭 的 风 骨 和 浪 漫 ， 他 在 《 写 于 脉 脉   7 . 2 8   断 网 事 件 十 二 天 后 》 里 写 道 ： 「 或 许 ， 在 不 久 的 未 来 ， 脉 脉 还 将 短 时 间 离 开 大 家 几 个 小 时 。 但 那 将 是 可 控 的 ， 在 一 个 初 秋 的 夜 里 ， 我 们 会 尽 全 力 守 护 着 脉 脉 ， 帮 她 找 到 温 暖 而 舒 适 的 新 家 。 而 当 朝 阳 从 通 州 的 方 向 升 起 （ 对 不 起 我 自 己 也 没 忍 住 笑 … … ） 的 时 候 ， 她 也 将 走 出 这 一 次 阴 霾 ， 以 一 个 更 加 优 雅 的 姿 态 为 各 位 可 爱 的 用 户 们 更 好 地 服 务 。 」 我 们 期 待 脉 脉 能 给 中 国 互 联 网 带 来 更 多 的 惊 喜 ！ 点 击 “ 阅 读 原 文 阅 读 原 文 ” 了 解 更 多   U C l o u d   混 合 云 混 合 云 详 情 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理