搜索

[23140] 2014-10-01_GitHub是如何迁移MySQL集群的

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2014-10-01_GitHub是如何迁移MySQL集群的 G i t H u b   是 如 何 迁 移   M y S Q L   集 群 的 L i n u x 中 国   2 0 1 4 - 1 0 - 0 1 在   G i t H u b   我 们 总 是 说 “ 如 果 网 站 响 应 速 度 不 够 快 ， 我 们 就 不 应 该 让 它 上 线 运 营 ” 。 我 们 之 前 在 前 端 的 体 验 速 度 这 篇 文 章 中 介 绍 了 一 些 提 高 网 站 响 应 速 率 的 方 法 ， 但 这 只 是 故 事 的 一 部 分 。 真 正 影 响 到 G i t H u b . c o m   性 能 的 因 素 是   M y S Q L   数 据 库 架 构 。 让 我 们 来 瞧 瞧 我 们 的 基 础 架 构 团 队 是 如 何 无 缝 升 级 了 M y S Q L   架 构 吧 ， 这 事 儿 发 生 在 去 年 8 月 份 ， 成 果 就 是 大 大 提 高 了   G i t H u b   网 站 的 速 度 。 任 务 去 年 我 们 把   G i t H u b   上 的 大 部 分 数 据 移 到 了 新 的 数 据 中 心 ， 这 个 中 心 有 世 界 顶 级 的 硬 件 资 源 和 网 络 平 台 。 自 从 使 用 了   M y S Q L   作 为 我 们 的 后 端 系 统 的 基 础 ， 我 们 一 直 期 望 着 一 些 改 进 来 大 大 提 高 数 据 库 性 能 ， 但 是 在 数 据 中 心 使 用 全 新 的 硬 件 来 部 署 一 套 全 新 的 集 群 环 境 并 不 是 一 件 简 单 的 工 作 ， 所 以 我 们 制 定 了 一 套 计 划 和 测 试 工 作 ， 以 便 数 据 能 平 滑 过 渡 到 新 环 境 。 准 备 工 作 像 我 们 这 种 关 于 架 构 上 的 巨 大 改 变 ， 在 执 行 的 每 一 步 都 需 要 收 集 数 据 指 标 。 新 机 器 上 安 装 好 了 基 本 的 操 作 系 统 ， 接 下 来 就 是 测 试 新 配 置 下 的 各 种 性 能 。 为 了 模 拟 真 实 的 工 作 负 载 环 境 ， 我 们 使 用   t c p d u m p   工 具 从 旧 的 集 群 那 里 复 制 正 在 发 生 的   S E L E C T   请 求 ， 并 在 新 集 群 上 重 新 回 放 一 遍 。 M y S Q L   调 优 是 个 繁 琐 的 细 致 活 ， 像 众 所 周 知 的   i n n o d b b u f f e r p o o l s i z e   这 个 参 数 往 往 能 对   M y S Q L   性 能 产 生 巨 大 的 影 响 。 对 于 这 类 参 数 ， 我 们 必 须 考 虑 在 内 ， 所 以 我 们 列 了 一 份 参 数 清 单 ， 包 括   i n n o d b t h r e a d c o n c u r r e n c y ， i n n o d b i o c a p a c i t y ， 和   i n n o d b b u f f e r p o o l i n s t a n c e s ， 还 有 其 它 的 。 在 每 次 测 试 中 ， 我 们 都 很 小 心 地 只 改 变 一 个 参 数 ， 并 且 让 一 次 测 试 至 少 运 行 1 2 小 时 。 我 们 会 观 察 响 应 时 间 的 变 化 曲 线 ， 每 秒 的 响 应 次 数 ， 以 及 有 可 能 会 导 致 并 发 性 降 低 的 参 数 。 我 们 使 用   “ S H O W   E N G I N E   I N N O D B   S T A T U S ”   命 令 打 印   I n n o D B   性 能 信 息 ， 特 别 观 察 了 “ S E M A P H O R E S ”   一 节 的 内 容 ， 它 为 我 们 提 供 了 工 作 负 载 的 状 态 信 息 。
当 我 们 在 设 置 参 数 后 对 运 行 结 果 感 到 满 意 ， 然 后 就 开 始 将 我 们 最 大 的 数 据 表 格 之 一 迁 移 到 一 套 独 立 的 集 群 上 ， 这 个 步 骤 作 为 整 个 迁 移 过 程 的 早 期 测 试 ， 以 保 证 我 们 的 核 心 集 群 有 更 多 的 缓 存 池 空 间 ， 并 且 为 故 障 切 换 和 存 储 功 能 提 供 更 强 的 灵 活 性 。 这 步 初 始 迁 移 方 案 也 引 入 了 一 个 有 趣 的 挑 战 ： 我 们 必 须 维 持 多 条 客 户 连 接 ， 并 且 要 将 这 些 连 接 指 向 到 正 确 的 集 群 上 。 除 了 硬 件 性 能 的 提 升 ， 还 需 要 补 充 一 点 ， 我 们 同 时 也 对 处 理 进 程 和 拓 扑 结 构 进 行 了 改 进 ： 我 们 添 加 了 延 时 拷 贝 技 术 ， 更 快 、 更 高 频 地 备 份 数 据 ， 以 及 更 多 的 读 拷 贝 空 间 。 这 些 功 能 已 经 准 备 上 线 。 列 出 任 务 清 单 ， 三 思 后 行 每 天 有 上 百 万 用 户 的 使 用   G i t H u b . c o m ， 我 们 不 可 能 有 机 会 等 没 有 人 用 了 才 进 行 实 际 数 据 切 换 。 我 们 有 一 个 详 细 的 任 务 清 单 来 执 行 迁 移 ： 我 们 还 规 划 了 一 个 维 护 期 ， 并 且 在 我 们 的 博 客 中 通 知 了 大 家 ， 让 用 户 注 意 到 这 件 事 情 。 迁 移 时 间 到 太 平 洋 时 间 星 期 六 上 午 5 点 ， 我 们 的 迁 移 团 队 上 线 集 合 对 话 ， 同 时 数 据 迁 移 正 式 开 始 ：
我 们 将   G i t H u b   网 站 设 置 为 维 护 模 式 ， 并 在   T w i t t e r   上 发 表 声 明 ， 然 后 开 始 按 上 述 任 务 清 单 的 步 骤 开 始 工 作 ： 1 3   分 钟 分 钟 后 ， 我 们 确 保 新 的 集 群 能 正 常 工 作 ： 然 后 我 们 让   G i t H u b . c o m   脱 离 维 护 模 式 ， 并 且 让 全 世 界 的 用 户 都 知 道 我 们 的 最 新 状 态 ：
大 量 前 期 的 测 试 工 作 与 准 备 工 作 ， 让 我 们 将 维 护 期 缩 到 最 短 。 检 验 最 终 的 成 果 在 接 下 来 的 几 周 时 间 里 ， 我 们 密 切 监 视 着   G i t H u b . c o m   的 性 能 和 响 应 时 间 。 我 们 发 现 迁 移 后 网 站 的 平 均 加 载 时 间 减 少 一 半 ， 并 且 在 9 9 % 的 时 间 里 ， 能 减 少 三 分 之 二 ： 我 们 学 到 了 什 么 功 能 划 分 在 迁 移 过 程 中 ， 我 们 采 用 了 一 个 比 较 好 的 方 法 是 ： 将 大 的 数 据 表 （ 主 要 记 录 了 一 些 历 史 数 据 ） 先 迁 移 过 去 ， 空 出 旧 集 群 的 磁 盘 空 间 和 缓 存 池 空 间 。 这 一 步 给 我 们 留 下 了 更 多 的 资 源 用 于 “ 热 ” 数 据 ， 将 一 些 连 接 请 求 分 离 到 多 套 集 群 里 面 。 这 步 为 我 们 之 后 的 胜 利 奠 定 了 基 础 ， 我 们 以 后 还 会 使 用 这 种 模 式 来 进 行 迁 移 工 作 。 测 试 测 试 测 试 为 你 的 应 用 做 验 收 测 试 和 回 归 测 试 ， 越 多 越 好 ， 多 多 益 善 ， 不 要 嫌 多 。 从 老 集 群 复 制 数 据 到 新 集 群 的 过 程 中 ， 如 果 进 行 验 收 测 试 和 响 应 状 态 测 试 ， 得 到 的 数 据 是 不 准 的 ， 如 果 数 据 不 理 想 ， 这 是 正 常 的 ， 不 要 惊 讶 ， 不 要 试 图 拿 这 些 数 据 去 分 析 原 因 。 合 作 的 力 量 对 基 础 架 构 进 行 大 的 改 变 ， 通 常 需 要 涉 及 到 很 多 人 ， 我 们 要 像 一 个 团 队 一 样 为 共 同 的 目 标 而 合 作 。 我 们 的 团 队 成 员 来 自 全 球 各 地 。
团 队 成 员 地 图 ： 本 次 合 作 新 创 了 一 种 工 作 流 程 ： 我 们 提 交 更 改 （ p u l l   r e q u e s t ） ， 获 取 实 时 反 馈 ， 查 看 修 改 了 错 误 的   c o m m i t   — —   全 程 没 有 电 话 交 流 或 面 对 面 的 会 议 。 当 所 有 东 西 都 可 以 通 过   U R L   提 供 信 息 ， 不 同 区 域 的 人 群 之 间 的 交 流 和 反 馈 会 变 得 非 常 简 单 。 一 年 后 … … 整 整 一 年 时 间 过 去 了 ， 我 们 很 高 兴 地 宣 布 这 次 数 据 迁 移 是 很 成 功 的   — —   M y S Q L   性 能 和 可 靠 性 一 直 处 于 我 们 期 望 的 状 态 。 另 外 ， 新 的 集 群 还 能 让 我 们 进 一 步 去 升 级 ， 提 供 更 好 的 可 靠 性 和 响 应 时 间 。 我 将 继 续 记 录 这 些 优 化 过 程 。 v i a :   h t t p s : / / g i t h u b . c o m / b l o g / 1 8 8 0 - m a k i n g - m y s q l - b e t t e r - a t - g i t h u b 作 者 ： s a m l a m b e r t   译 者 ： b a z z 2   校 对 ： w x y 本 文 由   L C T T   原 创 翻 译 ， L i n u x 中 国   荣 誉 推 出 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理