设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [25694] 2016-11-08_“玄惭大师”谈双十一活动中云数据 ...
返回列表 发新帖
查看: 0|回复: 0

[25694] 2016-11-08_“玄惭大师”谈双十一活动中云数据库保障经验

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 4 天前 | 显示全部楼层 |阅读模式
2016-11-08_“玄惭大师”谈双十一活动中云数据库保障经验 0 7 % 2 6 % 4 1 % 7 0 % 8 8 % “ 玄 惭 大 师 ” 谈 双 十 一 活 动 中 云 数 据 库 保 障 经 验 作 者 ： 玄 惭   L i n u x 中 国   2 0 1 6 - 1 1 - 0 8 本 文 导 航 - 1 、 弹 性 扩 容 的 两 种 方 式 - 2 、 双   1 1   期 间 ， 如 何 让 访 问 链 路 更 安 全 ？ - 3 、 双   1 1   的 架 构 如 何 设 计 ？ - 4 、 双   1 1   的 高 可 用 配 置 如 何 搞 ？ - 5 、 针 对 双   1 1 ， 如 何 做 参 数 优 化 ？ 对 不 少 商 家 而 言 ， 双   1 1   销 量 往 往 是 平 时 的 N 倍 。 云 数 据 库 如 何 从 容 应 对 双   1 1   当 日 的 流 量 高 峰 ？ 今 天 ， 特 别 邀 请 到   A p s a r a D B   团 队 的 大 牛 级 人 物 玄 惭 和 大 家 分 享 ， 结 合 历 年 双 十 一 活 动 中 云 数 据 库 保 障 经 验 ， 从 弹 性 扩 容 、 访 问 链 路 、 架 构 设 计 、 高 可 用 配 置 、 参 数 优 化 等 五 个 方 面 详 解 讲 解 云 数 据 库 大 流 量 峰 值 保 障 的 最 佳 实 践 。 玄 惭 被 誉 为 双   1 1   护 航 老 司 机 。 过 去 五 年 ， 他 一 直 负 责 天 猫 双   1 1   项 目 的 数 据 库 运 维 ， 0   故 障 ， 0   丢 单 。 1 、 弹 性 扩 容 的 两 种 方 式 、 弹 性 扩 容 的 两 种 方 式 多 数 用 户 在 双 十 一 到 来 之 前 都 会 进 行 弹 性 扩 容 。 常 见 的 弹 性 扩 容 分 为 两 类 ： 本 机 升 降 级 和 跨 机 升 降 级 。 本 机 升 降 级 的 话 ， 比 较 简 单 。 举 个 栗 子 ， 一 个   6 G / 6 C   的   R D S   数 据 库 想 要 升 级 到   1 2 G / 1 2 C ， 如 果 本 机 资 源 足 够 ， 则 可 以 在 本 机 完 成 升 降 级 ， 无 需 迁 移 到 其 他 机 器 上 。
另 一 种 弹 性 扩 容 的 方 式 是 ： 跨 机 升 降 级 。 当 本 机 资 源 不 足 以 支 撑 升 级 所 需 要 的 资 源 的 时 候 ， 需 要 将 实 例 分 配 到 另 外 一 台 机 器 上 。 所 以 跨 机 升 级 需 要 使 用 数 据 库 最 近 一 次 的 备 份 和 日 志 实 时 同 步 到 新 的 主 机 上 ， 保 证 新 实 例 和 旧 实 例 的 数 据 是 完 全 一 致 的 。 这 里 需 要 注 意 的 坑 是 ： 如 果 历 史 备 份 集 较 大 或 原 主 库 压 力 较 大 时 ， 会 导 致 跨 机 迁 移 时 间 较 长 。 那 些 老 司 机 踩 过 的 坑 ： 如 果 升 级 很 长 时 间 也 没 有 完 成 ， 可 能 发 生 了 跨 机 迁 移 或 者 主 备 存 在 延 迟 。 可 用 区 迁 移 、 数 据 库 版 本 升 级 耗 时 通 常 较 长 ， 是 因 为 两 者 迁 移 都 会 发 生 跨 机 迁 移 。
空 间 升 级 非 常 快 ， 这 是 因 为 空 间 升 级 无 需 重 启 、 迁 移 数 据 库 ， 对 业 务 也 不 会 造 成 影 响 。 弹 性 扩 容 时 间 的 选 择 ， 建 议 在 业 务 低 峰 期 进 行 弹 性 扩 容 。   2 、 双 、 双   1 1   期 间 ， 如 何 让 访 问 链 路 更 安 全 ？ 期 间 ， 如 何 让 访 问 链 路 更 安 全 ？ 在 云 数 据 库 中 ， 访 问 链 路 分 为 两 种 模 式 ： 高 安 全 访 问 链 路 和 标 准 访 问 链 路 。 双   1 1   期 间 ， 流 量 高 的 网 站 也 会 成 为 黑 客 的 重 点 关 注 对 象 。 所 以 建 议 商 家 提 前 采 用 高 安 全 访 问 链 路 。 高 安 全 访 问 链 路 在 数 据 库 的 前 面 增 加 了 一 层 代 理 层 ， 所 有 请 求 在 代 理 层 都 被 解 析 ， 在 解 析 过 程 中 添 加 了   S Q L   拦 截 规 则 ， 进 而 可 以 防 止   S Q L   注 入 的 攻 击 。 此 外 ， 高 安 全 访 问 链 路 可 以 防 止   9 0 %   的 连 接 闪 断 ； 并 支 持 内 外 网 地 址 同 时 访 问 ； 对 短 连 接 应 用 具 有 缓 冲 防 护 作 用 。 需 要 注 意 的 是 高 安 全 访 问 链 路 较 标 准 链 路 增 加 了   5 %   左 右 的 响 应 时 间 。   那 些 老 司 机 踩 过 的 坑 ： 建 议 使 用 高 安 全 访 问 模 式 ， 特 别 是 短 连 接 应 用 ， 高 安 全 访 问 模 式 具 有 缓 冲 短 连 接 对 数 据 库 冲 击 的 效 果 。 在 标 准 访 问 链 路 切 换 到 高 安 全 访 问 链 路 时 ， 切 换 过 程 最 多 会 有 3 0 秒 不 可 访 问 。 如 果 E C S 使 用 V P C ， 那 么 数 据 库 只 能 选 择 高 安 全 访 问 链 路 。 访 问 链 路 上 需 要 注 意 应 用 不 要 使 用 I P 来 访 问 数 据 库 ， 避 免 由 于 I P 变 化 导 致 故 障 。   3 、 双 、 双   1 1   的 架 构 如 何 设 计 ？ 的 架 构 如 何 设 计 ？ 在 历 年 的 双   1 1   中 ， 由 于 业 务 流 量 的 突 增 ， 那 些 平 时 没 有 暴 露 出 来 的 问 题 往 往 在 这 个 时 候 爆 发 出 来 ， 所 以 我 们 要 把 数 据 库 这 块 地 基 打 好 ， 细 节 上 做 好 ， 架 构 设 计 就 需 要 我 们 在 这 些 上 下 功 夫 。
读 写 分 离 是 常 见 的 架 构 设 计 手 段 。 R D S   支 持 只 读 节 点 ， 主 库 主 要 承 担 写 和 实 时 性 要 求 高 操 作 ， 一 些 复 杂 的 分 析 计 算 业 务 操 作 最 好 不 要 放 在 主 库 上 执 行 ， 而 是 选 择 放 在 只 读 节 点 运 算 。 使 用 读 写 分 离 架 构 时 ， 首 先 数 据 库 版 本 需 要 升 级 到   M y S Q L   5 . 6   版 本 ； 同 时 目 前   R D S   最 多 可 以 支 持 到 五 个 只 读 节 点 。 在 读 写 分 离 时 ， 延 时 是 我 们 必 须 关 注 的 重 点 ， 目 前   R D S   上 通 过 源 码 改 进 并 行 复 制 ， 提 升 复 制 性 能 ， 降 低 了 主 库 与 备 库 之 间 数 据 同 步 的 延 迟 。 引 擎 选 择 是 数 据 库 设 计 中 很 基 础 的 一 点 ， 这 里 重 点 介 绍 下   T o k u d b   引 擎 。 日 志 型 应 用 的 特 性 是 ： 写 操 作 很 高 、 读 操 作 相 对 较 少 。 T o k u d b   引 擎 压 缩 比   I n n o d b   引 擎 高 出   5 ~ 7   倍 ， 适 合 写 多 读 少 的 应 用 ； 同 时 ， T o k u d b   引 擎   o n l i n e   d d l   速 度 较 快 ， 适 合 表 很 大 需 要 经 常   D D L   操 作 的 应 用 。 对 于 大 字 段 ， 数 据 库 的 更 新 写 入 压 力 过 大 ， u p d a t e 、 i n s e r t 、 d e l e t e   会 导 致   b i n l o g   日 志 急 剧 增 加 ， 导 致 实 例 磁 盘 报 警 。 因 此 在 数 据 库 设 计 时 ， 要 注 意 规 避 大 字 段 引 起 的 问 题 。 常 见 的 大 字 段 有   v a r c h a r （ 8 0 0 0 ） 、 t e x t 、 b l o b 、 c l o b （ s q l s e r v e r / m y s q l ） ， 使 用 时 建 议 将 大 字 段 拆 分 出 主 表 或 者 存 入 到 其 他 存 储 系 统 中 。 字 段 类 型 也 是 常 见 的 问 题 之 一 。 在 设 计 开 发 阶 段 ， 就 要 避 免 数 据 库 字 段 定 义 与 应 用 程 序 参 数 定 义 不 一 致 的 情 况 。 字 段 大 小 同 样 会 对 数 据 库 性 能 造 成 影 响 。 字 段 长 度 超 过 索 引 允 许 的 最 大 长 度 会 导 致 索 引 字 段 被 截 断 ； 同 时 ， 过 长 的 字 段 定 义 会 消 耗 大 量 的 排 序 内 存 以 及 临 时 表 空 间 。 索 引 设 计 也 是 大 家 经 常 犯 错 的 一 个 点 ， 在 历 年 双 十 一 保 障 中 ， 索 引 出 现 的 问 题 最 多 。 这 里 ， 重 点 讲 解 单 条 S Q L 的 创 建 索 引 思 路 ， 常 见 的 索 引 误 区 包 括 但 不 限 于 ： 对 S Q L 语 句 的 每 个 查 询 条 件 字 段 建 立 一 个 单 列 索 引 ， M y S Q L   只 能 使 用 其 一 个 索 引 ； 对 S Q L 语 句 的 所 有 查 询 字 段 建 立 组 合 索 引 ， 导 致 索 引 远 大 于 数 据 ， 同 时 性 能 低 下 ；
小 表 不 建 立 索 引 。 4 、 双 、 双   1 1   的 高 可 用 配 置 如 何 搞 ？ 的 高 可 用 配 置 如 何 搞 ？ R D S   本 身 是 一 个 主 备 的 高 可 用 架 构 ， 当 主 库   D o w n   后 ， 会 快 速 切 换 到 备 库 。 在 高 可 用 架 构 中 很 重 要 的 一 点 是 数 据 同 步 ， 保 障 主 备 数 据 一 致 不 丢 失 。 常 见 的 高 可 用 配 置 包 括 ： 单 可 用 区 ： 主 备 都 在 同 一 个 可 用 区 内 ， 可 以 实 现 主 备 之 间 的 快 速 切 换 ； B i n l o g   同 步 ： 采 取 异 步 和 半 同 步 的 方 式 保 障 主 备 的 数 据 一 致 ； B i n l o g   刷 写 ： 根 据 应 用 特 点 设 置 安 全 模 式 或 者 高 性 能 模 式 ； 事 务 提 交 ： 默 认 采 用 最 高 安 全 模 式 。   此 外 ， 为 了 保 障 服 务 高 可 用 ， 也 可 以 采 用 多 可 用 区 配 置 ， 即 主 备 在 不 同 可 用 区 ， 此 时 ， 应 用 同 样 需 要 多 可 用 区 部 署 。 需 要 注 意   B i n l o g   在 主 备 的 同 步 模 式 ， 通 常 这 种 情 况 下 开 启 半 同 步 模 式 跨 可 用 区 访 问 ， 可 能 导 致 写 入 性 能 下 降 。 另 外 ， 还 有 一 种 跨 数 据 中 心 的 灾 备 方 案 ， 在 历 年 的 双   1 1   中 ， 已 经 有 很 多 用 户 实 施 过 这 样 的 方 案 ， 你 可 以 选 择 在 两 个 不 同 的 数 据 中 心 部 署 数 据 库 和 应 用 ， 比 如 在 杭 州 和 上 海 两 个 地 区 部 署 ， 两 个 数 据 中 心 的 数 据 同 步 采 用   D T S ， 以 保 证 一 个 数 据 中 心 挂 掉 后 ， 另 外 一 个 数 据 中 心 能 够 接 管 起 来 。 此 外 ， 从   2 0 1 5   年 起 ， R D S   为 天 猫 的 商 家 后 台 数 据 库 提 供 了 异 地 灾 备 的 功 能 。 当 主 机 房 出 现 较 大 的 负 载 压 力 、 断 网 、 断 电 等 极 端 情 况 ， R D S   可 将 商 家 的 后 台 系 统 在   3 0   分 钟 内 切 换 至 灾 备 机 房 继 续 运 行 ， 以 保 障 总 体 可 靠 性 ， 进 一 步 确 保 平 台 大 型 品 牌 商 家 双   1 1   期 间 后 台 系 统 安 全 、 稳 定 。 5 、 针 对 双 、 针 对 双   1 1 ， 如 何 做 参 数 优 化 ？ ， 如 何 做 参 数 优 化 ？ 在   R D S   中 ， 大 部 分 参 数 是 已 经 经 过 调 优 的 ， 因 此 很 多 参 数 是 不 需 要 再 去 调 整 的 。 但 是 用 户 可 以 根 据 应 用 场 景 的 不 同 选 择 合 适 的 参 数 ， 这 里 重 点 看 下   R D S   新 增 的 四 个 参 数 优 化 ： ： 控 制   M y S Q L   能 够 使 用 的 临 时 文 件 的 大 小 ， 适 用 于 一 个   S Q L   语 句 就 消 耗 掉 整 个 数 据 库 的 磁 盘 空 间 ； ： 控 制   T o k u D B   引 擎 能 够 使 用 的   b u f f e r   内 存 大 小 ， 适 用 于 选 择 了   t o k u d b   作 为 存 储 引 擎 的 场 景 ； ： 控 制 单 个   S Q L   语 句 的 最 长 执 行 时 间 ， 适 用 于 控 制 数 据 库 中 的 慢   S Q L   数 量 ； ： 控 制   M y S Q L   并 发 的 查 询 数 目 ， 常 用 于 秒 杀 场 景 的 业 务 ； 看 完 了 “ 玄 惭 大 师 ” 的 经 验 分 享 ，   那 么 ， 你 对 大 流 量 峰 值 下 保 障 云 数 据 库 有 什 么 好 的 经 验 可 以 分 享 吗 ？ 推 荐 文 章 r d s _ m a x _ t m p _ d i s k _ s p a c e t o k u d b _ b u f f e r _ p o o l _ r a t i o m a x _ s t a t e m e n t _ t i m e r d s _ t h r e a d s _ r u n n i n g _ h i g h _ w a t e r m a r k
滑 动 查 看 更 多 输 入 文 章   I D   或 长 按 二 维 码 直 达
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:28 , Processed in 0.360400 second(s), 31 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表