搜索

[15810] 2020-09-04_MySQL分布式逻辑备份

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-09-04_MySQL分布式逻辑备份 M y S Q L 分 布 式 逻 辑 备 份 1 3 6 0 8 1 9 3 5 7 1   F r e e B u f   2 0 2 0 - 0 9 - 0 4 摘 要 摘 要 定 期 备 份 的 重 要 性 在 数 据 库 生 命 周 期 中 已 得 到 体 现 。 有 不 同 的 风 格 ： 二 进 制 的 （ P e r c o n a   X t r a B a c k u p ） ， 二 进 制 日 志 备 份 ， 磁 盘 快 照 （ l v m ， e b s 等 ） 和 经 典 的 ： 逻 辑 备 份 ， 可 以 使 用 m y s q l d u m p ， m y d u m p e r 或 m y s q l p u m p 等 工 具 进 行 的 备 份 。 它 们 每 个 都 有 特 定 的 用 途 ， M T T R ， 保 留 策 略 等 。 另 一 个 事 实 是 ， 一 旦 d a t a d i r 增 长 ， 进 行 备 份 可 能 是 一 项 非 常 缓 慢 的 任 务 ： 存 储 更 多 数 据 ， 读 取 和 备 份 更 多 数 据 。 而 且 ， 另 一 个 事 实 是 ， 不 仅 数 据 会 增 长 ， 而 且 环 境 中 可 用 的 M y S Q L 实 例 的 数 量 也 会 增 加 （ 通 常 ） 。 那 么 ， 为 什 么 不 利 用 更 多 的 M y S Q L 实 例 来 进 行 逻 辑 备 份 以 使 此 操 作 更 快 呢 ？ 分 布 式 备 份 （ 或 使 用 所 有 可 用 的 从 站 ） 分 布 式 备 份 （ 或 使 用 所 有 可 用 的 从 站 ） 这 个 想 法 很 简 单 ： 不 要 从 单 个 服 务 器 上 获 取 整 个 备 份 ， 而 要 使 用 所 有 可 用 的 服 务 器 。 本 概 念 证 明 仅 专 注 于 在 主 / 从 拓 扑 上 使 用 副 本 。 也 可 以 使 用 M a s t e r ， 但 是 在 这 种 情 况 下 ， 我 决 定 不 使 用 它 ， 以 免 增 加 备 份 开 销 。 测 试 测 试 在 主 / 从 属 拓 扑 中 ： 来 自 O r c h e s t r a t o r   G U I 的 图 形 使 用 约 6 4 G B 数 据 （ 不 包 括 索 引 大 小 ） 和 3 0 0 个 表 （ 模 式 “   s b ” ） 的 小 d a t a d i r ： 使 用 3 个 副 本 ， 使 用 m y s q l d u m p 进 行 的 分 布 式 逻 辑 备 份 花 费 了 6 分 1 3 秒 ： + - - - - - - - - - - - - - - + - - - - - - - - + - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + |   T A B L E _ S C H E M A   |   E N G I N E   |   T A B L E S   |   R O W S             |   D A T A   ( M )   |   I N D E X   ( M )   |   T O T A L ( M )   | + - - - - - - - - - - - - - - + - - - - - - - - + - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + |   m e t a                   |   I n n o D B   |   1             |                   0   |   0 . 0 1           |   0 . 0 0             |       0 . 0 1       | |   p e r c o n a             |   I n n o D B   |   1             |                   2   |   0 . 0 1           |   0 . 0 1             |       0 . 0 3       | |   s b                       |   I n n o D B   |   3 0 0         |   2 9 5 9 2 4 9 6 2   |   6 3 9 0 6 . 8 2   |       4 6 5 4 . 6 8   |   6 8 5 6 1 . 5 1   | |   s y s                     |   I n n o D B   |   1             |                   6   |   0 . 0 1           |   0 . 0 0             |       0 . 0 1       | + - - - - - - - - - - - - - - + - - - - - - - - + - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - + - - - - - - - - - - + [ r o o t @ m y s q l 1   ~ ] #   l s   - l h   / d a t a / b a c k u p s / 2 0 2 0 0 1 0 1 / t o t a l   5 6 G - r w - r - - r - - .   1   r o o t   r o o t   1 9 G   J a n     1   1 4 : 3 7   m y s q l 2 . s q l - r w - r - - r - - .   1   r o o t   r o o t   1 9 G   J a n     1   1 4 : 3 7   m y s q l 3 . s q l - r w - r - - r - - .   1   r o o t   r o o t   1 9 G   J a n     1   1 4 : 3 7   m y s q l 4 . s q l [ r o o t @ m y s q l 1   ~ ] #   s t a t   / d a t a / b a c k u p s / 2 0 2 0 0 1 0 1 / m y s q l 2 . s q l     F i l e :   ' / d a t a / b a c k u p s / 2 0 2 0 0 1 0 1 / m y s q l 2 . s q l '     S i z e :   1 9 9 8 9 5 7 6 2 8 5           B l o c k s :   3 9 0 4 2 1 4 4   I O   B l o c k :   4 0 9 6       r e g u l a r   f i l e D e v i c e :   1 0 3 0 0 h / 6 6 3 0 4 d       I n o d e :   5 4 0 9 6 0 3 4   L i n k s :   1 A c c e s s :   ( 0 6 4 4 / - r w - r - - r - - )     U i d :   (   0 /   r o o t )   G i d :   (         0 /   r o o t ) C o n t e x t :   u n c o n f i n e d _ u : o b j e c t _ r : u n l a b e l e d _ t : s 0 A c c e s s :   2 0 2 0 - 0 1 - 0 1   1 4 : 3 1 : 3 4 . 9 4 8 1 2 4 5 1 6   + 0 0 0 0 M o d i f y :   2 0 2 0 - 0 1 - 0 1   1 4 : 3 7 : 4 1 . 2 9 7 6 4 0 8 3 7   + 0 0 0 0 C h a n g e :   2 0 2 0 - 0 1 - 0 1   1 4 : 3 7 : 4 1 . 2 9 7 6 4 0 8 3 7   + 0 0 0 0
单 个 副 本 上 的 相 同 备 份 类 型 花 费 了 1 1 分 5 9 秒 ： 换 一 种 说 法 ： 分 布 式 服 务 器 快 4 8 ％ ！ 这 是 一 个 相 当 小 的 数 据 集 。 值 得 一 试 。 那 么 它 是 怎 样 工 作 的 ？ 概 念 概 念 逻 辑 很 简 单 ， 可 以 分 为 多 个 阶 段 。 阶 段 阶 段 1 ： 准 备 ： 准 备 找 出 可 用 的 副 本 数 找 出 要 备 份 的 架 构 中 的 表 数 在 所 有 可 用 副 本 之 间 划 分 表 的 数 量 。 结 果 块 将 是 每 个 副 本 将 备 份 的 表 。 阶 段 阶 段 2 ： 保 证 一 致 性 ： 保 证 一 致 性 阻 止 主 服 务 器 执 行 更 改 二 进 制 日 志 位 置 的 操 作 。 通 常 ， 这 是 通 过 带 有 读 取 锁 的 F L U S H   T A B L E S 完 成 的 ， 但 是 此 P o C 使 用 的 是 P e r c o n a   S e r v e r f o r   M y S Q L 上 的 L O C K   B I N L O G   F O R   B A C K U P 的 很 酷 的 功 能 ，   并 且 破 坏 性 较 小 。 查 找 最 新 副 本 使 用 S T A R T   S L A V E   U N T I L 使 所 有 其 他 副 本 与 最 新 副 本 匹 配 使 用 相 应 的 表 块 为 每 个 副 本 启 动 一 个 m y s q l d u m p ， 并 使 用 – l o c k - f o r - b a c k u p （ P e r c o n a   S e r v e r 的 另 一 个 功 能 ） 完 整 的 脚 本 可 以 在 这 里 找 到 ： h t t p s : / / g i t h u b . c o m / n e t h a l o / p a r a l l e l - m y s q l - b a c k u p / b l o b / m a s t e r / d i s t _ b a c k u p . s h 值 得 一 提 的 是 ， 脚 本 具 有 自 己 的 日 志 ， 该 日 志 将 描 述 每 个 步 骤 ， 它 看 起 来 像 这 样 ：   B i r t h :   - [ r o o t @ m y s q l 1   ~ ] #   t i m e   m y s q l d u m p   - h m y s q l 2   - - s i n g l e - t r a n s a c t i o n   - - l o c k - f o r - b a c k u p   s b   >   / d a t a / b a c k u p . s q l r e a l         1 1 m 5 8 . 8 1 6 s u s e r         9 m 4 8 . 8 7 1 s s y s           2 m 6 . 4 9 2 s [ r o o t @ m y s q l 1   ~ ] #   l s   - l h   / d a t a / b a c k u p . s q l - r w - r - - r - - .   1   r o o t   r o o t   5 6 G   J a n     1   1 4 : 5 2   / d a t a / b a c k u p . s q l [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ O K ]   F o u n d   ' m y s q l '   b i n [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   S H O W   S L A V E   H O S T S   e x e c u t e d [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   C o u n t   t a b l e s   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   t a b l e   l i s t   g a t h e r e d [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   C R E A T E   D A T A B A S E   I F   N O T   E X I S T S   p e r c o n a [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   C R E A T E   T A B L E   I F   N O T   E X I S T S   p e r c o n a . m e t a b a c k u p s [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   T R U N C A T E   T A B L E   p e r c o n a . m e t a b a c k u p s [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   E x e c u t e d   I N S E R T   I N T O   p e r c o n a . m e t a b a c k u p s   ( h o s t , c h u n k s t a r t )   V A L U E S ( ' m y s q l 3 ' , 0 ) [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   E x e c u t e d   I N S E R T   I N T O   p e r c o n a . m e t a b a c k u p s   ( h o s t , c h u n k s t a r t )   V A L U E S ( ' m y s q l 4 ' , 1 0 0 ) [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   E x e c u t e d   I N S E R T   I N T O   p e r c o n a . m e t a b a c k u p s   ( h o s t , c h u n k s t a r t )   V A L U E S ( ' m y s q l 2 ' , 2 0 0 ) [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   l o c k   b i n l o g   f o r   b a c k u p   s e t [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   p o s i t i o n   o n   m y s q l 3 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   f i l e   o n   m y s q l 3 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   p o s i t i o n   o n   m y s q l 4 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   f i l e   o n   m y s q l 4 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   p o s i t i o n   o n   m y s q l 2 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s l a v e   s t a t u s   f i l e   o n   m y s q l 2 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 1 9 ]   [ I n f o ]   s e t   S T O P   S L A V E ;   S T A R T   S L A V E   U N T I L   M A S T E R _ L O G _ F I L E   =   ' m y s q l - b i n . 0 0 0 3 5 8 ' ,   M A S T E R _ L O G _ P O S   =   8 9 5 4 1 9 7 9 5   o n   m y s q l 3 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   s e t   S T O P   S L A V E ;   S T A R T   S L A V E   U N T I L   M A S T E R _ L O G _ F I L E   =   ' m y s q l - b i n . 0 0 0 3 5 8 ' ,   M A S T E R _ L O G _ P O S   =   8 9 5 4 1 9 7 9 5   o n   m y s q l 4 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   s e t   S T O P   S L A V E ;   S T A R T   S L A V E   U N T I L   M A S T E R _ L O G _ F I L E   =   ' m y s q l - b i n . 0 0 0 3 5 8 ' ,   M A S T E R _ L O G _ P O S   =   8 9 5 4 1 9 7 9 5   o n   m y s q l 2 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   C r e a t e d   / d a t a / b a c k u p s / 2 0 2 0 0 1 0 1 /   d i r e c t o r y [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   L i m i t   c h u n k   O K
一 些 基 本 要 求 一 些 基 本 要 求 由 于 该 工 具 使 用 命 令 S H O W   S L A V E   H O S T S   ， 因 此 必 须 设 置 变 量 r e p o r t _ h o s t ， 如 果 使 用 的 是 O r c h e s t r a t o r ， 则 很 可 能 已 经 设 置 了 该 变 量 。 在 “   r e p o r t _ h o s t ” 变 量 中 设 置 的 主 机 应 该 是 可 访 问 的 主 机 。 例 如 ， 可 以 实 际 解 析 的 I P 或 主 机 （ D N S ， 编 辑 /   e t c   /   h o s t s 文 件 ） 。 任 何 涉 及 的 副 本 上 都 没 有 复 制 过 滤 器 。 这 样 可 以 保 证 数 据 的 一 致 性 。 该 脚 本 当 前 应 在 主 服 务 器 中 本 地 运 行 。 由 于 使 用 了 备 份 锁 ， 因 此 只 能 在 P e r c o n a   S e r v e r 上 使 用 。 预 计 M y S Q L 用 户 凭 据 将 在 . m y . c n f 文 件 内 的 主 目 录 中 可 用 精 彩 推 荐 精 彩 推 荐 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   T a b l e s   l i s t   f o r   m y s q l 3   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ O K ]   D u m p i n g   m y s q l 3 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   L i m i t   c h u n k   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   T a b l e s   l i s t   f o r   m y s q l 4   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ O K ]   D u m p i n g   m y s q l 4 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   L i m i t   c h u n k   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   T a b l e s   l i s t   f o r   m y s q l 2   O K [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ O K ]   D u m p i n g   m y s q l 2 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   U N L O C K   B I N L O G   e x e c u t e d [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   s e t   s t a r t   s l a v e   o n   m y s q l 3 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   s e t   s t a r t   s l a v e   o n   m y s q l 4 [ 2 0 0 1 0 1 - 1 6 : 0 1 : 2 0 ]   [ I n f o ]   s e t   s t a r t   s l a v e   o n   m y s q l 2
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理